Melhorando Redes Neurais Multi-Tarefa através de Poda Estruturada

Redes neurais profundas de múltiplas tarefas são feitas pra lidar com várias tarefas de uma vez, ficando mais eficientes em termos de computação e armazenamento do que modelos de uma única tarefa. Mas esses modelos multi-tarefa ainda podem ser melhorados com um processo chamado Compressão de Modelo. Isso significa reduzir o tamanho do modelo enquanto mantém seu desempenho, fazendo com que ele rode mais rápido e use menos memória.

Embora existam vários métodos pra simplificar modelos de tarefa única, não tem muita pesquisa sobre como podar eficientemente modelos multi-tarefa. Este estudo quer preencher essa lacuna investigando como a Poda Estruturada pode ser usada em redes de múltiplas tarefas. A poda estruturada envolve remover partes inteiras do modelo, como filtros, ao invés de apenas pesos individuais.

Pra ver como a poda estruturada funciona nos modelos multi-tarefa, testamos dois métodos diferentes. Um método usa uma abordagem padrão dos modelos de tarefa única, e o outro é uma nova abordagem que considera as relações entre as tarefas. O primeiro método, conhecido como poda de Taylor, determina quais filtros são menos importantes calculando quanto a remoção deles afetaria o desempenho do modelo. O novo método, chamado CosPrune, procura conflitos entre tarefas pra decidir quais filtros remover.

Aplicamos ambos os métodos de poda usando uma estratégia iterativa, onde removíamos continuamente um número pequeno de filtros e depois ajustávamos o modelo pra recuperar qualquer desempenho perdido. Os resultados mostraram que, com ajustes cuidadosos nas configurações, os modelos podados usando métodos diferentes podiam ter um desempenho semelhante quando tinham aproximadamente o mesmo número de parâmetros.

Mas também descobrimos que tem um ponto onde, se você podar agressivamente demais, o desempenho geral cai bastante. Curiosamente, quando pegamos os modelos podados e os inicializamos do zero, e então os retrainamos, eles muitas vezes tiveram um desempenho melhor do que modelos que foram ajustados após a poda. Esse retrain ajuda o modelo a se ajustar melhor à sua nova estrutura.

O aprendizado de múltiplas tarefas tem como objetivo treinar um modelo pra realizar várias tarefas juntas, compartilhando alguns parâmetros pra perder menos informação e melhorar a eficiência. Isso é especialmente útil em dispositivos como smartphones ou carros autônomos, onde os recursos são limitados. Usando um modelo multi-tarefa, essas aplicações podem reconhecer diferentes objetos ou ações em tempo real sem precisar de modelos separados pra cada tarefa.

A poda de rede é uma técnica que já tá em uso há um tempo. O objetivo é identificar partes de um modelo que têm pouco efeito no seu desempenho e removê-las, deixando o modelo mais simples e rápido. Existem dois tipos principais de poda: não estruturada, que remove pesos individuais, e estruturada, que remove componentes inteiros. A poda estruturada costuma ser mais benéfica na prática, porque leva a modelos que podem ser executados de forma mais eficiente em hardware padrão.

Em estudos anteriores, pesquisadores analisaram como podar modelos de tarefa única de forma eficaz, mas teve bem menos foco em modelos multi-tarefa. Algumas pesquisas sugeriram maneiras de fundir modelos de tarefa única em uma estrutura multi-tarefa, mas não examinaram a fundo o impacto de diferentes métodos ou configurações durante o retrain.

No nosso trabalho, estudamos sistematicamente a performance da poda estruturada em modelos multi-tarefa. Usamos duas estratégias diferentes de poda pra remover partes do modelo com base na importância delas. CosPrune identifica filtros com conflitos entre tarefas olhando como os gradientes de tarefas diferentes se relacionam entre si, enquanto a poda de Taylor avalia o efeito da remoção de um filtro na perda geral do modelo.

Começamos com um modelo multi-tarefa treinado em um conjunto de dados que continha imagens ricas em informações pra várias tarefas. A arquitetura do modelo incluía uma rede base compartilhada entre todas as tarefas e cabeças específicas pra cada tarefa individual. Após o treinamento, aplicamos os métodos de poda pra ver como cada um se saiu na redução do número de parâmetros enquanto mantinha a precisão entre as tarefas.

Durante os experimentos, avaliamos o desempenho do modelo usando métricas padrão pra cada uma das tarefas. Notamos que o CosPrune consistentemente superou a poda de Taylor, especialmente em manter a precisão durante o processo de poda. No entanto, em níveis mais altos de poda, o desempenho de ambos os métodos caiu significativamente.

Os modelos podados foram então retrainados do zero com diferentes hiperparâmetros pra cada modelo. Descobrimos que diferentes modelos performavam melhor com diferentes taxas de aprendizado, destacando a necessidade de configurações de treinamento personalizadas. Essa foi uma descoberta chave, já que muitos estudos existentes não ajustam os hiperparâmetros de acordo com a nova arquitetura do modelo após a poda.

Depois de coletar os resultados dessas sessões de retrain, descobrimos que o desempenho dos modelos podados de ambos os métodos de poda era muito próximo quando avaliados com o mesmo número de parâmetros. Embora os resultados tenham variado dependendo da configuração específica de filtros dentro do modelo, as diferenças eram pequenas quando as taxas de aprendizado ótimas eram usadas.

Também houve uma tendência notável onde a vantagem do método de poda diminuía após o retrain. Em alguns casos, os modelos podados pela poda de Taylor tiveram um desempenho melhor, enquanto em outras situações, os modelos CosPrune se destacaram. No geral, os resultados sugerem que nenhum método único superou consistentemente o outro em várias configurações de parâmetros, o que é uma tendência comum em muitos estudos de poda.

Uma observação adicional dos nossos experimentos envolveu as métricas de validação usadas durante o treinamento. Descobrimos que simplesmente contar com a perda total de validação pode não ser a melhor abordagem pra avaliar a eficácia do modelo. Em vez disso, focar no desempenho de tarefas específicas, principalmente em segmentação semântica, gerou melhores resultados.

Em resumo, esta pesquisa mostra que ambos os métodos de poda estruturada podem simplificar eficazmente redes neurais profundas multi-tarefa. Independentemente do método usado, um treinamento e otimização cuidadosos dos modelos são essenciais pra alcançar seu pleno potencial. Além disso, o desempenho dos modelos podados pode ser significativamente melhorado ao retrainá-los do zero com hiperparâmetros apropriados. Isso destaca a importância de considerar cuidadosamente a arquitetura do modelo e as taxas de aprendizado em futuros estudos de poda, levando, em última análise, a modelos de aprendizado profundo multi-tarefa mais eficientes e eficazes.