Métodos Eficientes de Ajuste Fino para Modelos Multimodais

Nos últimos anos, um novo tipo de modelo de computador chamado modelos de linguagem multimodal grandes (MLLMs) ganhou destaque. Esses modelos conseguem entender e trabalhar tanto com texto quanto com imagens, o que os torna super úteis para várias tarefas, como responder perguntas sobre fotos. Mas, os MLLMs podem ter bilhões de partes (parâmetros), o que dificulta ajustar ou adaptar eles para tarefas específicas. Ajustar geralmente significa mudar algumas dessas partes para melhorar o desempenho. Como não dá pra mexer em todas as partes desses modelos, os pesquisadores começaram a buscar métodos que permitam ajustar só um número pequeno de partes enquanto mantêm a maior parte do modelo inalterada.

Este artigo explora diferentes maneiras de ajustar os MLLMs de forma eficiente. Focamos em quatro métodos populares que nos permitem ajustar apenas um número limitado de parâmetros. Realizamos experimentos em vários modelos para ver quais métodos funcionam melhor em diferentes situações, seja usando muitos dados ou só um pouquinho.

#Contexto

A aprendizagem multimodal combina informações de diferentes fontes, como texto e imagens. Os MLLMs são projetados para lidar com essa combinação de forma eficaz. Muitos desses modelos usam codificadores visuais, que são partes do modelo que processam imagens, junto com modelos de linguagem, que lidam com texto. Na prática padrão, durante o ajuste, os codificadores visuais geralmente ficam inalterados, enquanto apenas as partes de linguagem são ajustadas.

Dado o tamanho desses modelos, o ajuste completo, onde todos os parâmetros são modificados, muitas vezes não é viável. Em vez disso, a abordagem de ajuste eficiente de parâmetros (PEFT) se tornou popular. Esse método permite melhorias significativas de desempenho enquanto muda apenas uma fração dos componentes do modelo.

#Questões de Pesquisa

Para entender como esses métodos de ajuste funcionam, exploramos várias perguntas-chave:

1. É necessário ajustar as camadas de conector ao fazer o ajuste nos MLLMs?
2. Como a localização dos módulos de ajuste afeta o desempenho do modelo?
3. Como diferentes quantidades de dados de treinamento impactam a eficiência dos métodos de ajuste?
4. Qual é o efeito desses métodos na estabilidade do modelo?

#Principais Descobertas

Através da nossa pesquisa, conseguimos várias percepções importantes:

• Ajustar as camadas de conector geralmente leva a um desempenho melhor nos MLLMs.
• Usar mais parâmetros treináveis geralmente ajuda o modelo a se sair melhor em conjuntos de dados que ele não viu antes. No entanto, menos parâmetros podem manter o desempenho em conjuntos de dados que ele já encontrou.
• Conjuntos de dados de treinamento maiores geralmente resultam em um desempenho melhor. Mas, quando os recursos são limitados, conjuntos de dados de tamanho médio podem ser mais eficazes.
• Entre os métodos PEFT que estudamos, o uso de adaptadores geralmente ofereceu os melhores resultados em termos de generalização, estabilidade e menos resultados enganosos (alucinações).

#Trabalhos Relacionados

#Modelos de Linguagem Multimodal Grandes

Pesquisas anteriores apresentaram várias abordagens para construir MLLMs. Por exemplo, alguns modelos conectam características visuais e textuais por meio de camadas especiais. Outros, como o LLaMA, usam adaptadores que permitem que apenas partes específicas do modelo sejam atualizadas durante o treinamento. Muitos novos MLLMs se baseiam nessas ideias fundamentais, incluindo diferentes maneiras de ajustar componentes visuais e de linguagem.

#Ajuste Eficiente de Parâmetros

O PEFT se tornou um tópico essencial em aprendizado de máquina. Em vez de ajustar cada parte do modelo, os pesquisadores empregam métodos que mantêm a maior parte dos parâmetros inalterados. Isso inclui:

• Métodos baseados em prompt: Esses métodos adicionam prompts extras à entrada para guiar o modelo.
• Métodos de Adaptador: Adaptadores são módulos pequenos adicionados ao modelo, permitindo que apenas seus parâmetros sejam atualizados.
• Métodos de baixo-rank: Esses métodos focam em ajustar apenas algumas partes do modelo para economizar recursos.

#Métodos PEFT

Examinamos quatro métodos PEFT específicos durante nossos experimentos:

1. LoRA: Esse método ajusta os pesos do modelo de uma maneira que minimiza o número de parâmetros que precisam ser alterados.
2. Adaptadores: Esses módulos pequenos são inseridos no modelo, permitindo um treinamento ajustado enquanto mantêm as partes originais do modelo fixas.
3. Prefix-Tuning: Esse método envolve adicionar vetores especialmente preparados no início da sequência de entrada para guiar o modelo.

#Configuração dos Experimentos

Nos nossos experimentos, categorizamos os conjuntos de dados em dois tipos: vistos e não vistos. Os conjuntos de dados vistos eram aqueles utilizados durante o treinamento do modelo, enquanto os não vistos não tinham sido encontrados pelo modelo antes.

Selecionamos vários MLLMs como nossos modelos base para ajuste e avaliamos seu desempenho em diferentes conjuntos de dados. Cada método PEFT foi testado com ambos os tipos de conjuntos de dados, permitindo que determinássemos sua eficácia em várias situações.

#Resultados Principais

#Comparação de Desempenho

Os resultados mostraram que ajustar as camadas de conector geralmente levava a um desempenho melhor. Em muitos casos, modelos que ajustaram os conectores se saíram melhor em conjuntos de dados não vistos. Por outro lado, manter as camadas de conector inalteradas geralmente resultava em melhores resultados para conjuntos de dados vistos.

#Localização do Módulo

Também investigamos a melhor localização para os módulos de ajuste dentro dos MLLMs. Parecia que colocar os módulos nos lugares certos poderia melhorar significativamente o desempenho do modelo. Por exemplo, algumas configurações mostraram que ajustar tanto as camadas de atenção quanto as de MLP produziu os melhores resultados.

#Escala de Dados

O tamanho dos dados de treinamento teve um papel crucial no desempenho. Os modelos geralmente melhoravam à medida que a quantidade de dados de treinamento aumentava. No entanto, ganhos de desempenho mais significativos foram notados ao passar de conjuntos pequenos para médios do que de médios para grandes. Isso implica que, quando os recursos são limitados, focar em conjuntos de dados de tamanho médio pode ser uma escolha inteligente.

#Análise de Estabilidade

Realizamos experimentos minuciosos para analisar como os modelos se comportavam durante o treinamento. Alguns métodos, como o Prefix-Tuning, mostraram mais flutuações no desempenho, enquanto outros demonstraram resultados mais estáveis. Escolher a quantidade certa de parâmetros treináveis também influenciou a estabilidade do modelo.

#Overfitting e Generalização

O overfitting, um problema comum em que os modelos se saem bem nos dados de treinamento, mas mal nos novos dados, foi avaliado em nosso estudo. Os métodos de adaptador mostraram um forte desempenho em vários conjuntos de dados e foram os mais robustos contra o overfitting. O desempenho de generalização dos modelos usando Prefix-Tuning foi notavelmente fraco em comparação com os outros.

#Análise de Alucinação

Investigamos a tendência desses modelos de gerar informações incorretas ou enganosas, conhecidas como alucinações. Nossas descobertas indicaram que o método de Adaptador produziu as menores alucinações, tornando-se uma escolha favorável para os MLLMs.

#Conclusão

Nossa pesquisa destaca a importância de métodos eficientes de ajuste para os MLLMs. O método de Adaptador superou os outros em várias métricas, proporcionando um equilíbrio entre uso de recursos e eficácia do modelo. Também encontramos que ajustar as camadas de conector poderia melhorar o desempenho em condições específicas. À medida que o cenário dos modelos multimodais continua a evoluir, novas explorações se concentrarão na expansão de conjuntos de dados e na melhoria da arquitetura dos MLLMs para resultados ainda melhores.