Chain-of-Sight: Um Novo Método para Treinar MLLMs

Nos últimos anos, os grandes modelos de linguagem (LLMs) ganharam muita atenção por causa da sua habilidade de ler e criar textos de forma eficiente. Esses modelos estão sendo combinados com informações visuais, levando ao desenvolvimento de modelos de linguagem multimodal grandes (MLLMs). Os MLLMs mostraram um grande potencial em tarefas que precisam tanto de compreensão de texto quanto de interpretação de imagens, como gerar legendas para imagens e responder perguntas baseadas em conteúdo visual.

#A Necessidade de Treinamento Eficiente

À medida que o tamanho e a complexidade dos MLLMs crescem, também aumentam os recursos computacionais necessários para treiná-los. Treinar um modelo de 7 bilhões de parâmetros pode exigir dezenas de milhares de horas de computação, o que não só dificulta o acesso para muitos pesquisadores, mas também tem um impacto ambiental significativo. Um fator importante que contribui para esse longo tempo de treinamento é a quantidade de informações visuais, ou "Tokens Visuais", usados durante o processo de treinamento.

Normalmente, numa sessão de treinamento, cerca de 144 a 256 tokens visuais são processados para cada par de imagem-texto. Reduzir o número de tokens visuais poderia acelerar o treinamento, permitindo lotes maiores e tempos de passo mais curtos. Mas, isso geralmente vem com um custo: menos tokens visuais podem levar a uma redução no Desempenho do modelo em entender e gerar textos relacionados a imagens.

#Apresentando o Chain-of-Sight

Para enfrentar o desafio de acelerar o treinamento dos MLLMs sem perder desempenho, foi introduzido um novo método chamado Chain-of-Sight. Esse método modifica como os tokens visuais são usados durante o treinamento. Em vez de manter um número constante de tokens visuais ao longo do treinamento, o Chain-of-Sight permite um número menor de tokens visuais no início do treinamento e um aumento significativo no número de tokens mais tarde, ao ajustar o modelo.

O core do Chain-of-Sight é uma técnica de reamostragem visual que capta informações visuais em diferentes escalas. Isso ajuda o modelo a reter detalhes importantes das imagens, mesmo começando com menos tokens visuais. Gerenciando esses tokens visuais de forma eficaz, o método Chain-of-Sight pode reduzir a quantidade necessária durante o treinamento inicial em até 90%.

#Como Funciona o Chain-of-Sight

O método funciona dividindo os recursos visuais em seções menores chamadas janelas de tamanhos diferentes. Processando essas janelas, o modelo coleta informações visuais tanto de uma perspectiva ampla quanto detalhada. Essa abordagem permite que o modelo mantenha um nível de compreensão sobre a imagem enquanto usa menos tokens visuais.

Uma vez que o modelo está pronto para ajuste fino, o número de tokens visuais pode ser aumentado significativamente, permitindo que ele capte mais detalhes das imagens. Essa abordagem flexível não só acelera o treinamento, mas também permite que o modelo se adapte e melhore seu desempenho com um número maior de tokens quando necessário.

#Benefícios do Uso do Chain-of-Sight

1. Treinamento Mais Rápido: Reduzindo o número de tokens visuais no início, o tempo de treinamento pode ser diminuído em quase 73%, permitindo que os pesquisadores treinem modelos de forma mais eficiente.

2. Desempenho Mantido: Pesquisas mostram que mesmo com menos tokens durante o treinamento, os modelos alcançam resultados competitivos em comparação aos treinos completos. Por exemplo, um modelo treinado com apenas 32 tokens visuais pode ter desempenho igual ao de um treinado com 336 tokens após ajuste fino.

3. Escalabilidade: A capacidade de aumentar o número de tokens visuais durante o ajuste fino permite que o modelo se adapte a diferentes tarefas enquanto aproveita os ganhos de eficiência iniciais.

4. Eficiência de Recursos: Esse método diminui a demanda computacional durante a fase de pré-treinamento, que é crítica para reduzir custos e o impacto ambiental do treinamento de grandes modelos.

#Resultados Experimentais

A eficácia do Chain-of-Sight foi validada por meio de vários testes. Os resultados indicam que os modelos treinados com o novo método superaram consistentemente aqueles que usaram técnicas de treinamento tradicionais, enquanto exigiam menos tempo e recursos.

• Redução do Tempo de Treinamento: O modelo treinado com Chain-of-Sight viu uma queda significativa no tempo de treinamento em comparação aos métodos tradicionais, resultando em economia de recursos.

• Desempenho em Tarefas Visuais-Linguísticas: Ao testar em tarefas como geração de legendas e resposta a perguntas visuais, os modelos mostraram desempenho forte, igualando ou superando os benchmarks definidos por modelos tradicionais.

• Adaptabilidade: A capacidade de ajustar a contagem de tokens visuais possibilitou resultados melhores em tarefas específicas quando o ajuste fino foi realizado, provando que o Chain-of-Sight melhora efetivamente as capacidades do modelo.

#Desafios e Direções Futuras

Embora o Chain-of-Sight ofereça soluções promissoras, alguns desafios permanecem. Essa técnica foca principalmente em tokens visuais e pode precisar de mais exploração em termos de como se integra com tokens de texto durante o treinamento. Além disso, à medida que os MLLMs continuam a crescer em tamanho e complexidade, encontrar maneiras de manter a eficiência sem sacrificar o desempenho será essencial.

Pesquisas futuras poderiam explorar outros métodos para melhorar a compreensão visual nos MLLMs e como esses modelos podem ser otimizados para várias aplicações. A exploração dessas áreas tem o potencial de tornar os MLLMs ainda mais poderosos e eficientes.

#Conclusão

A introdução do Chain-of-Sight é um passo importante no treinamento de modelos de linguagem multimodal grandes. Ao reduzir o número de tokens visuais durante o pré-treinamento e permitir escalabilidade flexível durante o ajuste fino, esse método não só acelera o treinamento, mas também mantém ou melhora o desempenho dos modelos. À medida que as pesquisas avançam, o Chain-of-Sight pode abrir caminho para processos de treinamento mais eficientes, ajudando os pesquisadores a aproveitar ao máximo o potencial dos MLLMs em uma ampla gama de aplicações.