Avaliação de Modelos de Linguagem Grande Multimodais

Modelos de Linguagem Grande Multimodal (MLLMs) são tipos de modelos que conseguem entender e gerar tanto texto quanto imagens. Esses modelos mostraram resultados incríveis em vários testes. Mas, o Desempenho deles em situações reais, onde tem textos longos e várias imagens, ainda não tá muito claro. Isso acontece porque os testes são muito limitados.

A maioria dos testes atuais analisa imagens únicas e textos curtinhos. Quando tentam ver como um modelo se sai com várias imagens, geralmente restringem a quantidade de imagens ou focam em tarefas específicas. Isso pode esconder os desafios reais que os MLLMs enfrentam.

Pra resolver essas questões, um novo benchmark foi criado pra avaliar como os MLLMs conseguem lidar com contextos longos e várias tarefas que precisam tanto de compreensão quanto de criação de conteúdo. Esse benchmark inclui dois tipos de conjuntos de avaliação: Diagnóstico e realista. O objetivo é ver como os MLLMs se adaptam a contextos longos e completam várias tarefas nessas situações.

Depois de testar 20 modelos diferentes, descobriu-se que modelos fechados, como GPT-4 (Vision) e Gemini 1.5, tiveram o melhor desempenho. Eles se destacaram em contextos longos, enquanto muitos modelos de código aberto tiveram dificuldade. Essa diferença de desempenho tende a aumentar com o número de imagens.

Mais pesquisas são fortemente recomendadas pra melhorar as habilidades dos MLLMs em situações de contexto longo, especialmente aquelas que envolvem várias imagens.

#Estado Atual dos MLLMs

Recentemente, MLLMs como GPT-4V, Gemini, LLaVA e OpenFlamingo mostraram habilidades impressionantes em várias tarefas. Muitos benchmarks também surgiram pra avaliar o desempenho dos MLLMs. Mas, muitas vezes eles não conseguem avaliar bem como os MLLMs lidam com contextos longos e várias imagens.

Tarefas do mundo real frequentemente envolvem textos longos e situações com várias imagens, que não são adequadamente cobertas pelos benchmarks existentes. Embora alguns benchmarks avaliem tarefas com várias imagens, costumam limitar o número de imagens por amostra ou focar apenas em tarefas específicas, perdendo os desafios mais amplos que os MLLMs enfrentam nas aplicações da vida real.

As avaliações atuais costumam ignorar o problema das alucinações, onde os MLLMs podem gerar informações erradas ao trabalhar com contextos longos. Isso cria uma lacuna significativa em como esses modelos conseguem operar em cenários práticos.

Pra resolver essas falhas, um novo benchmark foi introduzido, especificamente desenhado pra testar as habilidades dos MLLMs em contextos longos com várias imagens. Este benchmark busca fornecer uma avaliação mais completa que reflita as necessidades do mundo real.

#Estrutura de Avaliação

O novo benchmark consiste em dois principais conjuntos de avaliação: diagnóstico e realista. A avaliação diagnóstica examina como os MLLMs conseguem recuperar informações de contextos longos, enquanto a avaliação realista testa como os MLLMs realizam tarefas em cenários semelhantes à vida real.

A avaliação diagnóstica identifica como os MLLMs conseguem encontrar informações específicas dentro de um contexto longo. A avaliação realista avalia as habilidades dos MLLMs de entender e raciocinar em contextos multimodais longos.

Para o benchmark, um total de 6.440 amostras foram coletadas de uma mistura de conjuntos de dados existentes e novos dados criados especificamente para esse propósito. Cada amostra geralmente continha 15 imagens e mais de 400 palavras de texto, tornando-a significativamente diferente dos benchmarks anteriores.

Os resultados dos testes mostraram que, enquanto GPT-4(Vision) e Gemini 1.5 se saíram bem, muitos modelos de código aberto não tiveram um desempenho tão bom, especialmente em tarefas de contexto longo. Os melhores modelos de código aberto pontuaram significativamente mais baixo que os modelos fechados. Esses resultados indicam que ainda há muito a ser feito pra melhorar as capacidades dos MLLMs de código aberto.

#Tipos de Avaliações

#Avaliação Realista

A avaliação realista busca medir o quão bem os MLLMs conseguem entender e integrar várias imagens dentro de contextos mais longos. Esse tipo de avaliação é dividido em duas categorias: tarefas temporais de múltiplas imagens e tarefas semânticas de múltiplas imagens.

Tarefas temporais de múltiplas imagens avaliam como os MLLMs conseguem identificar relações entre as imagens ao longo do tempo. Essas tarefas muitas vezes envolvem várias subtarefas, como entender ações e prever resultados com base em uma série de imagens.

As tarefas semânticas de múltiplas imagens verificam como os MLLMs conseguem conectar várias imagens que podem não estar ligadas pelo tempo, mas são semanticamente relacionadas. Por exemplo, os modelos podem precisar responder a perguntas com base em uma mistura de várias imagens e texto dentro de um contexto mais longo.

Na avaliação realista, os desafios incluem entender relações espaciais e raciocinar em cenários complexos que requerem compreensão de dados visuais e textuais juntos.

#Avaliação Diagnóstica

A avaliação diagnóstica foca na capacidade do modelo de recuperar informações específicas sem distração do conteúdo ao redor. Ela transforma tarefas tradicionais como "Agulha no Palheiro" em um formato multimodal.

A tarefa "Agulha no Palheiro" exige que os modelos encontrem um pedaço específico de informação, como uma senha, dentro de um contexto longo cheio de texto e imagens. Por exemplo, os modelos podem precisar buscar através de uma narrativa longa enquanto processam detalhes visuais.

Usando tanto texto quanto imagens nessas tarefas, a avaliação revela o quão bem os MLLMs conseguem gerenciar contextos longos, incluindo suas capacidades de reconhecimento de imagens.

#Resultados dos Testes

Após realizar as avaliações, os resultados indicaram que MLLMs fechados superaram os de código aberto em tarefas que envolviam contextos longos. Isso ficou especialmente claro nas avaliações diagnósticas, onde houve uma lacuna significativa de desempenho.

Embora alguns modelos de código aberto, como VILA, tenham conseguido pontuações razoáveis, muitos outros não foram tão bem. Os achados destacam a necessidade de um treinamento e desenvolvimento mais robustos dentro dos modelos de código aberto pra competir efetivamente em cenários de contexto longo.

Além disso, o estudo descobriu que a maioria dos modelos de código aberto teve dificuldades com tarefas baseadas em imagens, especialmente na hora de escolher imagens específicas de uma mistura de opções. Isso indica a necessidade de melhorar as capacidades de processamento de imagem, especialmente no reconhecimento de texto inserido em imagens.

#Análise de Erros

Uma análise de erros foi realizada pra entender melhor onde os modelos falharam. Por exemplo, em tarefas focadas em entender espaço, alguns modelos não conseguiram responder corretamente ou não seguiram as instruções de forma eficaz. Isso indica uma fraqueza no processamento de dados de múltiplas imagens, que é essencial para tarefas que requerem compreensão detalhada.

Outra tarefa que focou em relações visuais mostrou que vários modelos não conseguiram diferenciar entre sutilezas nas imagens, o que aponta ainda mais pra necessidade de treinamento especializado em conjuntos de dados de múltiplas imagens.

#Direções Futuras

Baseado nas descobertas, duas áreas-chave para pesquisas futuras foram identificadas. Primeiro, há uma necessidade urgente de desenvolver modelos que conseguem processar efetivamente contextos longos envolvendo múltiplas imagens. Isso vai ajudar a melhorar as capacidades deles em aplicações do mundo real.

Segundo, há potencial pra expandir benchmarks pra incluir contextos maiores e tarefas mais complexas através de vários meios. Isso incentivaria o desenvolvimento de MLLMs mais versáteis, capazes de lidar com diversos cenários do mundo real.

#Considerações Éticas

Os dados usados pra este estudo são de conjuntos de dados publicamente disponíveis que cumprem com licenças de código aberto. Foram tomadas precauções pra garantir que práticas éticas sejam seguidas durante a coleta e uso dos dados. Se algum conteúdo inadequado for identificado, serão tomadas medidas pra resolver esses problemas como parte do compromisso de manter altos padrões de qualidade de pesquisa.

#Conclusão

Esse artigo discutiu a criação de um novo benchmark com o objetivo de avaliar MLLMs em situações de contexto longo com várias imagens. Os achados revelaram diferenças significativas de desempenho entre modelos fechados e de código aberto, com uma necessidade forte de mais desenvolvimento nas capacidades de código aberto.

Direções futuras de pesquisa foram indicadas pra potencializar a eficácia dos MLLMs, especialmente em aplicações complexas do mundo real que requerem a integração de texto detalhado e várias imagens.

Focando nessas áreas, o objetivo é apoiar o desenvolvimento de MLLMs mais confiáveis e eficazes que atendam às necessidades de diversas tarefas em diferentes contextos. Esses avanços vão preparar os MLLMs pra um futuro que é cada vez mais multimodal.

#Apêndice

Mais informações e detalhes sobre os modelos de avaliação, tipos de tarefas e processos de coleta de dados são fornecidos no apêndice. Isso inclui análises estatísticas e comparações entre diferentes modelos, assim como exemplos de tarefas usadas nas avaliações do benchmark.

O apêndice serve como um recurso abrangente pra ilustrar as metodologias e estruturas aplicadas durante o estudo. Entendendo tanto os sucessos quanto as limitações dos MLLMs atuais, as pesquisas futuras podem ser direcionadas pra onde são mais necessárias.

Focando em aprimorar as capacidades dos MLLMs em contextos longos, o objetivo é promover modelos que consigam interagir efetivamente com uma ampla gama de aplicações, beneficiando tanto desenvolvedores quanto usuários finais.