Abordando alucinações em modelos de linguagem multimodais

Modelos de Linguagem Grande Multi-modal (MLLMs) são sistemas avançados que misturam entendimento de linguagem com reconhecimento de imagens. Eles são usados em várias aplicações, como criar legendas para imagens e responder perguntas baseadas em conteúdo visual. Apesar das capacidades deles, esses modelos às vezes geram informações erradas ou enganosas que não combinam com as imagens que analisam, um fenômeno conhecido como "alucinação".

#O Problema da Alucinação em MLLMs

Alucinação acontece quando os MLLMs geram resultados que não batem com as imagens fornecidas. Por exemplo, se um modelo vê uma foto de uma maçã e depois diz que tem bananas na imagem, isso é uma alucinação. A maioria das pesquisas sobre isso focou em testes padrão que não levam em conta fatores do mundo real, como recorte ou desfoque de imagens. Esses fatores podem influenciar bastante a performance dos modelos e gerar saídas erradas, principalmente em áreas críticas como saúde e direção automatizada.

#Apresentando o Hallu-PI

Para avaliar melhor como os MLLMs lidam com alucinação em cenários do mundo real, apresentamos um novo benchmark chamado Hallu-PI. Esse benchmark é feito para avaliar as respostas dos MLLMs quando as imagens de entrada são alteradas ou perturbadas. O Hallu-PI combina vários tipos de Perturbações de imagem, como ruído, desfoque e recorte, e analisa como essas mudanças afetam a performance dos modelos.

#Construindo o Hallu-PI

#Coleta de Imagens

O primeiro passo para criar o Hallu-PI foi coletar um conjunto diverso de imagens. Nosso objetivo era reunir imagens de 11 tipos diferentes de objetos para garantir representação. Os anotadores foram instruídos a escolher imagens que fossem de alta qualidade e de uso legal.

#Tipos de Perturbações

Depois, categorizamos os tipos de alterações que poderiam ser aplicadas às imagens. Os tipos comuns de mudanças na imagem incluem:

• Ruído: Adicionar variações aleatórias às imagens.
• Desfoque: Tornar as imagens menos nítidas.
• Efeitos Climáticos: Simular o impacto de neve, chuva ou neblina.
• Manipulações Digitais: Ajustar cores e nitidez.

Também identificamos perturbações específicas, como recorte de imagem e prompts enganosos que podem fazer o modelo fornecer informações falsas.

#Processo de Anotação

Uma vez que as imagens foram perturbadas, os pesquisadores as anotaram com detalhes sobre quaisquer Alucinações presentes. Isso incluía identificar se o modelo gerou objetos, atributos ou relacionamentos incorretos com base nas imagens.

#Conduzindo Experimentos

Realizamos testes extensivos em 12 MLLMs diferentes, como GPT-4V e Gemini-Pro Vision. Esses testes mostraram um aumento distinto nas alucinações quando os modelos foram confrontados com imagens perturbadas em comparação com as não alteradas.

#Resultados dos Experimentos

Os resultados destacaram uma diferença significativa na performance dos modelos. A maioria dos modelos apresentou resultados piores ao processar imagens perturbadas. Alguns modelos, como o GPT-4V, mantiveram um certo grau de precisão, enquanto outros tiveram mais dificuldade com perturbações específicas, como recorte e prompts enganosos.

#Identificando o Viés da Alucinação

Os experimentos revelaram que os MLLMs tendem a exibir um viés em relação a certos tipos de alucinações. Por exemplo, os modelos geralmente tiveram mais dificuldades com o recorte de imagem, onde partes da imagem são removidas, levando a mal-entendidos do conteúdo. Prompts enganosos que incentivaram os modelos a gerar respostas erradas também causaram uma queda significativa na performance.

#Métodos para Reduzir Alucinação

Para lidar com o problema da alucinação, desenvolvemos duas estratégias:

#Perturbed-Reminder

Esse método envolve adicionar um lembrete à entrada do modelo que enfatiza a importância de focar no conteúdo visual. Ao simplesmente afirmar que o modelo deve prestar atenção à imagem, observamos uma diminuição nas alucinações.

#Perturbed-ICL

O segundo método é chamado Perturbed-ICL, que significa Aprendizado em Contexto Perturbado. Essa abordagem incorpora exemplos de entradas perturbadas junto com suas respostas corretas no contexto do modelo. Ao mostrar ao modelo como responder a cenários similares, buscamos melhorar sua capacidade de lidar com distúrbios de forma eficaz.

#Resumo das Descobertas

Através do benchmark Hallu-PI, aprendemos lições valiosas sobre as limitações dos MLLMs quando enfrentam entradas perturbadas. Nossa pesquisa indicou que esses modelos geralmente produzem alucinações ao processar imagens alteradas, especialmente em cenários comuns como recorte e prompts enganosos. A introdução dos métodos Perturbed-Reminder e Perturbed-ICL mostrou potencial para reduzir alucinações, sugerindo caminhos para melhorias futuras.

#Conclusão

Em conclusão, nosso estudo enfatiza a importância de avaliar os MLLMs em condições realistas que reflitam os desafios que enfrentam no dia a dia. Ao desenvolver benchmarks como o Hallu-PI, buscamos promover uma melhor compreensão de como esses modelos podem ser aprimorados para minimizar alucinações e aumentar sua confiabilidade em aplicações do mundo real.