Avaliação de Alucinações em Modelos de Linguagem de Visão Médica

Modelos de Linguagem de Visão Grande (LVLMs) são programas de computador que combinam texto e imagens pra realizar tarefas em várias áreas, como saúde. Eles mostraram resultados bons com imagens naturais e texto, despertando interesse em melhorá-los através de estudos e ajustes. Porém, não tem pesquisa suficiente sobre quão confiáveis esses modelos são, especialmente quando são treinados com conjuntos de dados médicos menores. Este estudo apresenta um conjunto de dados de referência chamado Medical Visual Hallucination Test (MedVH) pra avaliar como esses modelos lidam com Alucinações, que são saídas incorretas ou enganosas que parecem corretas.

#Contexto

Embora muitos avanços tenham sido feitos no uso de grandes modelos de linguagem (LLMs) em diferentes setores, o campo médico viu um aumento no uso de LVLMs que processam texto e imagens. Esses modelos podem interpretar coisas como imagens de raios-X do tórax e fornecer informações que podem ajudar pacientes e médicos a tomarem melhores decisões. No entanto, há uma preocupação crescente com alucinações-quando esses modelos geram respostas erradas, mas com confiança. Isso pode levar a consequências sérias em ambientes de saúde, tornando crucial estudar seu desempenho em contextos médicos.

#Necessidade de Avaliar Alucinações

Os LVLMs médicos foram ajustados para tarefas específicas, mas ainda falta pesquisa focada sobre sua confiabilidade em relação às alucinações. Criar um teste confiável pra avaliar esses modelos exigiria um entendimento profundo de conhecimento médico e dados de entrada bem projetados. Nosso trabalho visa preencher essa lacuna apresentando o MedVH, que foca em avaliar alucinações em um contexto médico.

#Visão Geral do Conjunto de Dados MedVH

O conjunto de dados MedVH consiste em cinco tarefas projetadas pra avaliar alucinações em LVLMs. Essas tarefas são estruturadas pra avaliar a capacidade dos modelos de entender imagens e texto juntos, assim como sua capacidade de gerar respostas longas escritas. Ao realizar testes com LVLMs gerais e médicos, buscamos revelar quão suscetíveis esses modelos são a alucinações em comparação com seu desempenho geral em tarefas médicas.

#Testando Capacidades do Modelo

Nossa estrutura de avaliação inclui perguntas visuais de múltipla escolha (MC-VQA) como uma das suas principais tarefas. Isso envolve mostrar a um modelo uma imagem, uma pergunta em texto e várias respostas possíveis. O objetivo não é necessariamente gerar respostas longas, mas processar informações e determinar quais respostas estão corretas. A dificuldade está em reconhecer informações enganosas que podem levar a alucinações, como quando a imagem não combina com a pergunta.

Além disso, avaliamos a capacidade dos modelos de resistir a alucinações ao gerar longas respostas em texto. Termos e diagnósticos médicos costumam aparecer juntos, o que pode tornar mais provável que os modelos produzam informações incorretas, especialmente quando criam saídas mais longas. Este estudo avalia os modelos através de tarefas como geração de relatórios médicos e justificando suas respostas com falsa confiança.

#Metodologia

Neste trabalho, focamos na tarefa relacionada a imagens de raios-X do tórax (CXR), que é uma área bem conhecida em pesquisa de imagem médica. Pra criar nosso conjunto de dados MC-VQA, usamos vários conjuntos de dados médicos públicos. Nossos experimentos incluem testar três tipos de LVLMs: modelos gerais, modelos médicos e aqueles especificamente ajustados pra tarefas de CXR. Nossos achados revelam que os LVLMs médicos, apesar de se saírem bem em tarefas padrão, são especialmente propensos a alucinações em comparação com modelos gerais. Isso levanta preocupações significativas sobre sua confiabilidade em aplicações médicas.

#Contribuições do Estudo

1. Apresentamos o primeiro conjunto de dados de referência pra avaliar alucinações em LVLMs especificamente para contextos médicos.
2. Apresentamos cinco tarefas específicas de domínio, junto com uma medida que combina raciocínio e capacidade de conhecimento médico.
3. Nossos experimentos envolvem uma gama de LVLMs avançados, mostrando que modelos existentes ainda têm espaço pra melhorar, especialmente antes de serem usados de forma confiável na saúde da vida real.

#Avaliando Alucinações

Construímos uma estrutura de avaliação que avalia alucinações em LVLMs em ambientes médicos. Essa estrutura inclui tarefas que testam a compreensão dos modelos tanto de informações visuais quanto textuais e sua capacidade de gerar textos longos precisos. Cada tarefa foca em funcionalidades específicas críticas pra garantir que os modelos se saiam bem em um contexto médico.

#Tarefas em MedVH

Examino como os LVLMs lidam com alucinações em duas áreas principais: compreensão de visuais médicos e geração de texto médico. Aqui estão as tarefas que focamos:

#Compreensão Visual e Textual Médica

Verificamos como os modelos podem entender imagens e textos relacionados. Várias tarefas MC-VQA são configuradas pra avaliar seu desempenho em reconhecer entradas irrelevantes ou incorretas.

1. Imagem Errada: Apresentamos uma pergunta junto com uma imagem irrelevante. O modelo deve identificar a inconsistência entre a imagem e a pergunta.

2. Nenhuma das Anteriores: Nesta tarefa, o modelo deve escolher "Nenhuma das Anteriores" quando a resposta correta não estiver listada. Isso testa a capacidade de reconhecer escolhas irrelevantes.

3. Perguntas Clinicamente Incorretas: Os modelos respondem a perguntas que sugerem achados que não estão visíveis na imagem que acompanha. Essa tarefa avalia a capacidade deles de interpretar imagens médicas com precisão.

#Geração de Texto Médico

Em seguida, avaliamos como os modelos se saem ao gerar saídas longas de texto. Fazemos isso de duas maneiras:

1. Justificação de Falsa Confiança: O modelo deve explicar se uma resposta dada está correta ou incorreta e sugerir outra resposta, se necessário. Isso verifica com que frequência os modelos expressam certeza quando não é justificado.

2. Geração de Relatórios Gerais: Nesta tarefa, os modelos criam relatórios médicos baseados em imagens de CXR. Avaliamos a precisão das doenças mencionadas nos relatórios em relação às doenças visíveis nas imagens.

#Resultados

Nossos resultados revelam uma diferença significativa no desempenho entre LVLMs gerais e médicos. Enquanto estes últimos podem se destacar em tarefas médicas padrão, muitas vezes enfrentam dificuldades com alucinações. Essa inconsistência destaca a necessidade de mais melhorias nesses modelos antes que possam ser usados eficazmente em ambientes de saúde.

#Implicações para Pesquisa Futura

Dado nossos achados, ficou claro que mais pesquisas são necessárias pra desenvolver LVLMs que possam integrar conhecimento médico de forma confiável, mantendo boas capacidades de raciocínio. Há potencial pra melhorar o desempenho do modelo aumentando a diversidade e volume dos dados de treinamento, assim como explorando diversas técnicas de treinamento.

#Conclusão

Em resumo, este estudo lança luz sobre os desafios que os LVLMs enfrentam em relação às alucinações em contextos médicos. Ao fornecer o conjunto de dados MedVH, buscamos incentivar mais pesquisas nessa área, trabalhando no sentido de criar LVLMs que sejam mais confiáveis e dignos de confiança em aplicações de saúde da vida real.

#Limitações e Considerações Éticas

Embora nosso conjunto de dados seja abrangente, algumas limitações existem, incluindo potenciais vieses dos dados subjacentes. Além disso, todas as informações pessoais de saúde usadas foram anonimizadas pra atender aos padrões de privacidade. Nosso objetivo é promover o uso responsável e mais pesquisas que melhorem a qualidade e confiabilidade dos LVLMs na saúde.