Combinando Linguagem e Imagens para Resumo Médico

Na área da saúde, é importante resumir as perguntas médicas dos pacientes pra ajudar os médicos a entenderem e responderem melhor. Com as informações médicas ficando cada vez mais complexas, muitos estudos focaram só no texto, ignorando a utilidade das imagens. Além disso, a maioria das pesquisas só lidou com perguntas médicas em inglês. Este trabalho tem como objetivo combinar perguntas médicas em hindi e inglês, junto com imagens, pra dar uma visão mais clara da condição do paciente.

Pra preencher essa lacuna, criamos um novo conjunto de dados chamado Multimodal Medical Codemixed Question Summarization (MMCQS). Esse conjunto inclui perguntas médicas que misturam hindi e inglês, além de materiais visuais como imagens. Essa combinação ajuda a dar mais contexto para os problemas médicos dos pacientes, tornando mais fácil resumir suas perguntas de forma precisa.

Também introduzimos um sistema chamado MedSumm, que usa grandes modelos de linguagem (LLMs) e modelos de linguagem visual (VLMs) pra resumir perguntas médicas. Aproveitando nosso conjunto de dados MMCQS, mostramos que adicionar informações visuais pode levar a resumos mais detalhados e úteis. Essa abordagem pode ajudar a melhorar a comunicação na saúde e poderia resultar em um cuidado médico melhor no futuro.

#Importância de Resumir Perguntas Médicas

Na área da saúde, tem uma lacuna grande entre o número de médicos e a população crescente. Relatórios recentes indicam uma escassez de trabalhadores da saúde, o que impulsionou o uso da telemedicina. A pandemia de COVID-19 aumentou o uso da internet para serviços de saúde, tornando a comunicação eficaz entre pacientes e médicos crucial. Um dos principais desafios que os médicos enfrentam é entender rapidamente as perguntas feitas pelos pacientes.

Criar uma ferramenta de resumo para perguntas médicas pode ajudar a extrair as informações essenciais das dúvidas dos pacientes. Isso garante que os médicos possam fornecer respostas precisas e no tempo certo. Embora pesquisas passadas tenham avançado na sumarização de perguntas médicas baseadas em texto, muitas vezes ignoraram a inclusão de imagens, que podem esclarecer sintomas e condições difíceis de descrever em palavras.

Os pacientes podem ter dificuldade em expressar seus sintomas com precisão. Por exemplo, eles podem confundir condições semelhantes, como secura da pele e erupções. Ao combinar texto e imagens, os resumos das perguntas médicas podem alcançar uma clareza maior. Essa abordagem reconhece que incorporar elementos visuais pode fornecer um contexto essencial para entender as preocupações de um paciente.

#Desafios com Modelos Existentes

Modelos de Linguagem Grandes (LLMs) e Modelos de Linguagem Visual (VLMs) mostraram grande potencial em gerar texto e conteúdo multimídia semelhantes ao humano. Sua aplicação na área médica tem se concentrado principalmente em tarefas específicas, como resumir raios-X e gerar laudos de tomografia. Porém, resumir perguntas médicas que incluem tanto texto quanto imagens ainda é uma área pouco explorada.

Uma limitação ao usar LLMs e VLMs padrão é que eles podem não ter conhecimento especializado nas áreas médicas. Eles podem produzir resumos que ignoram detalhes críticos, como sintomas e testes diagnósticos. Além disso, enquanto os VLMs se destacaram em tarefas visuais típicas, imagens médicas apresentam desafios únicos que exigem um conhecimento aprofundado de terminologia médica.

Além disso, o aumento da comunicação multilíngue fez com que as pessoas muitas vezes trocassem entre idiomas. Apesar do crescente interesse em misturar idiomas em várias áreas, ainda falta conjuntos de dados de qualidade no domínio médico. Essa situação impulsiona a motivação por trás do nosso estudo para investigar um contexto codemixado.

#Conjunto de Dados MMCQS

#Coleta de Dados

Antes deste estudo, não havia um conjunto de dados disponível para sumarização de perguntas codemixadas multimodais que incluísse texto e pistas visuais. Pra criar nosso conjunto de dados, utilizamos o conjunto de dados HealthCareMagic existente. Esse conjunto originalmente tinha mais de 226.000 amostras, mas depois de remover duplicatas, começamos com cerca de 226.000 entradas.

Pra descobrir quais sintomas médicos poderiam ser expressos melhor por meio de imagens, consultamos um profissional da saúde. Após discussões, identificamos 18 sintomas que são mais difíceis de descrever apenas com palavras e os categorizamos em quatro grupos: Ouvido, Nariz e Garganta (ENT), Olho, Membros e Pele.

Imagens para esses sintomas foram coletadas usando a API de Pesquisa de Imagens do Bing e foram verificadas quanto à precisão por uma equipe de estudantes de medicina orientados por um especialista médico. Nosso conjunto de dados final contém 3.015 amostras com uma mistura de texto em hindi e inglês, junto com imagens correspondentes.

#Anotação de Dados

Selecionamos aleatoriamente 100 amostras desse conjunto para o processo de anotação. Especialistas médicos desenvolveram diretrizes pra garantir que as imagens médicas fossem incorporadas corretamente nas perguntas dos pacientes. A anotação foi dividida em três categorias:

1. Incorporação de Pistas Visuais: Especialistas médicos adicionaram imagens relevantes com base no contexto da pergunta do paciente. Por exemplo, se um paciente menciona amígdalas, uma imagem ilustrando amígdalas inchadas seria incluída.

2. Atualização de Resumos Orais: Especialistas médicos revisaram resumos existentes pra alinhar melhor com a natureza multimodal das perguntas.

3. Anotação Codemixada Hindi-Inglês: Algumas anotações foram criadas pra incluir uma mistura de hindi e inglês, refletindo como muitos pacientes se comunicam.

A qualidade da anotação foi garantida treinando estudantes de medicina de pós-graduação sob a orientação de especialistas médicos. Os dados foram avaliados com base em critérios como fluência e informatividade.

#Metodologia: Estrutura do MedSumm

O MedSumm é a nossa estrutura proposta pra resumir perguntas médicas. Ele recebe duas entradas: a consulta codemixada do paciente e as pistas visuais associadas a ela. A estrutura tem três etapas principais:

1. Representação da Pergunta e Sintoma Visual: A pergunta do paciente é transformada em um formato que codifica tanto a informação textual quanto a visual.

2. Métodos de Adaptação: Pra ajustar os LLMs para tarefas específicas do domínio, usamos técnicas eficientes como QLoRA, que permite ao modelo se adaptar sem precisar de muitos recursos.

3. Inferência: A etapa final envolve usar o modelo adaptado pra gerar o resumo com base na consulta do paciente e nas pistas visuais.

#Representação Textual e Visual

A pergunta do paciente é capturada como um texto que expressa suas preocupações médicas. Nessa estrutura, usamos modelos de linguagem avançados como LLaMA e GPT-3, que mostraram ser mais eficazes em codificar dados textuais.

Pra representação visual, usamos Transformers Visuais (ViT), que processam imagens e as convertem em embeddings. Também usamos uma projeção linear pra integrar embeddings visuais em um espaço de texto compartilhado, permitindo que o modelo lide com ambos os tipos de informação.

#Avaliação de Desempenho

Pra avaliar a eficácia dos nossos modelos de resumo, dividimos o conjunto de dados MMCQS em conjuntos de treinamento, validação e teste. Usamos várias métricas como ROUGE, BLEU, BERT score e METEOR pra avaliação automática. Um grupo de especialistas e estudantes de medicina ajudou na avaliação humana com base em métricas específicas que consideram a precisão dos fatos médicos incluídos nos resumos.

#Resultados da Avaliação

Nos nossos experimentos, os resultados mostraram que a estrutura MedSumm superou outros modelos em todas as métricas definidas. A integração de pistas visuais provou melhorar significativamente o processo de sumarização.

Nas avaliações humanas, a qualidade dos resumos gerados pelos modelos multimodais foi classificada de forma mais favorável em comparação aos modelos unimodais. As pontuações da avaliação clínica refletiram melhor relevância e coerência. A nova métrica que introduzimos, chamada MMFCM, também destacou como os modelos capturaram bem os fatos médicos relevantes.

#Considerações Éticas

Ao resumir informações médicas, as considerações éticas são fundamentais. Tomamos várias medidas pra garantir a segurança e privacidade dos pacientes em nosso estudo. Isso envolveu trabalhar de perto com profissionais médicos, obter as aprovações éticas necessárias e seguir rigorosamente as diretrizes legais.

Nosso conjunto de dados é baseado em dados do conjunto de dados HealthCareMagic, e garantimos que as identidades dos pacientes fossem protegidas durante todo esse processo. O uso de imagens e dados visuais foi feito sob a supervisão de especialistas médicos pra manter os padrões éticos.

#Conclusão e Trabalho Futuro

Este estudo destaca a importância de usar informações visuais na sumarização de perguntas médicas, junto com a introdução do conjunto de dados MMCQS. Nossa estrutura, MedSumm, combina modelos de linguagem e visuais pra gerar resumos precisos das consultas dos pacientes.

Olhando pra frente, pretendemos expandir nosso trabalho desenvolvendo um modelo de Linguagem-Visão mais avançado que possa incluir detalhes sobre a intensidade e duração dos sintomas em resumos futuros. Também planejamos explorar a integração de vídeos médicos e outros idiomas, com foco especial em idiomas de baixo recurso comumente usados na Índia.

Resumindo, adicionar elementos visuais às perguntas dos pacientes pode melhorar muito a qualidade e precisão dos resumos médicos, levando a uma melhor comunicação e resultados na saúde.