Combinando lenguaje e imágenes para la resumición médica

En el ámbito de la salud, es super importante resumir las preguntas médicas de los pacientes para ayudar a los doctores a entender y responder mejor. A medida que la información médica se vuelve más compleja, muchos estudios solo se han centrado en el texto, ignorando lo útiles que pueden ser las imágenes. Además, la mayoría de las investigaciones solo han tratado preguntas médicas en inglés. Este trabajo busca combinar preguntas médicas en hindi e inglés junto con imágenes para brindar una imagen más clara de la condición de un paciente.

Para llenar este vacío, creamos un nuevo conjunto de datos llamado el Multimodal Medical Codemixed Question Summarization (MMCQS). Este conjunto de datos incluye preguntas médicas que mezclan hindi e inglés, junto con ayudas visuales como imágenes. Esta combinación ayuda a dar más contexto a los problemas médicos de los pacientes, facilitando el resumen preciso de sus preguntas.

También presentamos un sistema llamado MedSumm, que utiliza Modelos de Lenguaje Grandes (LLMs) y modelos de lenguaje visual (VLMs) para resumir preguntas médicas. Al aprovechar nuestro conjunto de datos MMCQS, mostramos que agregar información visual puede llevar a resúmenes más detallados y útiles. Este enfoque puede ayudar a mejorar la comunicación en salud y podría llevar a un mejor cuidado médico en el futuro.

#Importancia de Resumir Preguntas Médicas

En el campo de la salud, hay una gran brecha entre la cantidad de doctores y la creciente población. Reportes recientes indican una escasez de trabajadores de la salud, lo que ha impulsado el uso de la telemedicina. La pandemia de COVID-19 ha aumentado el uso de internet para servicios de salud, haciendo que la comunicación efectiva entre pacientes y doctores sea crucial. Uno de los principales desafíos que enfrentan los doctores es entender rápidamente las preguntas que plantean los pacientes.

Crear una herramienta de resumen para preguntas médicas puede ayudar a extraer la información esencial de las consultas de los pacientes. Esto asegura que los doctores puedan dar respuestas precisas y a tiempo. Aunque investigaciones pasadas han avanzado en resumir preguntas médicas basadas en texto, a menudo pasaron por alto la inclusión de imágenes, que pueden aclarar síntomas y condiciones que son difíciles de describir con palabras.

Los pacientes pueden tener dificultades para expresar con precisión sus síntomas. Por ejemplo, pueden confundir condiciones similares como la sequedad de la piel y las erupciones. Al combinar texto e imágenes, los resúmenes de preguntas médicas pueden lograr mayor claridad. Este enfoque reconoce que incorporar elementos visuales puede proporcionar un contexto esencial para entender las preocupaciones de un paciente.

#Desafíos con Modelos Existentes

Los Modelos de Lenguaje Grandes (LLMs) y los Modelos de Lenguaje Visual (VLMs) han mostrado gran promesa en generar texto y contenido multimedia que parecen humanos. Su aplicación en el campo médico se ha centrado principalmente en tareas específicas como resumir radiografías y generar informes de tomografías. Sin embargo, resumir preguntas médicas que incluyen tanto texto como imágenes sigue siendo un área mayormente inexplorada.

Una limitación de usar LLMs y VLMs estándar es que pueden carecer de conocimientos especializados en campos médicos. Pueden producir resúmenes que pasan por alto detalles críticos como síntomas y pruebas diagnósticas. Además, mientras que los VLMs han sobresalido en tareas visuales típicas, las imágenes médicas presentan desafíos únicos que requieren un conocimiento profundo de la terminología médica.

Además, el auge de la comunicación multilingüe ha llevado a que las personas cambien de idioma con frecuencia. A pesar del creciente interés en el code-mixing en varios campos, todavía hay una falta de conjuntos de datos de calidad en el ámbito médico. Esta situación impulsa la motivación detrás de nuestro estudio para investigar un contexto codemixado.

#Conjunto de Datos MMCQS

#Recolección de Datos

Antes de este estudio, no había un conjunto de datos disponible para la resumación de preguntas codemixadas multimodales que incluyera tanto texto como pistas visuales. Para crear nuestro conjunto de datos, utilizamos el conjunto de datos existente de HealthCareMagic. Este conjunto de datos tenía originalmente más de 226,000 muestras, pero después de eliminar duplicados, comenzamos con alrededor de 226,000 entradas.

Para averiguar qué síntomas médicos podían expresarse mejor a través de imágenes, consultamos a un profesional médico. Después de las discusiones, identificamos 18 síntomas que son más difíciles de describir solo con palabras y los categorizamos en cuatro grupos: Oído, Nariz y Garganta (ENT), relacionados con los ojos, relacionados con extremidades, y relacionados con la piel.

Las imágenes para estos síntomas se recopilaron usando la API de búsqueda de imágenes de Bing y fueron verificadas por un equipo de estudiantes de medicina guiados por un experto médico. Nuestro conjunto de datos final contiene 3,015 muestras con una mezcla de texto en hindi e inglés, junto con imágenes correspondientes.

#Anotación de Datos

Seleccionamos aleatoriamente 100 muestras de este conjunto de datos para el proceso de anotación. Expertos médicos desarrollaron pautas para asegurar que las imágenes médicas se incorporaran correctamente en las preguntas de los pacientes. La anotación se dividió en tres categorías:

1. Incorporación de Pistas Visuales: Expertos médicos añadieron imágenes relevantes basadas en el contexto de la pregunta del paciente. Por ejemplo, si un paciente menciona las amígdalas, se incluiría una imagen que ilustra amígdalas inflamadas.

2. Actualización de Resúmenes Dorados: Expertos médicos revisaron los resúmenes existentes para que se alineen mejor con la naturaleza multimodal de las preguntas.

3. Anotación Codemix en Hindi-Inglés: Algunas anotaciones se crearon para incluir una mezcla de hindi e inglés, reflejando cómo muchos pacientes se comunican.

Se aseguró la calidad de la anotación capacitando a estudiantes de medicina de posgrado bajo la supervisión de expertos médicos. Los datos se evaluaron en función de criterios como fluidez e informatividad.

#Metodología: Marco MedSumm

MedSumm es nuestro marco propuesto para resumir preguntas médicas. Toma dos entradas: la consulta codemixada del paciente y las pistas visuales asociadas. El marco tiene tres etapas principales:

1. Representación de Preguntas y Síntomas Visuales: La pregunta del paciente se transforma en un formato que codifica tanto la información textual como la visual.

2. Métodos de Adaptación: Para ajustar los LLMs a tareas específicas del dominio, utilizamos técnicas eficientes como QLoRA, que permite que el modelo se adapte sin necesitar recursos extensos.

3. Inferencia: La etapa final implica usar el modelo adaptado para generar el resumen basado en la consulta del paciente y las pistas visuales.

#Representación Textual y Visual

La pregunta del paciente se captura como un pasaje de texto que expresa sus preocupaciones médicas. En este marco, empleamos modelos de lenguaje avanzados como LLaMA y GPT-3, que han demostrado ser más efectivos en codificar datos textuales.

Para la representación visual, usamos Vision-Transformers (ViT), que procesan imágenes y las convierten en embeddings. También empleamos una proyección lineal para integrar los embeddings visuales en un espacio textual compartido, permitiendo que el modelo maneje ambos tipos de información.

#Evaluación del Rendimiento

Para evaluar la efectividad de nuestros modelos de resumen, dividimos el conjunto de datos MMCQS en conjuntos de entrenamiento, validación y prueba. Usamos varias métricas como ROUGE, BLEU, BERT score y METEOR para la evaluación automática. Un grupo de expertos médicos y estudiantes ayudó en la evaluación humana basada en métricas específicas que toman en cuenta la precisión de los hechos médicos incluidos en los resúmenes.

#Resultados de la Evaluación

En nuestros experimentos, los resultados mostraron que el marco MedSumm superó a otros modelos en todas las métricas definidas. La integración de pistas visuales demostró mejorar significativamente el proceso de resumen.

En las evaluaciones humanas, la calidad de los resúmenes generados por los modelos multimodales fue calificada más favorablemente en comparación con los modelos unimodales. Las puntuaciones de evaluación clínica reflejaron una mejor relevancia y coherencia. La nueva métrica que introdujimos, llamada MMFCM, también destacó qué tan bien los modelos capturaron hechos médicos relevantes.

#Consideraciones Éticas

Al resumir información médica, las consideraciones éticas son fundamentales. Tomamos varias medidas para asegurar la seguridad y privacidad de los pacientes en nuestro estudio. Esto involucró trabajar en estrecha colaboración con profesionales médicos, obtener las aprobaciones éticas necesarias y cumplir estrictamente con las pautas legales.

Nuestro conjunto de datos se basa en datos del conjunto de datos de HealthCareMagic, y nos aseguramos de que las identidades de los pacientes estuvieran protegidas durante todo este proceso. El uso de imágenes y datos visuales se realizó bajo la supervisión de expertos médicos para mantener los estándares éticos.

#Conclusión y Trabajo Futuro

Este estudio destaca la importancia de usar información visual en la resumación de preguntas médicas, junto con la introducción del conjunto de datos MMCQS. Nuestro marco, MedSumm, combina modelos de lenguaje y visuales para generar resúmenes precisos de las consultas de los pacientes.

De cara al futuro, planeamos expandir nuestro trabajo desarrollando un modelo de Lenguaje-Visión más avanzado que pueda incluir detalles sobre la intensidad y duración de los síntomas en resúmenes futuros. También planeamos explorar la integración de videos médicos y otros idiomas, enfocándonos particularmente en lenguajes de pocos recursos que se utilizan comúnmente en India.

En resumen, agregar elementos visuales a las consultas de los pacientes puede mejorar enormemente la calidad y precisión de los resúmenes médicos, llevando a una mejor comunicación y resultados en salud.