Modelos de IA para resumir conversaciones clínicas

Resumir las conversaciones clínicas se está convirtiendo en una tarea clave en el sector salud. Los doctores y trabajadores de la salud a menudo tienen que meter un montón de información en los Registros Electrónicos de Salud (EHR) durante las visitas a los pacientes. Este proceso puede ser muy lento y causar agotamiento en los profesionales de la salud. Con el aumento de estos registros electrónicos, hace falta herramientas que puedan resumir rápida y precisamente las charlas entre médicos y pacientes.

Se están diseñando Modelos de inteligencia artificial (IA) para extraer y resumir automáticamente la información más crítica de estas conversaciones. Estos modelos aprenden de grandes Conjuntos de datos que contienen diálogos Clínicos, ayudándoles a identificar detalles clave como síntomas, diagnósticos, medicamentos y planes de tratamiento. Una vez entrenados, pueden crear resúmenes de estas conversaciones, lo que ayuda a redactar informes conocidos como notas de expediente que los doctores necesitan completar después de ver a un paciente.

#Desafíos en la Implementación

Hay varios desafíos al usar estos modelos de IA de manera efectiva. Un problema importante es la falta de suficientes datos de entrenamiento. Dado que los registros médicos contienen información sensible, conseguir un conjunto de datos diverso para el entrenamiento puede ser complicado por las leyes de privacidad. Además, los profesionales médicos usan términos especializados que pueden variar según las diferentes situaciones, lo que dificulta a los modelos identificar y resumir la información importante con precisión.

#Abordando el Problema

Para enfrentar estos desafíos, los investigadores están buscando diferentes maneras de combinar modelos de resumen de IA. Este estudio se centra en tres métodos principales que utilizan modelos de resumen basados en transformadores para encontrar la mejor manera de resumir conversaciones clínicas.

El primer paso fue ver cómo un solo modelo podía resumir toda una nota de expediente. Luego, los investigadores probaron si combinar resultados de diferentes modelos, cada uno entrenado en partes específicas de la nota, produciría mejores resúmenes. Finalmente, analizaron si pasar estos resultados combinados a otro modelo de resumen mejoraría la calidad.

#Usando Modelos Avanzados

Los modelos basados en transformadores se han vuelto muy populares para resumir texto. Sin embargo, un gran desafío es que las conversaciones a menudo superan los límites de entrada de los modelos estándar. Para abordar esto, se han desarrollado nuevos modelos como Longformer y Big Bird. En este estudio, los investigadores eligieron trabajar con un modelo llamado LSG BART, que es una versión avanzada de BART, para probar sus ideas.

LSG BART está diseñado para resumir documentos más largos. Mientras que BART puede manejar hasta 1024 tokens, LSG BART puede gestionar hasta 4096 tokens. Esta característica lo hace adecuado para resumir conversaciones extensas y permite proporcionar un resumen más coherente.

#Detalles del Conjunto de Datos y Desafíos

El desafío MEDIQA-Chat 2023, que se centra en mejorar la tecnología de PLN para aplicaciones clínicas, proporciona el conjunto de datos. Este desafío incluye tres tareas. La Tarea A se trata de generar secciones específicas de notas, la Tarea B busca crear notas completas y la Tarea C se enfoca en revertir el proceso generando conversaciones a partir de notas. Para la Tarea B, el conjunto de datos tenía 67 conversaciones de entrenamiento y 20 de validación, junto con un conjunto de prueba oculto de 40 conversaciones adicionales.

#Probando Diferentes Enfoques

Para evaluar los diferentes enfoques para resumir conversaciones clínicas, los investigadores dividieron el problema en tres pruebas. Querían ver si afinar el modelo LSG BART en artículos de investigación médica ayudaría a mejorar su rendimiento.

1. Modelo LSG BART Único: Primero, entrenaron un solo modelo LSG BART con y sin afinación en datos de PubMed, que consiste en literatura médica.

2. Conjunto de Modelos: El segundo enfoque involucró crear un conjunto de diferentes modelos LSG BART. Cada modelo fue entrenado en secciones individuales de la nota. Después del entrenamiento, los resultados de estos modelos se combinaron para producir la nota final.

3. Modelo de Múltiples Capas: El tercer método utilizó una combinación de los dos enfoques anteriores. La salida del conjunto de resumidores fue pasada a otro modelo LSG BART, esperando lograr un resumen más completo y coherente.

#Resultados y Observaciones

Los tres enfoques fueron evaluados usando una tasa de aprendizaje que disminuyó con el tiempo, con entrenamiento llevado a cabo durante 20 épocas en una potente GPU Nvidia A100. Las métricas de evaluación usadas incluyeron ROUGE, que mide cuán cerca están los resúmenes generados de los resúmenes de referencia.

Al comparar los resultados, resultó que el segundo enfoque, que usó el conjunto de modelos por secciones, produjo los mejores resúmenes. En contraste, el tercer enfoque, que añadió una capa adicional de resumen, no mostró mejora en precisión. De hecho, algunas áreas sufrieron una caída en precisión.

Los investigadores notaron que el modelo enfocado en el resumen por secciones ayudó a producir mejores resultados porque se especializó en el contenido particular de cada sección. Sin embargo, combinar los resultados en el tercer enfoque no logró mejorar la calidad general de los resúmenes.

En los rankings finales de la competencia, el segundo enfoque tuvo un buen desempeño, asegurando buenos puestos tanto para la generación de notas completas como para texto por secciones. El primer enfoque tuvo un rendimiento razonable pero fue superado por el segundo. El tercer enfoque quedó más bajo, indicando que simplemente añadir otra capa de resumen no fue efectivo.

#Conclusión y Direcciones Futuras

Los resultados indican que usar múltiples modelos de resumen adaptados para secciones específicas de la nota puede mejorar la calidad del resumen. Sin embargo, simplemente pasar los resultados a otro modelo no dio mejor precisión. Los investigadores sugieren que se necesitan conjuntos de datos más amplios y más análisis para determinar mejor por qué sucede esto.

En el futuro, planean realizar estudios profundos sobre diferentes arquitecturas de modelos para mejorar aún más el resumen por secciones. También quieren investigar otros modelos adecuados para resumir documentos largos para aumentar la precisión general en la resumisión de conversaciones clínicas.

#Consideraciones Éticas

Aunque los resultados son prometedores, es importante señalar que estos modelos de IA a veces pueden generar información inexacta. Por lo tanto, es vital que los profesionales de la salud supervisen el uso de estos sistemas. El estudio sirve como una exploración preliminar del potencial de usar múltiples estrategias de resumen y enfatiza la necesidad de más investigación para ajustar los modelos para el uso clínico.