Evaluando LLMs en la respuesta a preguntas médicas

Los grandes modelos de lenguaje (LLMs) son sistemas avanzados de IA que pueden entender y generar lenguaje humano. Han demostrado ser útiles en varios campos, incluyendo la salud. En medicina, resolver problemas clínicos implica usar tanto conocimientos cualitativos (semánticos), como entender síntomas y enfermedades, como conocimientos cuantitativos (numéricos), como interpretar resultados de pruebas. Este artículo explora qué tan bien se desempeñan los LLMs cuando se les pide responder preguntas médicas que requieren razonamiento numérico o semántico.

#Objetivo

El objetivo principal es evaluar la capacidad de los LLMs para enfrentar preguntas médicas, enfocándose en dos tipos: preguntas numéricas que implican correlacionar datos numéricos, y preguntas semánticas que requieren distinguir entre diferentes conceptos. Además, el estudio compara el desempeño de los LLMs con el de expertos humanos al responder estas preguntas.

#Métodos

Para llevar a cabo este estudio, los investigadores crearon un gran conjunto de datos de preguntas y respuestas médicas (QAs) basado en medicina basada en evidencia (EBM). Desarrollaron un gráfico de conocimiento, que es una representación estructurada de información, que recopiló datos de más de 50,000 artículos médicos revisados por pares. Este gráfico facilitó la generación de 105,000 preguntas de opción múltiple. Las preguntas se categorizaron en dos tipos: numéricas y semánticas.

Los investigadores probaron dos LLMs top, Chat-GPT4 y Claude3-Opus. Midieron la Precisión de cada modelo al responder ambos tipos de preguntas. Para validar, se pidió a seis expertos médicos que respondieran 100 preguntas numéricas para ver cómo se comparaban con los modelos.

#Resultados

En las pruebas, Claude3 y GPT4 mostraron mejor precisión en preguntas semánticas que en preguntas numéricas. Claude3 alcanzó un 68.7% de precisión en las QAs semánticas, mientras que GPT4 obtuvo un 68.4%. En las QAs numéricas, Claude3 tuvo un mejor desempeño con un 63.7% de precisión en comparación con el 56.7% de GPT4.

La investigación también reveló que los expertos humanos superaron a ambos LLMs, obteniendo un promedio de 82.3% de precisión en la prueba de validación. Los resultados mostraron que, aunque los LLMs podían manejar preguntas semánticas mejor que las numéricas, aún tenían margen de mejora, especialmente en precisión numérica.

#Discusión

Los hallazgos sugieren que los LLMs aún no son tan confiables como los expertos humanos cuando se trata de toma de decisiones clínicas. Aunque estos modelos pueden procesar una gran cantidad de información, su capacidad para predecir o generar respuestas numéricas precisas es limitada. Esta limitación es crucial, ya que las decisiones médicas a menudo dependen de datos numéricos precisos.

A pesar de sus deficiencias, los LLMs siguen siendo una herramienta útil para los clínicos, especialmente en ayudar con el razonamiento semántico. Pueden revisar rápidamente grandes volúmenes de texto y generar ideas relevantes, lo que puede ser beneficioso en varios contextos médicos, incluyendo la práctica clínica y la educación.

#La Necesidad de Toma de Decisiones Confiables

La práctica clínica requiere toma de decisiones confiables, basadas en evidencia sólida. En muchos casos, esta evidencia proviene de datos estadísticos y guías clínicas. La integración de conocimiento numérico en el razonamiento clínico es vital, ya que permite a los proveedores de salud priorizar sus hipótesis diagnósticas y planes de tratamiento basados en datos robustos.

Los LLMs como Chat-GPT4 y Claude3-Opus tienen el potencial de ayudar a los proveedores de salud analizando grandes cantidades de literatura médica y resumiendo hallazgos. Sin embargo, para que sean realmente útiles, debe mejorarse su capacidad para generar datos numéricos precisos e interpretar resultados.

#Creación del Conjunto de Datos EBMQA

El conjunto de datos EBMQA fue diseñado para llenar vacíos en la representación actual del conocimiento médico. Al usar el gráfico de conocimiento Kahun, que está clínicamente validado, los investigadores pudieron crear un conjunto de datos lleno de QAs médicas relevantes. Este conjunto no solo proporciona información numérica y semántica, sino que también ayuda a reflejar el tipo de preguntas que un médico podría encontrar.

La estructura de cada pregunta fue diseñada cuidadosamente, vinculando tres entidades principales: la fuente (a menudo un trastorno), el objetivo (generalmente un síntoma) y el contexto (población relevante). Al derivar preguntas de las conexiones entre estas entidades, el conjunto de datos buscó imitar escenarios clínicos de la vida real.

#Preguntas de Opción Múltiple

Cada pregunta en el conjunto de datos se presenta en formato de opción múltiple. Para preguntas numéricas, generalmente hay una respuesta correcta, mientras que las preguntas semánticas pueden tener hasta cinco respuestas correctas. Se agregó una opción de "No sé" a todas las preguntas para tener en cuenta las incertidumbres, haciéndolas más reflejantes de la toma de decisiones clínicas reales.

#Análisis de Datos y Selección

El análisis involucró una revisión detallada de las tasas de precisión de los dos LLMs en diversas disciplinas médicas y tipos de preguntas. Los investigadores buscaron evaluar qué tan bien se desempeñaron los modelos en base a diferentes temas médicos, longitud de preguntas y otras clasificaciones.

Para asegurar variabilidad, las preguntas se seleccionaron de varias categorías médicas, como trastornos, síntomas y pruebas de laboratorio. El objetivo era ver si el desempeño de los LLMs variaba con la complejidad y tipo de pregunta.

#Evaluando el Desempeño de los LLMs

El desempeño de los LLMs se juzgó en base a varias métricas clave:

1. Precisión: El porcentaje de respuestas correctas dadas por cada modelo.
2. Tasa de Respuesta (AR): El número total de respuestas (correctas e incorrectas) sugeridas por el LLM.
3. Distribución Mayoritaria: La frecuencia de las respuestas correctas más comunes.

Este enfoque multifacético permitió un análisis más matizado de qué tan bien los LLMs manejan preguntas médicas.

#Comparación entre Humanos y LLMs

Para validar el desempeño de los LLMs, también se probaron expertos médicos humanos. Respondieron a una selección de preguntas numéricas, y los resultados se compararon con los de los LLMs. Esta comparación destacó que el conocimiento y la experiencia humana aún tienen una ventaja significativa sobre los LLMs en contextos médicos.

Los resultados mostraron un patrón consistente: mientras que los LLMs pueden ser útiles en ciertos aspectos del razonamiento médico, todavía no alcanzan la precisión y confiabilidad que proporcionan los expertos humanos.

#Implicaciones de los Hallazgos

Las discrepancias en el desempeño entre LLMs y expertos humanos plantean preguntas importantes sobre el uso de la IA en la atención médica. Entrenar y emplear LLMs como herramientas de apoyo en la toma de decisiones debe hacerse con cautela. Las limitaciones actuales de los LLMs, particularmente en la interpretación precisa de datos numéricos, significan que aún no pueden reemplazar la experiencia humana en entornos clínicos.

En la práctica médica, las consecuencias de tomar decisiones incorrectas pueden ser graves. Así que, aunque los LLMs pueden asistir a los profesionales de la salud en algunas áreas, depender de sus salidas sin supervisión humana podría llevar a errores.

#Direcciones Futuras

Se necesita más investigación para mejorar el desempeño de los LLMs en aplicaciones médicas. A medida que el campo de la inteligencia artificial continúa avanzando, integrar conocimientos médicos más especializados y mejores técnicas de entrenamiento podría mejorar las capacidades de los LLMs.

En particular, los esfuerzos deberían enfocarse en mejorar cómo los LLMs manejan el razonamiento numérico y la interpretación de conjuntos de datos complejos. Esto podría implicar desarrollar modelos adaptados entrenados específicamente en datos médicos, lo que podría ayudarles a captar las sutilezas del razonamiento clínico.

#Conclusión

En resumen, aunque los grandes modelos de lenguaje demuestran potencial en el ámbito de preguntas médicas, actualmente tienen problemas con las preguntas numéricas en comparación con su desempeño en consultas semánticas. En las pruebas, los expertos humanos superaron consistentemente a los LLMs, particularmente en precisión numérica.

El estudio destaca el potencial de los LLMs para proporcionar ideas y apoyo en la práctica clínica, pero también enfatiza la necesidad de precaución al confiar en estos sistemas para decisiones médicas críticas. A medida que la investigación y el desarrollo en IA continúan, hay esperanza de que futuras iteraciones de LLMs estarán mejor equipadas para enfrentar los desafíos que se presentan en entornos de atención médica.