Usando Modelos de Lenguaje para Mejorar el Diagnóstico del Cáncer

Los Biomarcadores Moleculares son indicadores especiales en el cuerpo que ayudan a los doctores a diagnosticar y tratar el Cáncer. Pueden mostrar variaciones en genes o proteínas que se relacionan con tipos específicos de cáncer. Mantenerse al día con las investigaciones y guías más recientes sobre estos biomarcadores puede tomar mucho tiempo para los profesionales de la salud y los pacientes.

Recientemente, se han introducido algunos programas de computadora avanzados conocidos como modelos de lenguaje grandes (LLMs). Estos programas pueden leer y resumir grandes cantidades de texto médico rápidamente. Esto podría ser útil para aliviar parte de la carga de trabajo en el sector salud, especialmente cuando se trata de resumir información médica complicada o ayudar a las personas a entender mejor sus condiciones.

Trabajos anteriores han demostrado que estos LLMs pueden identificar información compleja de notas de oncología, sugerir diagnósticos posibles e incluso crear herramientas visuales, como Árboles de Decisión, para ayudar en la toma de decisiones clínicas. En este artículo, vamos a ver cómo dos de estos LLMs, GPT-4 y Claude-2, pueden ayudar a generar árboles de decisión para clasificar diferentes tipos de cáncer basados en biomarcadores moleculares.

#Creando Árboles de Decisión Diagnósticos

En el estudio, nos centramos en cinco tipos de cáncer, cada uno conocido por tener biomarcadores moleculares distintos. Los cánceres estudiados incluyeron cáncer colorrectal, carcinoma ductal invasivo, Leucemia Mieloide Aguda, linfoma difuso de células B grandes y glioma difuso. Elegimos estos cánceres porque tienen biomarcadores bien investigados.

Usamos tanto GPT-4 como Claude-2 para crear árboles de decisión que mapean los tipos de cáncer y sus biomarcadores asociados. Se utilizó un prompt específico que proporcionaba pautas para crear estos árboles. Algunos prompts incluían reglas de formato, mientras que otros también contenían detalles de las guías de clasificación más recientes para cada tipo de cáncer.

Los árboles de decisión estaban estructurados de modo que los biomarcadores se usaban como ramas, llevando a nodos finales que representaban diferentes subtipos de cáncer. Hicimos un seguimiento de cómo se desempeñaron estos modelos evaluando la precisión de los árboles que produjeron.

#Evaluando el Desempeño del Modelo

Para asegurar comparaciones precisas, expertos clínicos revisaron la precisión de cada árbol de decisión creado por los modelos. Miraron si los árboles identificaban correctamente los subtipos y biomarcadores para cada tipo de cáncer. La salida de cada modelo se evaluó sin saber cuál modelo la produjo, y cualquier desacuerdo entre los revisores se discutió y resolvió.

Además, vimos qué tan bien generó cada modelo árboles cuando se les proporcionaron guías clínicas frente a cuando no se les dieron estas herramientas. Esto nos ayudó a entender el impacto de estas guías en la precisión de los árboles de decisión.

#Resultados: Precisión de los Árboles de Decisión

Ambos modelos, GPT-4 y Claude-2, pudieron crear árboles de decisión correctamente, independientemente de si se les dieron las guías reales. Sin embargo, cuando se proporcionaron guías, su capacidad para extraer los tipos de cáncer correctos y los biomarcadores mejoró significativamente.

Por ejemplo, cuando se les proporcionaron guías, la precisión de Claude-2 pasó de 45% a aproximadamente 81.9%, y para GPT-4, mejoró de 36.1% a casi 82%. Ambos modelos se desempeñaron mejor con carcinoma ductal invasivo en términos de generación precisa de subtipos. Sin embargo, tuvieron dificultades con el cáncer colorrectal cuando no se proporcionaron guías.

Cuando se incluyeron guías, ambos modelos pudieron visualizar todos los subtipos esperados para el cáncer colorrectal y el carcinoma ductal invasivo.

#Alucinaciones en las Salidas del Modelo

Las alucinaciones son errores donde los modelos producen información que no se encuentra en las guías oficiales. Durante nuestra evaluación, notamos con qué frecuencia ocurrían estas alucinaciones. Por ejemplo, cuando no se les dieron guías, GPT-4 y Claude-2 produjeron un alto número de subtipos incorrectos, particularmente para leucemia mieloide aguda y cáncer colorrectal.

La frecuencia de estas alucinaciones se redujo cuando se proporcionaron guías a los modelos. Por ejemplo, cuando se incluyeron guías, la tasa de alucinaciones para Claude-2 bajó del 40% al 21%. Para GPT-4, disminuyó del 37.1% a solo 2.9%. Esto resalta la importancia de proporcionar guías precisas para ayudar a los modelos a producir salidas confiables.

#Desempeño en la Extracción de Biomarcadores

Además de evaluar los árboles de decisión, también vimos qué tan bien los modelos podían extraer biomarcadores esperados. Claude-2 logró extraer alrededor del 55% de los biomarcadores esperados cuando no se dieron guías, y esto aumentó a aproximadamente el 86% cuando se usaron guías. GPT-4 mostró resultados similares, con su tasa de extracción aumentando del 50% al 83% cuando se incluyeron guías.

Ambos modelos se desempeñaron igual de bien en la toma de decisiones biomédicas para carcinoma ductal invasivo, logrando una precisión perfecta. Sin embargo, tuvieron menos éxito en extraer biomarcadores para leucemia mieloide aguda sin guías.

Al igual que los hallazgos con los árboles de decisión, los modelos produjeron algunos biomarcadores alucinados cuando no se dieron guías. La proporción de estas alucinaciones también disminuyó cuando los modelos tuvieron acceso a guías relevantes.

#Precisión General de los Árboles de Decisión

Cuando evaluamos la precisión general de los árboles de decisión generados por ambos modelos, encontramos que sin guías, GPT-4 creó ramas válidas alrededor del 46.7% del tiempo, mientras que Claude-2 logró un 39.3%. Ambos modelos vieron mejoras sustanciales en precisión para leucemia mieloide aguda, que saltó del 0% al 92.3% para GPT-4 y del 0% al 61.7% para Claude-2.

Sin embargo, agregar guías no aumentó significativamente la precisión general de los árboles de decisión para ninguno de los modelos. La precisión de GPT-4 aumentó a 72.5% con guías, mientras que Claude-2 alcanzó el 54.2%.

#Desarrollo de un Panel Amigable para el Usuario

Para ayudar a los usuarios a explorar el desempeño de estos modelos, desarrollamos un panel que permite a las personas ingresar tipos específicos de cáncer y guías para ver qué tan bien pueden generar árboles de decisión. Esta interfaz amigable busca facilitar que tanto los profesionales de la salud como los pacientes visualicen y comprendan el proceso de toma de decisiones.

#Conclusión

En este estudio, mostramos que los modelos de lenguaje pueden producir árboles de decisión precisos para clasificar subtipos de cáncer usando guías clínicas. Además, proporcionar estas guías mejoró la extracción de biomarcadores moleculares y subtipos de cáncer.

Aunque nuestros hallazgos son prometedores, aún hay desafíos por delante. El estudio se centró en el diagnóstico molecular, que es solo una parte de la toma de decisiones clínicas. No todas las características moleculares encajan en categorías simples, así que los esfuerzos futuros podrían explorar cómo representar probabilidades en diferentes puntos de los árboles de decisión. Además, utilizamos modelos programados de APIs que no son tan comprensibles o rentables como algunas alternativas de código abierto.

A pesar de estos desafíos, nuestras evaluaciones iniciales muestran que modelos como GPT-4 tienen un gran potencial para apoyar la revisión y visualización de información médica en oncología. Esperamos que investigaciones futuras puedan construir sobre estos hallazgos para ayudar a resumir estudios clínicos y mejorar cómo se comunican las guías en diversos campos médicos. Esto podría llevar a mejores herramientas para entender información médica compleja y mejorar la atención al paciente.