Mejorando la seguridad farmacéutica con modelos de lenguaje

Los grandes modelos de lenguaje (LLMs) son herramientas poderosas que pueden ayudar en varias tareas, como escribir, traducir y resumir textos. Estos modelos han demostrado ser muy prometedores en el campo médico, especialmente en la farmacovigilancia, que es la monitorización de la seguridad de los medicamentos. Sin embargo, hay preocupaciones importantes cuando se usan LLMs en áreas sensibles como la salud, sobre todo por el riesgo de generar información falsa o engañosa, a menudo llamada "Alucinaciones". Esto es particularmente peligroso en la seguridad de los medicamentos, donde detalles incorrectos pueden perjudicar a los pacientes.

Para abordar estos riesgos, hemos creado un conjunto de medidas de seguridad, conocidas como Guardrails, diseñadas específicamente para mejorar la fiabilidad de los LLMs en farmacovigilancia. Estos guardrails ayudan a identificar y reducir errores que pueden impactar negativamente en la seguridad de los pacientes. En este artículo, hablaremos sobre cómo desarrollamos estos guardrails y los probamos en situaciones del mundo real.

#El Desafío de las Alucinaciones

Los LLMs pueden crear respuestas basadas en patrones que han aprendido de grandes cantidades de texto. Sin embargo, también pueden producir información que no es precisa o incluso totalmente inventada, lo que es problemático en contextos médicos. En el ámbito de la seguridad de los medicamentos, la información incorrecta puede distraer a los proveedores de salud de problemas reales y potencialmente llevar a situaciones inseguras para los pacientes.

La farmacovigilancia se basa en recopilar y analizar informes de Eventos Adversos (AES) relacionados con medicamentos y vacunas. La información se organiza en lo que se conoce como un Informe de Seguridad de Caso Individual (ICSR). Estos informes pueden venir de diferentes fuentes y no siempre pueden ser completos o precisos. Por lo tanto, asegurar que los LLMs proporcionen resultados confiables en este campo es crucial.

#Implementando Guardrails

Nuestro enfoque para mejorar la seguridad de los LLMs implica crear guardrails que pueden ayudar a filtrar información inexacta. Estos guardrails se pueden clasificar en dos tipos: estructurales y semánticos.

1. Guardrails Estructurales: Estos están diseñados para asegurar que la salida del LLM siga un formato consistente. Por ejemplo, asegurarse de que la información esté estructurada como un archivo CSV o JSON puede ayudar a prevenir errores que podrían surgir del procesamiento de texto libre.

2. Guardrails Semánticos: Estos se centran en verificar el contenido generado por el LLM. Buscan cualquier inexactitud o información problemática. Esto incluye guardrails rígidos que producen evaluaciones claras de sí o no y guardrails suaves que ofrecen evaluaciones probabilísticas sobre la fiabilidad de la salida.

Implementar estos guardrails puede mejorar significativamente la precisión de las salidas de los LLM, especialmente en farmacovigilancia.

#Desarrollando un Sistema para Informes de Seguridad de Medicamentos

Desarrollamos un sistema que combina LLMs con guardrails para procesar informes médicos de manera efectiva. El sistema está diseñado específicamente para traducir documentos de ICSR en japonés a inglés. Dada la complejidad de los datos que se manejan, este sistema utiliza tanto información estructurada como no estructurada en sus traducciones.

Para construir este sistema, nos basamos en un gran conjunto de datos que contiene más de cuatro millones de ICSRs recopilados de una base de datos de seguridad. El enfoque estaba en asegurar que el proceso de traducción pudiera manejar los diversos formatos y complejidades encontrados en estos informes. Al integrar campos estructurados con los datos narrativos, nuestro objetivo era crear traducciones al inglés completas y precisas en las que los profesionales de la salud pudieran confiar.

#Probando los Guardrails por su Efectividad

Para evaluar la efectividad de nuestros guardrails, realizamos una serie de pruebas. Comparamos las salidas del modelo antes y después de implementar los guardrails para evaluar mejoras en la calidad de la traducción. Los resultados indicaron que los guardrails identificaron con éxito muchos errores, especialmente relacionados con nombres de medicamentos y eventos adversos.

#Cuantificación de Incertidumbre a Nivel de Documento

Uno de los guardrails suaves que utilizamos fue la cuantificación de incertidumbre a nivel de documento (DL-UQ). Esta medida ayuda a identificar documentos que probablemente no son ICSRs y evita que el modelo procese informes irrelevantes o no elegibles. Al crear embeddings para tanto documentos presentados como de entrenamiento, pudimos calcular una puntuación de distancia. Si esta puntuación superaba un cierto umbral, el documento podía ser señalado para revisión adicional.

#Guardrail MISMATCH

Otro guardrail esencial fue el guardrail MISMATCH. Este guardrail rígido se centró en asegurar que los nombres de los medicamentos mencionados en la traducción coincidieran con los de el informe original. Cualquier inconsistencia podría indicar alucinaciones o traducciones incorrectas. Al utilizar diccionarios de medicamentos existentes, pudimos cruzar referencias de términos y captar posibles errores antes de que llegaran al informe final.

#Cuantificación de Incertidumbre a Nivel de Token

También implementamos la cuantificación de incertidumbre a nivel de token (TL-UQ), que evaluaba la incertidumbre a nivel de palabra individual. A cada palabra generada por el modelo se le asignaba una puntuación de probabilidad, indicando cuán confiado estaba el modelo en su selección. Esta medida señalaba palabras que mostraban alta incertidumbre, lo que llevaba a una revisión humana de esos segmentos.

#Evaluando el Rendimiento del Modelo

Evaluamos el rendimiento de nuestro LLM comparando sus traducciones con traducciones generadas por humanos y con estándares establecidos. Los revisores analizaron una muestra de traducciones, proporcionando retroalimentación sobre claridad, precisión y adecuación general para presentaciones regulatorias.

Los resultados mostraron que, si bien las traducciones generadas por el LLM eran generalmente aceptables, algunos errores persistían. Notablemente, muchas traducciones contenían inexactitudes relacionadas con nombres de medicamentos y eventos adversos. Esto destacó la necesidad continua de una revisión cuidadosa y la efectividad de nuestros guardrails para detectar errores significativos.

#Direcciones Futuras

Los hallazgos de nuestras evaluaciones indican que integrar LLMs en farmacovigilancia es un enfoque prometedor, pero quedan desafíos. Nuestro uso de guardrails demuestra que es posible reducir significativamente los riesgos asociados con alucinaciones e inexactitudes. Sin embargo, se necesita más investigación para refinar estos guardrails y desarrollar métodos más completos para identificar errores potenciales.

A medida que avanzamos, planeamos expandir nuestro sistema de guardrails para abordar desafíos adicionales en farmacovigilancia. Esto incluye explorar mecanismos más sofisticados para identificar discrepancias y aumentar la precisión de las traducciones en varios idiomas. Al mejorar continuamente nuestros métodos, esperamos aumentar la fiabilidad de los LLMs en el manejo de información crítica para la seguridad.

#Conclusión

En conclusión, los grandes modelos de lenguaje tienen un potencial significativo para ayudar en la farmacovigilancia al proporcionar traducciones eficientes y procesar informes de seguridad de medicamentos. Sin embargo, garantizar la seguridad y precisión en este contexto es primordial. El desarrollo e implementación de guardrails ha demostrado ser un paso crítico para limitar errores, especialmente en la generación de salidas confiables para los profesionales de la salud.

Nuestros esfuerzos subrayan la necesidad de un enfoque sistemático para incorporar LLMs en áreas sensibles a la seguridad. Con salvaguardias apropiadas y mejoras continuas, los LLMs pueden contribuir de manera significativa al campo de la seguridad de medicamentos, beneficiando en última instancia a la atención y seguridad del paciente.