LeafAI: Transformando la contratación de pacientes para ensayos clínicos
Una nueva herramienta simplifica el reclutamiento de pacientes al generar consultas a partir de los criterios de elegibilidad.
― 7 minilectura
Tabla de contenidos
Encontrar a los pacientes adecuados para ensayos clínicos es esencial para la investigación médica. Este proceso, conocido como descubrimiento de cohortes, puede ser complicado porque requiere un entendimiento claro de los términos médicos y cómo buscar a través de grandes cantidades de datos de salud. Desarrollamos LeafAI, un sistema diseñado para ayudar a los investigadores a identificar rápidamente a pacientes elegibles para ensayos clínicos generando consultas a partir de Criterios de Elegibilidad escritos.
La Importancia de Identificar Pacientes Elegibles
Los ensayos clínicos a menudo tienen problemas para cumplir con sus objetivos de reclutamiento. Cuando no se encuentran suficientes pacientes, eso puede causar retrasos y aumentar los costos. Al usar registros de salud electrónicos (EHR) para encontrar pacientes, los investigadores pueden ahorrar tiempo en comparación con revisar manualmente las historias clínicas. Sin embargo, la creciente cantidad de datos en los EHR puede crear obstáculos. Acceder y usar estos datos de manera efectiva a menudo requiere conocimientos especializados que muchos investigadores pueden no tener.
Existen herramientas de descubrimiento de cohortes, y algunas tienen interfaces amigables, permitiendo a los investigadores encontrar pacientes según criterios de elegibilidad. Sin embargo, estas herramientas pueden no manejar bien los requisitos de elegibilidad complejos. Por ejemplo, un requisito puede indicar que un paciente necesita estar "indicado para cirugía bariátrica", lo que podría significar diferentes condiciones médicas. Traducir estos términos vagos en consultas específicas a menudo recae en el investigador, lo cual puede ser un proceso largo y propenso a errores.
Avances en Tecnología
Recientemente, ha habido interés en usar Procesamiento de Lenguaje Natural (NLP) para ayudar con el descubrimiento de cohortes. Las técnicas de NLP pueden analizar el lenguaje escrito y ayudar a extraer información relevante para los criterios de elegibilidad. Esto es especialmente útil ya que los criterios de elegibilidad suelen estar escritos en lenguaje natural, que los clínicos e investigadores ya usan.
Algunos métodos existentes utilizan NLP, pero muchos están limitados a formatos de base de datos específicos, lo que los hace menos flexibles en aplicaciones del mundo real. Otros enfoques dan lugar a consultas de base de datos relativamente simples que pueden carecer de la complejidad requerida para escenarios del mundo real. Por lo tanto, nuestro objetivo fue crear LeafAI, una herramienta más adaptable que pueda generar consultas independientemente del formato de la base de datos y que pueda razonar a través de requisitos de elegibilidad complejos.
Presentando LeafAI
LeafAI genera consultas de base de datos a partir de criterios de elegibilidad en texto libre. Sus principales contribuciones incluyen:
- Un sistema que se puede aplicar a varios formatos de base de datos para la consulta.
- Métodos para convertir criterios de elegibilidad escritos en representaciones lógicas.
- Una base de datos de criterios de elegibilidad anotados para fines de formación.
- Una base de conocimiento integrada (KB) para ayudar a razonar a través de criterios ambiguos.
Cómo Funciona LeafAI
El sistema LeafAI opera en varios pasos:
- Procesamiento de Entrada: Cuando se recibe una solicitud de consulta, los criterios se procesan como texto plano.
- Reconocimiento de Entidades Nombradas (NER): El sistema identifica información clave como condiciones médicas y procedimientos del texto.
- Extracción de Relaciones: Este paso determina la relación entre diferentes entidades presentes en los criterios.
- Transformación de Forma Lógica: El texto procesado se transforma en un formato estructurado que representa mejor el significado de los criterios.
- Normalización: Este paso implica convertir términos en conceptos médicos estandarizados (por ejemplo, vincular "diabetes" con sus códigos médicos).
- Razonamiento: El sistema utiliza la base de conocimiento para derivar información adicional basada en los criterios.
- Generación de Consultas: Finalmente, LeafAI produce una serie de consultas de base de datos basadas en la representación estructurada de los criterios de elegibilidad.
Implementando LeafAI
Para desarrollar LeafAI, construimos una arquitectura de sistema modular que permite que diferentes componentes se comuniquen de manera efectiva. Cada componente puede desarrollarse y ajustarse de forma independiente, facilitando la mejora del rendimiento y las capacidades con el tiempo.
Para las tareas de NER y extracción de relaciones, entrenamos modelos en un conjunto de datos especialmente preparado que incluía instancias de criterios de ensayos clínicos. Esta formación ayuda al sistema a identificar y categorizar mejor los datos relevantes de nuevos criterios de elegibilidad.
La representación lógica de los criterios está elaborada de tal manera que permite consultas complejas mientras mantiene una estructura clara que facilita la traducción a comandos SQL reales. Este diseño es necesario porque los datos médicos del mundo real a menudo implican relaciones e condiciones intrincadas que no se capturan fácilmente en formatos simplificados.
Evaluando el Rendimiento de LeafAI
Para medir la efectividad de LeafAI, comparamos su salida con la de un programador de base de datos humano experimentado. Nos enfocamos en una selección de ensayos clínicos durante un período específico, asegurando que cada uno tuviera criterios de elegibilidad claros.
La evaluación implicó extraer información sobre los pacientes inscritos y su elegibilidad basada en los criterios proporcionados. LeafAI generó consultas que se ejecutaron contra una base de datos de registros de pacientes. Los resultados mostraron que LeafAI coincidió con un porcentaje más alto de pacientes inscritos en comparación con el programador humano, todo mientras tomó significativamente menos tiempo para producir las consultas.
En total, LeafAI coincidió con casi la mitad de los pacientes en los ensayos evaluados, mientras que el programador humano identificó menos. Esto indica que LeafAI puede ahorrar tiempo y mejorar el proceso de reclutamiento para ensayos clínicos.
Desafíos y Consideraciones
A pesar de su éxito, LeafAI no está exento de limitaciones. El rendimiento del sistema puede variar dependiendo de la claridad de los criterios de elegibilidad y la calidad de los datos subyacentes en los EHR. Ciertos términos médicos pueden no tener mapeos directos en la base de conocimiento, lo que lleva a coincidencias perdidas.
Además, aunque los resultados son prometedores, la evaluación se realizó en una sola institución con tipos específicos de ensayos. Por lo tanto, generalizar estos hallazgos a otros entornos y tipos de ensayos clínicos puede requerir una mayor investigación.
Direcciones Futuras
De cara al futuro, estamos trabajando en desarrollar una interfaz web fácil de usar para LeafAI. Esta plataforma permitirá a los investigadores introducir fácilmente criterios y recibir salidas de consultas, simplificando así el proceso de reclutamiento de pacientes.
También buscamos recoger retroalimentación de los usuarios para hacer mejoras continuas al sistema. Al explorar formas de adaptar LeafAI para diversos entornos clínicos y formatos de datos, esperamos mejorar su flexibilidad y usabilidad para los investigadores.
Conclusión
LeafAI representa un avance significativo en el ámbito del reclutamiento de pacientes para ensayos clínicos. Aprovechando el procesamiento de lenguaje natural y una base de conocimiento integral, el sistema es capaz de generar consultas complejas de manera rápida y efectiva.
A medida que el conjunto de datos siga creciendo y evolucionando, LeafAI tiene el potencial de convertirse en una herramienta vital en la comunidad de investigación médica, ayudando a los investigadores a identificar pacientes elegibles de manera eficiente y mejorando el éxito general de los ensayos clínicos.
El objetivo es hacer que la investigación clínica sea más eficiente y efectiva, lo que en última instancia conducirá a avances en el tratamiento y la atención al paciente.
Título: LeafAI: query generator for clinical cohort discovery rivaling a human programmer
Resumen: Objective: Identifying study-eligible patients within clinical databases is a critical step in clinical research. However, accurate query design typically requires extensive technical and biomedical expertise. We sought to create a system capable of generating data model-agnostic queries while also providing novel logical reasoning capabilities for complex clinical trial eligibility criteria. Materials and Methods: The task of query creation from eligibility criteria requires solving several text-processing problems, including named entity recognition and relation extraction, sequence-to-sequence transformation, normalization, and reasoning. We incorporated hybrid deep learning and rule-based modules for these, as well as a knowledge base of the Unified Medical Language System (UMLS) and linked ontologies. To enable data-model agnostic query creation, we introduce a novel method for tagging database schema elements using UMLS concepts. To evaluate our system, called LeafAI, we compared the capability of LeafAI to a human database programmer to identify patients who had been enrolled in 8 clinical trials conducted at our institution. We measured performance by the number of actual enrolled patients matched by generated queries. Results: LeafAI matched a mean 43% of enrolled patients with 27,225 eligible across 8 clinical trials, compared to 27% matched and 14,587 eligible in queries by a human database programmer. The human programmer spent 26 total hours crafting queries compared to several minutes by LeafAI. Conclusions: Our work contributes a state-of-the-art data model-agnostic query generation system capable of conditional reasoning using a knowledge base. We demonstrate that LeafAI can rival an experienced human programmer in finding patients eligible for clinical trials.
Autores: Nicholas J Dobbins, Bin Han, Weipeng Zhou, Kristine Lan, H. Nina Kim, Robert Harrington, Ozlem Uzuner, Meliha Yetisgen
Última actualización: 2023-08-14 00:00:00
Idioma: English
Fuente URL: https://arxiv.org/abs/2304.06203
Fuente PDF: https://arxiv.org/pdf/2304.06203
Licencia: https://creativecommons.org/licenses/by/4.0/
Cambios: Este resumen se ha elaborado con la ayuda de AI y puede contener imprecisiones. Para obtener información precisa, consulte los documentos originales enlazados aquí.
Gracias a arxiv por el uso de su interoperabilidad de acceso abierto.