Simple Science

Ciencia de vanguardia explicada de forma sencilla

# Ciencias de la Salud # Informática sanitaria

Las herramientas de IA transforman las revisiones sistemáticas en la investigación de salud

Explora cómo la IA afecta las revisiones sistemáticas y mejora la eficiencia en la investigación de salud.

Dr. Judith-Lisa Lieberum, Markus Töws, Dr. Maria-Inti Metzendorf, Felix Heilmeyer, Dr. Waldemar Siemens, Dr. Christian Haverkamp, Prof. Dr. Daniel Böhringer, Prof. Dr. Joerg J. Meerpohl, Dr. Angelika Eisele-Metzger

― 9 minilectura


La IA revoluciona las La IA revoluciona las reseñas de investigación en salud. sistemática en la investigación en mejoran los procesos de revisión Las herramientas de IA aceleran y
Tabla de contenidos

Las Revisiones Sistemáticas (RS) son una forma de reunir toda la investigación existente sobre un tema en particular. Su objetivo es recopilar y analizar todos los estudios disponibles para proporcionar una visión clara de lo que se sabe sobre un tema. Piensa en ello como armar las piezas de un rompecabezas donde la imagen final es la comprensión general de una pregunta específica en la investigación en salud. Las RS son esenciales para la medicina basada en evidencia, asegurando que las decisiones de atención médica estén respaldadas por datos sólidos.

Sin embargo, realizar una revisión sistemática no es tarea fácil. Puede llevar mucho tiempo y recursos, a menudo requiriendo un equipo de investigadores que filtre incontables estudios, lo cual puede parecer un poco como buscar una aguja en un pajar. Aquí es donde entra en juego la inteligencia artificial (IA), prometiendo hacer la vida un poco más fácil para estos investigadores.

El auge de la IA en las revisiones sistemáticas

En los últimos años, han surgido diversas herramientas de IA para ayudar a los investigadores con las revisiones sistemáticas. Estas herramientas utilizan principalmente el Aprendizaje automático (AM), que es una rama de la IA que ayuda a las computadoras a aprender de los datos y tomar decisiones. El AM tradicional requiere entrenamiento en tareas específicas, pero los modelos más nuevos, especialmente los grandes modelos de lenguaje (LML), han cambiado el panorama.

Los LML, como GPT y Claude, pueden seguir instrucciones en lenguaje natural casi como si tuvieran mente propia (bueno, no mente, pero ya entiendes). Estos modelos procesan grandes cantidades de texto para generar respuestas, y esta capacidad los ha hecho bastante populares en áreas como la medicina y la investigación en salud. Sin embargo, hay que tener cuidado, ya que su complejidad puede llevar a resultados inesperados, como desinformación o respuestas inadecuadas.

Cómo ayudan las herramientas de IA con las revisiones sistemáticas

Ya se están utilizando varias herramientas de aprendizaje automático en la investigación en salud para asistir con las revisiones sistemáticas. Algunas herramientas ayudan con el filtrado de estudios, mientras que otras asisten en diferentes pasos del proceso de revisión. Por ejemplo, ASReview es un ejemplo de una herramienta que ayuda a filtrar artículos de investigación, y DistillerSR ayuda con varias tareas de revisión sistemática.

Una revisión reciente sobre el impacto de la IA en las revisiones sistemáticas destacó muchas herramientas de AM que mejoran la eficiencia. Sin embargo, también señaló una falta de aplicaciones de LML en ese momento. Desde entonces, el uso de LML en las revisiones sistemáticas ha aumentado sustancialmente, ayudando a los investigadores a formular preguntas de revisión, filtrar estudios y extraer datos de la literatura. Pero, como con cualquier nueva tecnología, estos enfoques todavía están en etapa experimental y pueden cometer errores.

El objetivo de la revisión de alcance

El propósito de la reciente revisión de alcance fue observar más de cerca cómo se están utilizando el AM y los LML para apoyar las revisiones sistemáticas, señalando las estrategias más prometedoras para el desarrollo futuro. Los investigadores siguieron pautas específicas para asegurarse de que el proceso fuera exhaustivo y confiable.

Estableciendo las pautas

Para explorar el papel de la IA en las revisiones sistemáticas, los investigadores establecieron ciertos criterios de elegibilidad. Se centraron específicamente en artículos que discutieran la aplicación del aprendizaje automático en revisiones sistemáticas realizadas en el campo de la investigación en salud. Se incluyeron artículos publicados a partir de abril de 2021, y solo se consideraron artículos científicos completos en inglés y alemán.

Los investigadores querían asegurarse de capturar toda la información relevante, así que excluyeron otros tipos de fuentes, como protocolos de estudio o literatura que no proporcionara detalles sobre las herramientas de IA usadas. De esta manera, pudieron centrarse en recopilar datos significativos que ayudarían a entender cómo la IA está cambiando el proceso de revisión sistemática.

Recolectando la evidencia

Los investigadores buscaron sistemáticamente en múltiples bases de datos para encontrar estudios relevantes, utilizando una variedad de fuentes, incluyendo MEDLINE y Google Scholar. Emplearon una estrategia de búsqueda que apuntaba a registros conocidos relacionados con las aplicaciones de AM y LML en revisiones sistemáticas. Después de filtrar y organizar los hallazgos, pudieron reunir un número sustancial de estudios para un análisis posterior.

Proceso de selección

El proceso de selección involucró a un grupo de revisores que evaluaron de manera independiente los estudios para determinar su elegibilidad. Primero filtraron los títulos y resúmenes, luego pasaron a los textos completos de los artículos restantes, discutiendo cualquier desacuerdo que surgiera. Este cuidadoso proceso aseguró que solo los estudios más relevantes llegaran a la selección final.

Extracción de datos

Al analizar los datos, los investigadores hicieron una distinción entre LML y métodos de AM tradicionales para mayor claridad. Desarrollaron una hoja de cálculo personalizada para rastrear los detalles específicos de las aplicaciones de LML, incluyendo los tipos de modelos utilizados, los pasos en el proceso de revisión sistemática que apoyaron y las conclusiones generales de los autores de cada estudio.

Para los enfoques de AM tradicionales, se utilizó un método separado de extracción de datos. Los investigadores enumeraron herramientas conocidas y categorizaron los métodos de aprendizaje automático según su funcionalidad. Al mantener estos enfoques separados, el equipo pudo entender mejor cómo cada tipo de IA apoyaba las revisiones sistemáticas.

Hallazgos clave sobre las aplicaciones de LML

De la investigación, los investigadores encontraron un total de 196 estudios relevantes para su análisis. De estos, una parte significativa se centró en cómo se usaron los LML en revisiones sistemáticas, lo que indica un creciente interés y potencial prometedor en esta área.

Un hallazgo interesante fue que los LML fueron particularmente útiles en varios pasos de la revisión sistemática. Las tareas más frecuentemente reportadas donde los LML brindaron asistencia incluían la búsqueda sistemática de literatura, selección de estudios (filtrado) y extracción de datos. Estas tareas son cruciales para asegurar que una revisión sistemática sea completa y precisa.

Tipos de herramientas de IA utilizadas

Entre los estudios revisados, GPT demostró ser el LML más comúnmente empleado. Otros modelos, como Claude y LLaMA, también se mencionaron, pero GPT se llevó la mayor parte del protagonismo en la investigación. Los investigadores señalaron los diferentes tipos de LML utilizados en varios pasos del proceso de revisión sistemática, arrojando luz sobre cómo cada modelo contribuyó a la tarea general.

Conclusiones generales

Los autores de estos estudios eran un tanto optimistas sobre el papel de los LML en las revisiones sistemáticas. Más de la mitad de los estudios clasificaron las aplicaciones de LML como prometedoras. Sin embargo, una parte de los autores expresó opiniones neutrales o negativas respecto a su eficacia. A pesar de los resultados prometedores en la selección de estudios y la extracción de datos, las incertidumbres sobre la reproducibilidad y la confiabilidad fueron temas comunes.

Evaluando los desafíos

Aunque los LML muestran potencial, hay desafíos notables por superar. Por ejemplo, su capacidad para generar contenido coherente y relevante es impresionante, pero no siempre proporcionan referencias o verifican sus resultados. Esto puede llevar a resultados poco confiables, lo que es un problema crítico en la literatura científica y la investigación en salud.

Los observadores también notaron que las respuestas de los LML podían variar significativamente dependiendo de la entrada proporcionada. Un pequeño ajuste en el aviso podría generar resultados muy diferentes, lo que genera preocupaciones sobre la consistencia. Además, muchos LML tienen fechas límite para sus datos de entrenamiento, lo que puede resultar en información desactualizada que podría aparecer en los resultados de investigación.

Futuro de los LML en las revisiones sistemáticas

Entonces, ¿qué sigue para los LML en las revisiones sistemáticas? Aunque hay emoción por su integración en el proceso de revisión, se requiere precaución. Los investigadores creen que la supervisión humana será crucial para asegurar la calidad y precisión de los resultados. Editar y verificar las salidas generadas por estos modelos ayudará a mantener altos estándares en la investigación científica.

Los hallazgos de la revisión de alcance sugieren que, aunque las aplicaciones de los LML en las revisiones sistemáticas todavía están desarrollándose, tienen un potencial significativo para hacer que el proceso de investigación sea más eficiente. Los investigadores animan a realizar más estudios para mejorar la transparencia y mejorar las metodologías utilizadas, asegurando que al abrazar estas herramientas de IA, lo hagamos de manera responsable.

Conclusión

En conclusión, la IA, particularmente en forma de LML, está trayendo una nueva ola de apoyo para las revisiones sistemáticas en la investigación en salud. Con resultados prometedores en varias etapas del proceso de revisión, estas herramientas están encontrando gradualmente su lugar en el conjunto de herramientas de revisión sistemática. Sin embargo, con gran poder viene una gran responsabilidad: los investigadores deben asegurarse de que los LML se utilicen sabiamente y con precaución para mantener la integridad de la ciencia.

A medida que el campo continúa evolucionando, podemos esperar ver aún más innovaciones y mejoras, haciendo que las revisiones sistemáticas sean más rápidas y completas. Así que, aunque los investigadores puedan sentir que aún están buscando esa aguja obstinada enterrada en el pajar, al menos ahora tienen un par de amigos de IA confiables para echarles una mano.

Fuente original

Título: Large language models for conducting systematic reviews: on the rise, but not yet ready for use - a scoping review

Resumen: BackgroundMachine learning (ML) promises versatile help in the creation of systematic reviews (SRs). Recently, further developments in the form of large language models (LLMs) and their application in SR conduct attracted attention. ObjectiveTo provide an overview of ML and specifically LLM applications in SR conduct in health research. Study designWe systematically searched MEDLINE, Web of Science, IEEEXplore, ACM Digital Library, Europe PMC (preprints), Google Scholar, and conducted an additional hand search (last search: 26 February 2024). We included scientific articles in English or German, published from April 2021 onwards, building upon the results of a mapping review with a related research question. Two reviewers independently screened studies for eligibility; after piloting, one reviewer extracted data, checked by another. ResultsOur database search yielded 8054 hits, and we identified 33 articles from our hand search. Of the 196 included reports, 159 described more traditional ML techniques, 37 focused on LLMs. LLM approaches covered 10 of 13 defined SR steps, most frequently literature search (n=15, 41%), study selection (n=14, 38%), and data extraction (n=11, 30%). The mostly recurring LLM was GPT (n=33, 89%). Validation studies were predominant (n=21, 57%). In half of the studies, authors evaluated LLM use as promising (n=20, 54%), one quarter as neutral (n=9, 24%) and one fifth as non-promising (n=8, 22%). ConclusionsAlthough LLMs show promise in supporting SR creation, fully established or validated applications are often lacking. The rapid increase in research on LLMs for evidence synthesis production highlights their growing relevance. HIGHLIGHTSO_LIMachine learning (ML) offers promising support for systematic review (SR) creation. C_LIO_LIGPT was the most commonly used large language model (LLM) to support SR production. C_LIO_LILLM application included 10 of 13 defined SR steps, most often literature search. C_LIO_LIValidation studies predominated, but fully established LLM applications are rare. C_LIO_LILLM research for SR conduct is surging, highlighting the increasing relevance. C_LI

Autores: Dr. Judith-Lisa Lieberum, Markus Töws, Dr. Maria-Inti Metzendorf, Felix Heilmeyer, Dr. Waldemar Siemens, Dr. Christian Haverkamp, Prof. Dr. Daniel Böhringer, Prof. Dr. Joerg J. Meerpohl, Dr. Angelika Eisele-Metzger

Última actualización: 2024-12-24 00:00:00

Idioma: English

Fuente URL: https://www.medrxiv.org/content/10.1101/2024.12.19.24319326

Fuente PDF: https://www.medrxiv.org/content/10.1101/2024.12.19.24319326.full.pdf

Licencia: https://creativecommons.org/licenses/by/4.0/

Cambios: Este resumen se ha elaborado con la ayuda de AI y puede contener imprecisiones. Para obtener información precisa, consulte los documentos originales enlazados aquí.

Gracias a medrxiv por el uso de su interoperabilidad de acceso abierto.

Artículos similares