Les outils d'IA transforment les revues systématiques en recherche santé
Explore comment l'IA impacte les revues systématiques et améliore l'efficacité de la recherche en santé.
Dr. Judith-Lisa Lieberum, Markus Töws, Dr. Maria-Inti Metzendorf, Felix Heilmeyer, Dr. Waldemar Siemens, Dr. Christian Haverkamp, Prof. Dr. Daniel Böhringer, Prof. Dr. Joerg J. Meerpohl, Dr. Angelika Eisele-Metzger
― 9 min lire
Table des matières
- La montée de l'IA dans les revues systématiques
- Comment les outils d'IA aident avec les revues systématiques
- L'objectif de la revue de portée
- Établir les lignes directrices
- Rassembler les preuves
- Processus de sélection
- Extraction de données
- Principales conclusions sur les applications de GML
- Types d'outils d'IA utilisés
- Conclusions générales
- Évaluation des défis
- L'avenir des GML dans les revues systématiques
- Conclusion
- Source originale
- Liens de référence
Les revues systématiques (RS) sont un moyen de rassembler toutes les recherches existantes sur un sujet particulier. Leur but est de collecter et d'analyser toutes les études disponibles pour donner un aperçu clair de ce qu'on sait sur une question. Pense à ça comme à assembler des pièces de puzzle, où l'image finale représente la compréhension globale d'une question spécifique en recherche en santé. Les RS sont essentielles pour la médecine basée sur les preuves, en s'assurant que les décisions en matière de santé reposent sur des données solides.
Mais réaliser une Revue systématique, c'est pas de la tarte. Ça peut prendre beaucoup de temps et de ressources, souvent avec une équipe de chercheurs qui doivent fouiller à travers d'innombrables études, ce qui peut ressembler à chercher une aiguille dans une meule de foin. C'est là qu'entre en jeu l'intelligence artificielle (IA), promettant de rendre la vie un peu plus facile à ces chercheurs.
La montée de l'IA dans les revues systématiques
Ces dernières années, divers outils d'IA ont émergé pour aider les chercheurs avec les revues systématiques. Ces outils utilisent principalement l'Apprentissage automatique (AM), qui est un sous-domaine de l'IA aidant les ordinateurs à apprendre à partir des données et à prendre des décisions. L'AM traditionnel nécessite une formation sur des tâches spécifiques, mais les nouveaux modèles, en particulier les Grands Modèles de Langage (GML), ont changé la donne.
Les GML, comme GPT et Claude, peuvent suivre des instructions en langage naturel presque comme s'ils avaient une tête bien faite (bon, pas vraiment, mais tu vois l'idée). Ces modèles traitent de grandes quantités de texte pour générer des réponses, et cette capacité les a rendus assez populaires dans des domaines comme la médecine et la recherche en santé. Cependant, il faut rester prudent, car leur complexité peut mener à des résultats inattendus, comme de la désinformation ou des réponses inappropriées.
Comment les outils d'IA aident avec les revues systématiques
Plusieurs outils d'apprentissage automatique sont déjà utilisés dans la recherche en santé pour aider avec les revues systématiques. Certains outils aident à filtrer les études, tandis que d'autres assistent à différentes étapes du processus de revue. Par exemple, ASReview est un outil qui aide à filtrer les articles de recherche, et DistillerSR aide avec diverses tâches de revue systématique.
Une récente analyse de l'impact de l'IA sur les revues systématiques a mis en avant de nombreux outils d'AM qui améliorent l'efficacité. Cependant, elle a également noté un manque d'applications de GML à ce moment-là. Depuis, l'utilisation des GML dans les revues systématiques a beaucoup augmenté, aidant les chercheurs à formuler des questions de revue, à filtrer des études et à extraire des données de la littérature. Mais, comme toute nouvelle technologie, ces approches sont encore en phase d'expérimentation et peuvent faire des erreurs.
L'objectif de la revue de portée
Le but de la récente revue de portée était de jeter un œil plus attentif à la manière dont l'AM et les GML sont utilisés pour soutenir les revues systématiques, en ciblant les stratégies les plus prometteuses pour le développement futur. Les chercheurs ont suivi des lignes directrices spécifiques pour s'assurer que le processus était complet et fiable.
Établir les lignes directrices
Pour explorer le rôle de l'IA dans les revues systématiques, les chercheurs ont établi certains critères d'éligibilité. Ils se sont concentrés spécifiquement sur des articles qui discutaient de l'application de l'apprentissage automatique dans les revues systématiques menées dans le domaine de la recherche en santé. Les articles étaient inclus s'ils étaient publiés à partir d'avril 2021, et seuls des articles scientifiques complets en anglais et en allemand étaient pris en compte.
Les chercheurs voulaient s'assurer de capturer toutes les informations pertinentes, donc ils ont exclu d'autres types de sources, comme des protocoles d'étude ou des littératures qui ne fournissaient pas de détails sur les outils d'IA utilisés. De cette manière, ils pouvaient se concentrer sur la collecte de données significatives qui aideraient à comprendre comment l'IA change le processus de revue systématique.
Rassembler les preuves
Les chercheurs ont systématiquement recherché dans plusieurs bases de données pour trouver des études pertinentes, en utilisant une variété de sources, y compris MEDLINE et Google Scholar. Ils ont employé une stratégie de recherche ciblant des enregistrements connus liés aux applications d'AM et de GML dans les revues systématiques. Après avoir filtré et organisé les résultats, ils ont pu rassembler un nombre substantiel d'études pour une analyse plus approfondie.
Processus de sélection
Le processus de sélection impliquait un groupe de relecteurs qui ont évalué indépendamment les études pour déterminer leur éligibilité. Ils ont d'abord filtré les titres et résumés, puis sont passés aux textes complets des articles restants, discutant des désaccords qui survenaient. Ce processus minutieux a permis de s'assurer que seules les études les plus pertinentes entraient dans la sélection finale.
Extraction de données
Lorsque vient le temps d'analyser les données, les chercheurs ont fait une distinction entre les GML et les méthodes d'AM traditionnelles pour plus de clarté. Ils ont développé un tableau personnalisé pour suivre les détails spécifiques des applications de GML, y compris les types de modèles utilisés, les étapes du processus de revue systématique qu'ils soutenaient, et les conclusions globales tirées par les auteurs de chaque étude.
Pour les approches d'AM traditionnelles, une méthode d'extraction de données séparée a été utilisée. Les chercheurs ont listé les outils connus et catégorisé les méthodes d'apprentissage automatique selon leur fonctionnalité. En gardant ces approches séparées, l'équipe a pu mieux comprendre comment chaque type d'IA soutenait les revues systématiques.
Principales conclusions sur les applications de GML
De l'enquête, les chercheurs ont trouvé un total de 196 études pertinentes pour leur analyse. Parmi celles-ci, une part importante se concentrait sur la façon dont les GML étaient utilisés dans les revues systématiques, indiquant un intérêt croissant et un potentiel prometteur dans ce domaine.
Une découverte intéressante était que les GML étaient particulièrement utiles dans diverses étapes de la revue systématique. Les tâches les plus fréquemment rapportées où les GML apportaient de l'aide comprenaient la recherche systématique de littérature, la sélection d'études (filtrage) et l'extraction de données. Ces tâches sont cruciales pour garantir qu'une revue systématique soit complète et précise.
Types d'outils d'IA utilisés
Parmi les études examinées, GPT s'est avéré être le GML le plus couramment utilisé. D'autres modèles, comme Claude et LLaMA, ont également été mentionnés, mais GPT a volé la vedette. Les chercheurs ont noté les différents types de GML utilisés à diverses étapes du processus de revue systématique, mettant en lumière comment chaque modèle a contribué à la tâche globale.
Conclusions générales
Les auteurs de ces études étaient plutôt optimistes quant au rôle des GML dans les revues systématiques. Plus de la moitié des études classaient les applications de GML comme prometteuses. Cependant, une partie des auteurs a exprimé des points de vue neutres ou négatifs concernant leur efficacité. Malgré les résultats prometteurs dans la sélection d'études et l'extraction de données, des incertitudes concernant la reproductibilité et la fiabilité étaient des thèmes communs.
Évaluation des défis
Bien que les GML montrent un potentiel, il y a des défis notables à surmonter. Par exemple, leur capacité à générer un contenu cohérent et pertinent est impressionnante, mais ils ne fournissent pas toujours de références ou vérifient leurs résultats. Cela peut conduire à des résultats peu fiables, ce qui est un problème critique dans la littérature scientifique et la recherche en santé.
Les observateurs ont également noté que les réponses des GML pouvaient varier considérablement en fonction des entrées fournies. Une petite modification dans la demande pouvait donner des résultats complètement différents, soulevant des inquiétudes quant à la consistance. De plus, de nombreux GML ont des dates limites pour leurs données d'entraînement, ce qui peut entraîner l'inclusion d'informations périmées dans les résultats de recherche.
L'avenir des GML dans les revues systématiques
Alors, quelle est la suite pour les GML dans les revues systématiques ? Bien qu'il y ait de l'enthousiasme pour leur intégration dans le processus de revue, il est prudent de faire preuve de précaution. Les chercheurs pensent que la supervision humaine sera cruciale pour garantir la qualité et l'exactitude des résultats. Éditer et vérifier les résultats générés par ces modèles aidera à maintenir des standards élevés dans la recherche scientifique.
Les résultats de la revue de portée suggèrent que, bien que les applications des GML dans les revues systématiques soient encore en développement, elles ont un potentiel significatif pour rendre le processus de recherche plus efficient. Les chercheurs encouragent d'autres études pour améliorer la transparence et les méthodologies utilisées, s'assurant qu'en adoptant ces outils d'IA, nous le faisons de manière responsable.
Conclusion
En conclusion, l'IA, en particulier sous la forme de GML, inaugure une nouvelle vague de soutien pour les revues systématiques en recherche santé. Avec des résultats prometteurs à plusieurs étapes du processus de revue, ces outils trouvent progressivement leur place dans la boîte à outils des revues systématiques. Néanmoins, avec un grand pouvoir vient une grande responsabilité : les chercheurs doivent s'assurer que les GML sont utilisés avec sagesse et prudence pour préserver l'intégrité de la science.
Alors que le domaine continue d'évoluer, on peut s'attendre à voir encore plus d'innovations et d'améliorations, rendant les revues systématiques plus rapides et plus complètes. Donc, même si les chercheurs peuvent avoir l'impression qu'ils cherchent toujours cette aiguille tenace enfouie au fond de la meule de foin, au moins ils ont maintenant quelques amis IA dignes de confiance pour leur donner un coup de main.
Source originale
Titre: Large language models for conducting systematic reviews: on the rise, but not yet ready for use - a scoping review
Résumé: BackgroundMachine learning (ML) promises versatile help in the creation of systematic reviews (SRs). Recently, further developments in the form of large language models (LLMs) and their application in SR conduct attracted attention. ObjectiveTo provide an overview of ML and specifically LLM applications in SR conduct in health research. Study designWe systematically searched MEDLINE, Web of Science, IEEEXplore, ACM Digital Library, Europe PMC (preprints), Google Scholar, and conducted an additional hand search (last search: 26 February 2024). We included scientific articles in English or German, published from April 2021 onwards, building upon the results of a mapping review with a related research question. Two reviewers independently screened studies for eligibility; after piloting, one reviewer extracted data, checked by another. ResultsOur database search yielded 8054 hits, and we identified 33 articles from our hand search. Of the 196 included reports, 159 described more traditional ML techniques, 37 focused on LLMs. LLM approaches covered 10 of 13 defined SR steps, most frequently literature search (n=15, 41%), study selection (n=14, 38%), and data extraction (n=11, 30%). The mostly recurring LLM was GPT (n=33, 89%). Validation studies were predominant (n=21, 57%). In half of the studies, authors evaluated LLM use as promising (n=20, 54%), one quarter as neutral (n=9, 24%) and one fifth as non-promising (n=8, 22%). ConclusionsAlthough LLMs show promise in supporting SR creation, fully established or validated applications are often lacking. The rapid increase in research on LLMs for evidence synthesis production highlights their growing relevance. HIGHLIGHTSO_LIMachine learning (ML) offers promising support for systematic review (SR) creation. C_LIO_LIGPT was the most commonly used large language model (LLM) to support SR production. C_LIO_LILLM application included 10 of 13 defined SR steps, most often literature search. C_LIO_LIValidation studies predominated, but fully established LLM applications are rare. C_LIO_LILLM research for SR conduct is surging, highlighting the increasing relevance. C_LI
Auteurs: Dr. Judith-Lisa Lieberum, Markus Töws, Dr. Maria-Inti Metzendorf, Felix Heilmeyer, Dr. Waldemar Siemens, Dr. Christian Haverkamp, Prof. Dr. Daniel Böhringer, Prof. Dr. Joerg J. Meerpohl, Dr. Angelika Eisele-Metzger
Dernière mise à jour: 2024-12-24 00:00:00
Langue: English
Source URL: https://www.medrxiv.org/content/10.1101/2024.12.19.24319326
Source PDF: https://www.medrxiv.org/content/10.1101/2024.12.19.24319326.full.pdf
Licence: https://creativecommons.org/licenses/by/4.0/
Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.
Merci à medrxiv pour l'utilisation de son interopérabilité en libre accès.