Simple Science

La science de pointe expliquée simplement

# Sciences de la santé# Informatique de santé

AutoML dans la santé : Facilité d'utilisation et défis

Explorer l'impact de l'apprentissage automatique automatisé dans le milieu médical.

― 7 min lire


AutoML : Transformer lesAutoML : Transformer lespratiques de santédans des environnements cliniques.d'apprentissage automatique automatiséÉvaluer les applications
Table des matières

L'Apprentissage automatique (ML) est utilisé dans plein de domaines de la médecine, que ce soit pour gérer les Soins de santé ou aider les médecins à prendre des décisions. Les avancées technologiques et la disponibilité des données de santé ont contribué à cette tendance. Un type spécifique de machine learning appelé apprentissage automatique automatisé (AutoML) permet aux personnes sans compétences approfondies en programmation de créer leurs propres modèles en utilisant l'intelligence artificielle (IA). Ça permet aux développeurs de se concentrer plus sur la collecte de données de qualité plutôt que de perdre du temps sur des ajustements de modèles complexes.

L'autoML a pour but de simplifier le processus d'utilisation de l'apprentissage automatique en s'occupant de nombreuses tâches techniques qui nécessitent généralement une expertise. La première étape consiste à préparer les données en les combinant, les transformant et les nettoyant. Ensuite, des caractéristiques importantes des données sont sélectionnées pour aider à concevoir le modèle d'apprentissage automatique. Après ça, le modèle est choisi, entraîné, et évalué pour voir comment il fonctionne. L'autoML utilise diverses techniques pour optimiser les Performances, ce qui en fait un outil puissant dans de nombreux cas.

L'autoML a plusieurs avantages qui peuvent aider son utilisation dans les milieux Cliniques. D'abord, des études ont montré que la performance de l'autoML est souvent comparable à celle des méthodes traditionnelles. Ça suggère que l'autoML peut être utilisé dans des applications réelles et dans des études pilotes avant un développement plus poussé. Ensuite, l'autoML peut rendre la recherche ML plus reproductible en diminuant la variabilité liée à l'implication humaine dans l'ajustement des modèles. En plus, des exigences techniques plus faibles signifient que plus de prestataires de soins de santé peuvent accéder et utiliser la technologie IA. Enfin, l'autoML peut faire gagner du temps dans le développement des modèles, permettant une recherche plus rapide et une exploration des applications IA dans la santé.

Malgré les nombreux outils disponibles pour l'autoML, il est essentiel de valider ces outils avant de les appliquer dans des contextes cliniques. Une revue systématique a été réalisée pour évaluer la performance de l'autoML dans des environnements médicaux. La revue visait à évaluer la qualité des résultats rapportés, identifier les spécialités médicales et les tâches où l'autoML a été mis en œuvre, et comparer la performance des outils autoML avec des modèles traditionnels et entre eux.

Sources de données et recherches

Différentes bases de données médicales ont été examinées pour trouver des études liées à l'autoML depuis le début jusqu'au 11 juillet 2022. La recherche s'est concentrée sur l'identification des études utilisant l'autoML dans des situations cliniques. Les doublons ont été supprimés à l'aide d'un logiciel approprié.

Sélection des études

Le processus de sélection a impliqué la révision des résumés et des textes complets des articles. Deux chercheurs indépendants ont effectué le dépistage, avec un troisième expert en arbitrage en cas de désaccord. Des critères spécifiques ont été établis pour inclure uniquement les articles pertinents, comme être en anglais, évalués par des pairs, et se concentrant sur l'autoML dans la santé.

Extraction de données et évaluation de la qualité

Pour les articles répondant aux critères, deux chercheurs ont extrait des données. Une évaluation de la qualité a été faite selon des directives établies. L'évaluation a examiné les biais potentiels et les préoccupations concernant l'applicabilité des études. Des données supplémentaires collectées comprenaient des détails de citation, les caractéristiques de la plateforme autoML utilisée, la tâche clinique et divers indicateurs de performance.

Caractéristiques des études incluses

Au total, 82 études ont été incluses dans l'analyse. L'autoML a commencé à apparaître dans la littérature médicale autour de 2018, avec un nombre croissant d'études chaque année. Beaucoup d'études se concentraient sur des tâches de diagnostic, avec une représentation significative des domaines comme la médecine pulmonaire et neurologique. Des données structurées et non structurées étaient couramment utilisées, avec des tailles de jeux de données très variées.

Qualité des rapports

La qualité des rapports des études variait. En moyenne, la plupart des études remplissaient la majorité des critères de qualité, mais il y avait des lacunes significatives dans certains domaines. Beaucoup d'études ne prenaient pas en compte des facteurs importants comme l'éthique, l'implication des patients et la sécurité de leurs résultats.

Risque de biais et préoccupations

La revue a identifié des sources de biais courantes dans les études, souvent issues de conceptions rétrospectives et de l'utilisation de jeux de données disponibles publiquement. Beaucoup d'études ne fournissaient pas de repères adéquats pour comparer la performance de l'autoML, soulevant des inquiétudes sur la fiabilité de leurs résultats.

Performance des modèles autoML

Les performances rapportées de l'autoML dans les différentes études montraient une large gamme de métriques. La plupart des études fournissaient des mesures de performance comme AUCROC, F1-score ou AUCPR. Dans de nombreux cas, les modèles autoML se comparaient favorablement aux méthodes traditionnelles, avec certaines études rapportant des avantages statistiquement significatifs.

Performance comparative des plateformes autoML

Une comparaison récapitulative des différentes plateformes autoML a révélé qu'elles varient largement en fonctionnalités et en accessibilité. Certaines études ont directement comparé différentes plateformes autoML sur des tâches similaires, avec quelques-unes montrant qu'une plateforme surpassait une autre dans des scénarios spécifiques.

Confiance dans les conclusions

Malgré les résultats prometteurs, le haut risque de biais a impacté la confiance dans les conclusions des études. Bien que l'autoML n'ait pas montré de performance systématiquement inférieure par rapport aux méthodes traditionnelles dans aucune étude, les preuves de sa supériorité restent moins certaines. La performance peut varier considérablement selon l'application spécifique, le jeu de données et la plateforme.

Applications et orientations futures

Cette revue indique que l'autoML a été testé dans une large gamme de tâches cliniques, notamment dans des domaines liés à la santé du cerveau et des poumons. Les résultats montrent souvent des performances comparables aux modèles traditionnels, suggérant un potentiel d'applications dans le monde réel. Cependant, les preuves ne sont pas uniformes et d'autres recherches sont nécessaires.

Il y a des lacunes notables dans la base de preuves actuelle sur l'autoML. D'abord, l'incohérence dans le rapport des métriques de performance soulève des préoccupations sur l'interprétation des résultats. Ensuite, il faudrait plus se concentrer sur l'explicabilité au sein des modèles. Enfin, les implications éthiques de l'utilisation de ces outils, comme l'équité dans les algorithmes, nécessitent de l'attention.

Des pratiques de benchmarking incohérentes peuvent mener à des conclusions trompeuses sur l'efficacité de l'autoML. De plus, la validation externe des modèles est essentielle pour confirmer leur fiabilité. Actuellement, beaucoup d'études n'utilisent pas de jeux de données séparés pour la validation, ce qui peut gonfler les estimations de performance.

Cette revue systématique a rencontré certaines limitations, y compris l'adaptation des outils existants pour évaluer la qualité et le biais dans le contexte des applications non diagnostiques. Le risque élevé de biais reste une préoccupation répandue dans la recherche IA.

Conclusion

La recherche sur l'autoML suggère qu'il a des applications précieuses dans les soins de santé, notamment pour les cliniciens et les chercheurs qui n'ont peut-être pas de compétences avancées en programmation. Avec une validation supplémentaire et des pratiques de rapport améliorées, l'autoML peut devenir un outil fiable dans des milieux cliniques. Les futures études devraient se concentrer sur de meilleures pratiques de benchmarking, s'assurer que les considérations éthiques sont prises en compte, et valider les modèles dans des scénarios réels pour soutenir leur utilité dans les soins aux patients. En conséquence, l'autoML pourrait considérablement améliorer l'accessibilité des technologies IA dans la santé.

Source originale

Titre: Clinical performance of automated machine learning: a systematic review

Résumé: IntroductionAutomated machine learning (autoML) removes technical and technological barriers to building artificial intelligence models. We aimed to summarise the clinical applications of autoML, assess the capabilities of utilised platforms, evaluate the quality of the evidence trialling autoML, and gauge the performance of autoML platforms relative to conventionally developed models, as well as each other. MethodsThis review adhered to a PROSPERO-registered protocol (CRD42022344427). The Cochrane Library, Embase, MEDLINE, and Scopus were searched from inception to 11 July 2022. Two researchers screened abstracts and full texts, extracted data and conducted quality assessment. Disagreement was resolved through discussion and as-required arbitration by a third researcher. ResultsIn 82 studies, 26 distinct autoML platforms featured. Brain and lung disease were the most common fields of study of 22 specialties. AutoML exhibited variable performance: AUCROC 0.35-1.00, F1-score 0.16-0.99, AUCPR 0.51-1.00. AutoML exhibited the highest AUCROC in 75.6% trials; the highest F1-score in 42.3% trials; and the highest AUCPRC in 83.3% trials. In autoML platform comparisons, AutoPrognosis and Amazon Rekognition performed strongest with unstructured and structured data respectively. Quality of reporting was poor, with a median DECIDE-AI score of 14 of 27. ConclusionsA myriad of autoML platforms have been applied in a variety of clinical contexts. The performance of autoML compares well to bespoke computational and clinical benchmarks. Further work is required to improve the quality of validation studies. AutoML may facilitate a transition to data-centric development, and integration with large language models may enable AI to build itself to fulfil user-defined goals.

Auteurs: Arun J Thirunavukarasu, K. Elangovan, L. Gutierrez, R. Hassan, Y. Li, T. F. Tan, H. Cheng, Z. L. Teo, G. Lim, D. S. W. Ting

Dernière mise à jour: 2023-10-26 00:00:00

Langue: English

Source URL: https://www.medrxiv.org/content/10.1101/2023.10.26.23297599

Source PDF: https://www.medrxiv.org/content/10.1101/2023.10.26.23297599.full.pdf

Licence: https://creativecommons.org/licenses/by/4.0/

Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.

Merci à medrxiv pour l'utilisation de son interopérabilité en libre accès.

Plus d'auteurs

Articles similaires