Transformers dans les dossiers médicaux électroniques : Une revue

Les hôpitaux et cliniques du monde entier collectent des infos sur la santé des patients. Des études aux US et au UK montrent que la plupart des établissements de santé utilisent des systèmes pour conserver ces infos dans des dossiers médicaux électroniques (EMR). Cependant, beaucoup de ces données ne sont pas bien organisées, ce qui rend l'analyse avec des méthodes traditionnelles compliquée. Ça a suscité de l'intérêt pour utiliser des techniques de Traitement du langage naturel (NLP) pour travailler avec et tirer des insights de ces sources de données non structurées.

Le NLP est une branche de l'intelligence artificielle qui aide les ordinateurs à comprendre et traiter le langage humain. Son développement a commencé dans les années 1950, quand les chercheurs ont commencé à chercher des façons de créer des algorithmes capables de traiter le langage. Au début, les méthodes étaient largement basées sur des règles, ce qui veut dire qu'elles dépendaient de règles spécifiques pour analyser le texte. Puis, à partir de la fin des années 1980, les chercheurs ont commencé à utiliser des méthodes statistiques, profitant de la quantité croissante de données disponibles sur internet.

Ces dernières années, une nouvelle méthode appelée transformers a changé le paysage du NLP. Ce modèle est conçu pour analyser les mots en fonction de leur contexte dans une phrase, et il peut le faire plus efficacement que les modèles précédents. Cette revue examine comment les méthodes basées sur des transformers sont utilisées dans le domaine des dossiers médicaux électroniques pour extraire des infos importantes.

#Qu'est-ce que le traitement du langage naturel ?

Le traitement du langage naturel, ou NLP, implique une gamme de tâches visant à comprendre et générer le langage humain. Ça combine des domaines comme la linguistique, l'informatique et l'intelligence artificielle. Une des premières utilisations du NLP a été dans la traduction automatique pendant la Seconde Guerre mondiale, où ça a aidé à traduire les langues.

Le NLP comprend plusieurs étapes, comme décomposer le texte en plus petites parties (tokenization) et analyser la structure et le sens du texte. Alors que certaines parties du NLP, comme la tokenization, sont bien établies, d'autres sont encore en développement. Les tâches de NLP peuvent être regroupées en deux catégories : comprendre le langage et générer du langage.

Les tâches clés dans le secteur de la santé où le NLP peut aider incluent :

• Classification de texte : attribuer des étiquettes aux textes en fonction de leur contenu, comme identifier des maladies dans des dossiers médicaux.
• Reconnaissance d'entités nommées (NER) : identifier des infos spécifiques dans le texte, comme des maladies et des dates de traitement.
• Extraction de relations : comprendre les relations entre différentes informations.
• Réponse à des questions : fournir des réponses à des requêtes basées sur un ensemble de documents ou dossiers.
• Recherche d'infos : trouver des documents pertinents liés aux questions de l'utilisateur.

#Qu'est-ce que les transformers ?

Les transformers sont un type d'architecture de modèle utilisée en NLP qui peut gérer une séquence de mots de manière flexible. Ils utilisent une méthode appelée auto-attention, qui leur permet de se concentrer sur différentes parties d'une phrase selon le contexte. Cette approche rend les transformers super efficaces pour diverses tâches de NLP.

BERT, qui signifie Représentations d'Encodeurs Bidirectionnels de Transformers, est un modèle de transformer bien connu. Il est pré-entraîné sur une grande quantité de texte, ce qui lui permet de comprendre le contexte et la structure. Du coup, BERT peut être affiné pour réaliser des tâches spécifiques de NLP avec moins de données.

#Objectif de la recherche

Le but principal de cette revue est d'analyser comment les modèles de transformers sont appliqués aux dossiers médicaux électroniques, en particulier dans le contexte des tâches de NLP. On s'intéresse à identifier les types de problèmes médicaux abordés, les tâches spécifiques de NLP impliquées, les modèles et techniques utilisés, les données disponibles et la reproductibilité des études.

Dans notre recherche, on a examiné une variété d'articles pour rassembler des insights complets. On a filtré les résultats selon des critères spécifiques, en se concentrant principalement sur les études qui utilisaient des modèles de transformers. Au total, on a analysé 65 articles qui correspondaient à nos critères de sélection.

#Résultats

#Types de problèmes médicaux

La plupart des études se concentraient sur l'extraction d'infos à partir de dossiers patients non structurés. Cette tâche à elle seule représentait plus de la moitié du travail analysé. D'autres problèmes médicaux courants incluaient des prédictions liées aux réadmissions des patients et l'identification de conditions de santé spécifiques.

#Tâches de NLP

Les deux tâches de NLP les plus courantes trouvées dans la recherche étaient la reconnaissance d'entités nommées et l'extraction de relations, qui à elles deux représentaient presque la moitié des études. La classification de texte était également très présente, montrant que les chercheurs sont désireux d'identifier des étiquettes pertinentes pour les dossiers patients.

#Modèles et techniques

La recherche a montré une nette préférence pour les modèles basés sur des transformers, avec BERT et ses variations similaires étant les plus couramment utilisés. Quelques nouveaux modèles ont été introduits, mais la plupart des études s'appuyaient sur des méthodes établies. Des techniques d'apprentissage machine traditionnelles ont aussi été mentionnées mais utilisées moins fréquemment.

#Disponibilité des ensembles de données

Les ensembles de données jouent un rôle crucial dans la recherche NLP. Beaucoup d'études ont utilisé des ensembles de données disponibles publiquement, comme MIMIC-III ou le dataset n2c2, bien que certains aient utilisé des ensembles de données privés détenus par des hôpitaux spécifiques. On a noté un manque de variété dans les langues des ensembles de données, la plupart des études se concentrant sur l'anglais et le chinois.

#Reproductibilité des études

Une préoccupation majeure découverte lors de la revue était la reproductibilité des études. Seule une petite partie des études fournissait suffisamment d'infos pour que leurs résultats soient répliqués. Ça limite la fiabilité des résultats de recherche et soulève des questions sur leur validité.

#Défis et recommandations

Plusieurs défis ont émergé de la revue. Le premier est le manque significatif de reproductibilité dans la recherche publiée. Beaucoup d'études ne partagent pas leur code source ou leurs ensembles de données, ce qui empêche d'autres chercheurs de faire des travaux de suivi ou de vérifier les résultats. Il y a un besoin de pratiques plus transparentes dans la communauté de recherche.

Un autre défi concerne le focus des études actuelles. La plupart des efforts sont concentrés sur la reconnaissance d'entités nommées, tandis que d'autres tâches de NLP pertinentes reçoivent moins d'attention. Ce focus restreint limite la compréhension globale de la façon dont le NLP peut être appliqué aux dossiers médicaux électroniques.

De plus, les efforts de recherche sont concentrés en anglais et en chinois, ce qui signifie que les découvertes peuvent ne pas être universellement applicables. L'industrie doit considérer une gamme plus large de langues pour rendre la recherche plus inclusive.

Pour aborder ces défis, on suggère que les chercheurs priorisent la désidentification des données sensibles, permettant d'avoir plus d'ensembles de données publics. Partager le code source ouvertement renforcerait la crédibilité des études. En outre, utiliser des formats standards pour les données faciliterait la collaboration entre le milieu académique et l'industrie, aidant la recherche à avoir un plus grand impact.

#Conclusion

Cette revue a fourni une analyse complète de l'état actuel de la recherche sur les modèles basés sur des transformers appliqués aux dossiers médicaux électroniques utilisant des techniques de NLP. Les résultats ont mis en évidence la croissance de l'intérêt dans ce domaine et souligné des lacunes importantes que les futures études devraient aborder.

En se concentrant sur l'amélioration de la reproductibilité et l'expansion de la gamme de problèmes médicaux étudiés, les chercheurs peuvent améliorer l'efficacité de leur travail. Partager des données et utiliser des formats standardisés aidera à combler le fossé entre la recherche et l'application pratique, bénéficiant finalement à la communauté de la santé.