Avancer le NLP espagnol pour des applications cliniques

Cette enquête analyse les modèles de langage conçus pour des tâches cliniques en espagnol. On passe en revue 17 corpus axés sur des applications cliniques et on met en avant des modèles de langue espagnole notables. Plus de 3000 modèles ont été ajustés et comparés pour évaluer leurs performances. Tous les modèles et corpus testés seront accessibles au public, permettant une vérification indépendante des résultats et favorisant les avancées futures.

Le volume important de données dans les dossiers de santé électroniques (DHE) offre de nombreuses opportunités de recherche et améliore la pratique clinique. En convertissant les données non structurées, comme les notes cliniques, en formats structurés, on améliore la qualité des données et permet une interrogation efficace. Ces informations structurées soutiennent diverses applications, y compris de nouvelles solutions de diagnostic, des évaluations des résultats des patients et l'identification de populations à risque.

Le traitement des données DHE présente des défis spécifiques. Les récits cliniques sont souvent écrits à la hâte, contenant diverses erreurs et un jargon unique. Cela rend l'interprétation des données complexe, étant donné les différences d'utilisation de la langue dans des contextes médicaux par rapport à la langue générale.

#Langue espagnole en NLP

Avec des millions de locuteurs, l'espagnol est la quatrième langue la plus parlée au monde, mais il manque de ressources suffisantes en traitement du langage naturel (NLP). Par exemple, il y a beaucoup plus de modèles et de corpus en anglais qu'en espagnol. Cette pénurie met en évidence le besoin de plus de ressources pour le NLP espagnol, en particulier dans les domaines cliniques.

L'espagnol est très flexionnel, ce qui entraîne une morphologie et une syntaxe variées, créant des obstacles supplémentaires lors du traitement des textes cliniques. La traduction de l'anglais vers l'espagnol introduit aussi des variations et des anglicismes qui compliquent la terminologie et la compréhension dans le domaine clinique.

#But de l'étude

Cette étude vise à compiler les ressources disponibles pour les données textuelles cliniques en espagnol et à établir un classement de performance des modèles. On ajuste de nombreuses combinaisons de modèles pour atteindre cet objectif.

#Travaux antérieurs

La dernière décennie a vu des avancées rapides en NLP, passant de modèles basiques comme Word2vec à des architectures complexes avec des milliards de paramètres, comme PaLM. Ces améliorations proviennent du matériel amélioré, permettant un entraînement efficace des réseaux de neurones, essentiels pour le traitement des textes cliniques.

#Corpus non annotés

Les corpus sont cruciaux en NLP car ils permettent le pré-entraînement de modèles de langage sans étiquettes. Cependant, les données cliniques comme les DHE ne sont pas accessibles au public en raison de préoccupations liées à la vie privée, contrairement aux données biomédicales provenant de sources comme PubMed.

#Corpus cliniques espagnols pertinents

Plusieurs corpus cliniques espagnols sont notables :

1. Spanish Clinical Case Corpus (SPACCC) : Une collection de cas cliniques provenant de SciELO, contenant des tokens et accessible au public.
2. European Clinical Case Corpus (E3C) : Un ensemble de données multilingue incluant divers cas cliniques en espagnol.
3. CANTEMIST : Axé sur la morphologie des tumeurs dans les textes cliniques, ce corpus NER a subi une annotation par des experts.
4. CARES : Un corpus de rapports de radiologie qui classe les codes ICD-10 de manière hiérarchique.
5. Chilean Waiting List Corpus (CWLC) : Contient des références anonymisées avec des entités annotées.
6. CodiEsp : Se concentre sur la classification multi-label dans une large gamme de sujets cliniques.
7. CT-EBM-SP : Composé d'abstracts de PubMed et SciELO, ce corpus NER facilite la généralisation des modèles.

#Résumé des corpus cliniques espagnols

Malgré la disponibilité de certains word embeddings, les modèles basés sur des transformers se sont révélés plus efficaces. Des modèles comme BETO et MarIA montrent le potentiel d'obtenir des résultats significatifs en NLP espagnol.

1. BETO : Le premier modèle espagnol avec une architecture BERT, servant de bonne référence.
2. MarIA : Basé sur RoBERTa, ce modèle a montré d'excellents résultats de performance sur diverses tâches.
3. RigoBERTa : Un autre modèle prometteur qui s'appuie sur des architectures antérieures.

#Évaluation publique

L'étude présente un benchmark public pour les modèles de langue clinique en espagnol, incorporant diverses métriques d'évaluation. Les modèles finaux, utilisés dans notre évaluation, sont accessibles sur des plateformes dédiées à la science ouverte.

#Évaluation et résultats

Dans nos résultats, RigoBERTa 2 s'est imposé comme le meilleur performer, livrant constamment de bons résultats sur divers corpus. Les résultats soulignent l'importance de données d'entraînement de qualité pour une performance efficace des modèles.

#Conclusion

Il existe un écart considérable pour des modèles de langue clinique de qualité en espagnol. L'enquête souligne le besoin de ressources supplémentaires et de meilleurs modèles dans ce domaine. Les résultats indiquent un besoin urgent d'avancées substantielles dans le NLP espagnol, en particulier dans les applications cliniques. Cette recherche jette les bases pour des améliorations futures et établit un benchmark pour évaluer de nouveaux modèles de langue clinique espagnols.