Avancées dans la reconnaissance d'entités nommées pour des applications biomédicales
De nouvelles méthodes améliorent l'identification des termes biomédicaux clés dans la recherche.
― 6 min lire
Table des matières
La reconnaissance d'entités nommées (NER) est un processus utilisé en traitement du langage naturel pour trouver et classer des infos clés dans un texte, comme les noms de personnes, d'organisations, et de lieux. Dans le domaine biomédical, NER aide à identifier des termes spécifiques liés aux maladies, aux gènes, et à d'autres entités médicales dans des articles de recherche et des données cliniques.
Différentes Approches de NER
Il existe plusieurs méthodes pour effectuer NER, mais trois se distinguent :
SEQ : Cette méthode examine chaque mot d'une phrase individuellement et lui attribue une étiquette qui indique s'il marque le début, le milieu, ou la fin d'une entité.
SeqCRF : Cette méthode est similaire à SEQ mais ajoute une couche qui aide à prendre en compte les relations entre les mots voisins. Elle garantit que les étiquettes attribuées à un mot tiennent compte des étiquettes des mots à côté.
SpanPred : Cette approche se concentre sur des segments de texte (spans) plutôt que sur des mots individuels. Elle identifie le début et la fin d'une entité en regardant une paire de mots qui entourent l'entité.
Ces trois méthodes ont été évaluées sur quatre tâches NER biomédicales. Les tâches incluent des ensembles de données de différentes langues et contextes, notamment :
- GENIA : Gère des phrases en anglais
- NCBI-Disease : Concentre sur des termes liés aux maladies en anglais
- LivingNER : Capture des entités nommées en espagnol
- SocialDisNER : Fonctionne également avec des tweets en espagnol.
Analyse de Performance
Parmi les méthodes testées, SpanPred a montré les meilleurs résultats pour identifier des entités dans les tâches LivingNER et SocialDisNER. Elle a amélioré le score de performance, connu sous le nom de F1, de manière significative dans ces ensembles de données. De même, la méthode SeqCRF a également bien fonctionné, notamment dans les tâches liées à l'espagnol. La méthode SEQ a aussi bien tenu le coup, mais était juste un peu moins efficace.
La capacité de combiner les prédictions de différents modèles a aussi été étudiée. Les résultats ont révélé qu'une simple méthode de vote, appelée vote majoritaire ou MajVote, a systématiquement abouti à une haute précision sur les quatre ensembles de données. Cette méthode a permis aux prédictions de différents modèles de travailler ensemble, produisant de meilleurs résultats.
Combinaison d'Approches
Deux méthodes principales ont été utilisées pour combiner les prédictions des modèles :
Méthode Union : Ici, toutes les prédictions faites par les modèles ont été rassemblées. Cette méthode a assuré qu'aucune prédiction correcte ne soit perdue, mais pouvait diminuer la précision globale car elle incluait toutes les prédictions, qu'elles soient correctes ou non.
Méthode MajVote : Cette approche classique prenait les prédictions qui avaient reçu le plus de votes des modèles. En conséquence, elle tendait à retourner des prédictions plus susceptibles d'être correctes, ce qui menait à une meilleure précision.
Un nouveau système combiné, appelé Meta, a aussi été créé pour améliorer les faiblesses trouvées dans la méthode Union. Meta fonctionnait en apprenant des prédictions des modèles SEQ et SpanPred, déterminant si chaque prédiction était juste ou fausse. En faisant cela, elle visait à garder les bonnes prédictions tout en filtrant celles qui étaient incorrectes.
Comment les Modèles Fonctionnent
Chaque méthode commence par une étape qui transforme les phrases en un format que le modèle peut comprendre. Cette transformation crée une représentation pour chaque mot dans la phrase basée sur son contexte. Des marqueurs spéciaux dans le texte aident les modèles à se concentrer sur les parties de la phrase contenant des infos pertinentes.
Pour les méthodes SEQ et SeqCRF, chaque mot est examiné individuellement, tandis que SpanPred vérifie différents spans de mots. Pour chaque modèle, après avoir identifié les entités, une étape finale les classe dans des catégories spécifiques, comme maladie ou nom de personne.
Pendant l'évaluation, toutes les prédictions ont été vérifiées par rapport aux bonnes réponses pour déterminer l'efficacité de chaque méthode. Les critères utilisés pour mesurer cela étaient stricts, signifiant que seuls les correspondances exactes comptaient.
Résultats et Conclusions
Lors des tests, SpanPred a généralement mieux performé que les deux autres modèles. Particulièrement dans les cas où les entités se chevauchaient, comme dans les ensembles de données LivingNER et GENIA, elle s'est révélée la plus efficace. Cependant, sur des tâches claires sans chevauchement d'entités, comme dans SocialDisNER et NCBI-Disease, les résultats étaient plus équilibrés entre les trois méthodes.
Les améliorations apportées par la combinaison des modèles étaient évidentes. Les systèmes développés par la méthode Union avaient un meilleur rappel, ce qui signifie qu'ils capturaient plus de bonnes prédictions, mais tendaient à baisser en précision, entraînant plus de prédictions incorrectes. D'un autre côté, la méthode MajVote a réussi à garder un bon équilibre entre haute précision et rappel, prouvant être plus fiable dans l'ensemble.
L'approche Meta, conçue pour améliorer la méthode Union, a montré un grand potentiel. Elle a efficacement augmenté la précision sans compromettre le rappel, ce qui est l'issue idéale pour toute tâche de reconnaissance d'entités.
Conclusion
Les résultats montrent que, bien que les modèles individuels aient leurs forces et faiblesses, combiner différentes approches peut mener à de meilleures résultats dans les tâches de reconnaissance d'entités nommées biomédicales. L'utilisation du vote majoritaire et du nouveau modèle Meta contribue significativement à affiner les prédictions faites par les méthodes traditionnelles.
La capacité à identifier et classer avec précision les termes médicaux est cruciale dans la recherche biomédicale et les applications, aidant les professionnels à accéder et à utiliser l'info plus efficacement. Des avancées continues dans les méthodologies NER bénéficieront probablement à divers domaines en fournissant des outils plus précis pour traiter de grandes quantités d'infos textuelles.
Titre: Comparing and combining some popular NER approaches on Biomedical tasks
Résumé: We compare three simple and popular approaches for NER: 1) SEQ (sequence-labeling with a linear token classifier) 2) SeqCRF (sequence-labeling with Conditional Random Fields), and 3) SpanPred (span-prediction with boundary token embeddings). We compare the approaches on 4 biomedical NER tasks: GENIA, NCBI-Disease, LivingNER (Spanish), and SocialDisNER (Spanish). The SpanPred model demonstrates state-of-the-art performance on LivingNER and SocialDisNER, improving F1 by 1.3 and 0.6 F1 respectively. The SeqCRF model also demonstrates state-of-the-art performance on LivingNER and SocialDisNER, improving F1 by 0.2 F1 and 0.7 respectively. The SEQ model is competitive with the state-of-the-art on the LivingNER dataset. We explore some simple ways of combining the three approaches. We find that majority voting consistently gives high precision and high F1 across all 4 datasets. Lastly, we implement a system that learns to combine the predictions of SEQ and SpanPred, generating systems that consistently give high recall and high F1 across all 4 datasets. On the GENIA dataset, we find that our learned combiner system significantly boosts F1(+1.2) and recall(+2.1) over the systems being combined. We release all the well-documented code necessary to reproduce all systems at https://github.com/flyingmothman/bionlp.
Auteurs: Harsh Verma, Sabine Bergler, Narjesossadat Tahaei
Dernière mise à jour: 2023-05-30 00:00:00
Langue: English
Source URL: https://arxiv.org/abs/2305.19120
Source PDF: https://arxiv.org/pdf/2305.19120
Licence: https://creativecommons.org/licenses/by/4.0/
Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.
Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.
Liens de référence
- https://www.latex-project.org/help/documentation/encguide.pdf
- https://github.com/flyingmothman/bionlp
- https://github.com/flyingmothman/bionlp/blob/d61b02593711b43b5d0f00f0c6ed62fb7685adf3/utils/training.py#L13-L20
- https://huggingface.co/docs/transformers/main_classes/optimizer_schedules#transformers.Adafactor
- https://temu.bsc.es/livingner/2022/01/28/evaluation/