Documenter des langues en danger avec l'IGT

Beaucoup de langues à travers le monde risquent de disparaître. Cette perte représente une menace sérieuse pour la diversité culturelle et l'identité. Un moyen d'aider ces langues, c'est via une méthode appelée le Texte interlinéaire annoté (TIA). Le TIA implique une façon détaillée d’écrire la langue parlée, ce qui peut aider à documenter et à créer des ressources pour les communautés qui parlent ces langues. Ça comprend généralement quatre parties : les Transcriptions, la segmentation morphologique, les glosses et les traductions libres dans une langue largement parlée.

Cet article présente une nouvelle tâche visant à extraire automatiquement ces quatre composants de la langue parlée. Pour soutenir cette tâche, un nouveau jeu de données a été créé. Ce jeu contient des enregistrements de discours, accompagnés des annotations nécessaires pour 37 langues différentes, tous organisés de manière standard.

#L'Importance de Documenter les Langues Menacées

Beaucoup de langues s'éteignent alors que les locuteurs se tournent vers des langues plus dominantes. La documentation de ces langues est cruciale pour préserver le patrimoine culturel. Ça implique d'enregistrer la langue parlée, de la transcrire, de la traduire et d'ajouter d'autres formes d'annotations. L'objectif ultime est d'avoir des dossiers complets qui pourront être utilisés à des fins éducatives et informatives.

Le TIA est largement utilisé dans le domaine de la linguistique documentaire. La plupart des TIA suivent des conventions spécifiques qui aident les linguistes et les enseignants à comprendre la connexion entre la forme et la fonction de la langue. Cependant, beaucoup d'enregistrements de terrain ne sont pas transformés en TIA. Transcrire juste l'audio, par exemple, peut prendre un temps considérable. Ajouter des annotations supplémentaires rend le processus encore plus long, empêchant ainsi beaucoup d'enregistrements d'être entièrement documentés.

#Aperçu du TIA

Le TIA comprend plusieurs éléments importants. Ces éléments consistent en :

1. Transcription (wd) : C'est la version écrite des mots prononcés, sans aucune segmentation.
2. Représentation Sous-jacente (ur) : Ça sert de forme de base de la langue, montrant la structure sous la surface.
3. Représentation de surface (sr) : Ça montre comment la langue sonne réellement quand elle est parlée.
4. Gloss (gl) : Ça fournit une explication mot à mot des éléments, aidant à clarifier le sens.
5. Traduction Libre (tr) : Ça traduit le texte dans une langue plus couramment parlée pour une meilleure compréhension.

Ces éléments fonctionnent ensemble pour offrir une vue d'ensemble complète de la langue parlée et de son sens.

#Défis de la Documentation Linguistique

Créer des TIA à partir d'enregistrements de terrain est un vrai défi. Le temps nécessaire pour la transcription à lui seul peut être extensif. Ce goulot d'étranglement empêche de nombreuses enregistrements d'être pleinement utilisés. Bien que les linguistes ne puissent pas changer les facteurs qui mènent à l'endangerment des langues, les avancées technologiques peuvent aider à documenter ces langues plus efficacement.

Par exemple, créer des outils qui accélèrent le processus de transcription peut vraiment aider à documenter les langues menacées. Les chercheurs dans le domaine du traitement de la parole et du langage naturel peuvent jouer un rôle important dans le développement de ces technologies. Cela soutiendrait le travail des linguistes et des activistes communautaires qui s'efforcent d'enregistrer et de préserver ces langues.

#Solutions Proposées

Une nouvelle tâche a été proposée qui se concentre sur la génération de TIA directement à partir de la parole enregistrée. Cette tâche fonctionnera en prenant la langue parlée comme entrée et en produisant des annotations alignées pour la transcription, la représentation sous-jacente, le gloss et la traduction. Le premier jeu de données spécifiquement conçu pour cette tâche a été créé, contenant des fichiers audio et des annotations de TIA.

Le jeu de données inclut des discours de 37 langues différentes, rassemblés à partir de divers archives de données linguistiques. L'objectif est de fournir un format standard et des divisions claires pour l'entraînement, le développement et les tests.

#Avantages du Nouveau Jeu de Données

Ce nouveau jeu de données soutiendra plusieurs activités clés :

1. Prédiction de Transcription : Ça va aider à générer des versions écrites précises de la langue parlée.
2. Prédiction de Représentation Sous-jacente : Ça va aider à comprendre la forme fondamentale de la langue.
3. Glossage et Traduction : Ça va faciliter la compréhension mot à mot de la langue et fournir des traductions accessibles pour les locuteurs des langues dominantes.

Cette approche structurée permet à la communauté de recherche de s'engager activement dans la documentation des langues.

#Collecte et Traitement des Données

Le jeu de données inclut de nombreuses langues, chacune avec ses propres défis. Les langues sélectionnées ont à la fois des annotations audio et de TIA. Cette sélection a impliqué des vérifications approfondies pour garantir la qualité. Le processus initial a été axé sur la collecte de données à partir de sources qui possèdent une riche collection d'enregistrements linguistiques.

Les ensembles de données choisis incluent :

1. DoReCo : Offre des transcriptions alignées temporellement pour les langues peu dotées.
2. Multi-CAST : Une collection de discours annotés provenant de diverses langues.
3. INEL : Se concentre sur la documentation des langues autochtones.
4. COCOON : Un grand répertoire de données linguistiques provenant de différents chercheurs.

Chacune de ces ressources a été soigneusement vérifiée pour s'assurer qu'elles répondaient aux exigences nécessaires pour être incluses dans le nouveau jeu de données.

#Formatage et Annotation des Données

Les données annotées peuvent prendre plusieurs formes. La plupart des données dans le nouveau jeu proviennent de formats basés sur XML, en particulier ELAN. Ce format organise les annotations en différentes couches, permettant un alignement temporel facile avec l'audio. Les annotations incluent des parties essentielles comme :

• Forme sous-jacente
• Forme de surface
• Transcription
• Gloss
• ID unique

Le processus de collecte de données a inclus la conversion des fichiers audio dans un format standard et l'organisation des annotations d'une manière qui simplifie le traitement.

#Division du Jeu de Données

Une fois les données compilées, elles devaient être divisées en ensembles d'entraînement, de développement et de test. Cela a été fait pour maintenir le contexte de chaque enregistrement, assurant que les modèles développés pouvaient interpréter avec précision les informations.

Les divisions étaient basées sur le nombre d'énoncés disponibles pour chaque langue. Selon le nombre total d'énoncés, le jeu de données a été divisé en conséquence :

1. Moins de 200 énoncés : Toutes les données vont au jeu de test.
2. Entre 200 et 1 000 énoncés : 25 % vont au jeu de dev et le reste au jeu de test.
3. Plus de 1 000 énoncés : Des nombres fixes sont alloués à chaque ensemble, assurant un bon équilibre pour l'entraînement des modèles.

Cette approche structurée aide à maintenir la qualité des données tout en permettant un entraînement efficace des modèles.

#Développement de Modèles de Référence

Plusieurs modèles de référence ont été développés pour faciliter l'extraction de TIA à partir de la parole. L'accent a été mis sur des modèles bien connus utilisés dans le traitement de la parole et du langage naturel.

#Modèles de Bout en Bout

Trois des quatre tâches impliquées dans la génération de TIA partagent des similitudes avec la reconnaissance automatique de la parole (RAP). Les méthodes d'entraînement standard utilisées dans la RAP ont été adaptées pour fonctionner avec les prédictions nécessaires pour le TIA.

Différents types de modèles ont été employés, y compris :

1. Modèles Auto-supervisés : Ces modèles apprennent à partir de grandes quantités de données non étiquetées.
2. Modèles Semi-supervisés : Ces modèles utilisent à la fois des données étiquetées et non étiquetées pour l'entraînement.

Dans le cas des modèles auto-supervisés, WavLM Large et XLS-R-300M ont été utilisés. Ces modèles sont connus pour leur précision et leur efficacité dans le traitement des tâches multilingues, ce qui les rend particulièrement adaptés aux langues diverses dans le jeu de données.

#Modèles en Cascade

Des modèles en cascade ont également été explorés, où les meilleurs modèles de RAP fournissaient des sorties de transcription qui pouvaient ensuite être alimentées dans des modèles de texte à gloss. Deux modèles basés sur ByT5 ont été utilisés pour la dernière partie du processus.

Cette approche permet une meilleure gestion des complexités impliquées dans la génération de TIA mais peut entraîner des défis avec la propagation des erreurs. Cependant, les résultats préliminaires ont montré que cette méthode pouvait améliorer la précision des traductions.

#Résultats et Performances

Les premiers résultats de performance des modèles ont montré diverses tendances. Par exemple, les modèles entraînés sur des langues qu'ils avaient déjà vues pendant l'entraînement ont mieux performé que ceux entraînés sur des langues non vues. Cette tendance souligne les défis rencontrés lorsqu'on travaille avec des langues à ressources limitées.

De plus, il a été constaté que le vocabulaire pré-entraîné a tendance à aider dans les tâches de glossage et de traduction. Les modèles à tâche unique surpassaient souvent les modèles à tâches multiples, ce qui suggère que séparer les tâches peut entraîner une meilleure précision globale.

#Discussion sur les Défis et le Travail Futur

Les résultats mettent en lumière certains des défis continus pour améliorer la documentation des langues menacées. Bien que certains systèmes montrent des promesses, la performance des modèles reste inférieure à ce qui est souhaité dans de nombreuses tâches.

Le travail futur pourrait se concentrer sur la cartographie de toutes les transcriptions à un vocabulaire commun, ce qui pourrait minimiser les différences entre les langues. Les chercheurs pourraient également travailler sur le développement de modèles capables de bien performer avec une performance "zero-shot", ce qui signifie qu'ils peuvent gérer des langues sur lesquelles ils n'ont jamais été explicitement formés.

Il y a aussi un besoin de prendre en compte les considérations éthiques lorsqu'on travaille avec des communautés linguistiques à faibles ressources. Les chercheurs doivent procéder avec prudence, respectant les droits et la vie privée des individus représentés dans les données.

#Conclusion

En résumé, cette nouvelle tâche de génération de TIA à partir de la parole vise à soutenir la documentation des langues menacées. La création d'un jeu de données structuré marque une étape importante dans la compréhension et la préservation de ces langues. En développant des modèles efficaces, ce travail vise à améliorer la qualité des ressources disponibles pour les communautés linguistiques à risque de perdre leur patrimoine culturel.

Cette recherche prépare le terrain pour de futurs efforts visant à affiner les méthodes de documentation des langues, conduisant finalement à une meilleure compréhension et appréciation de la diversité linguistique mondiale.