Créer des lexiques bilingues pour les dialectes allemands

Les Lexiques bilingues sont super importants pour comprendre plusieurs langues et pour la traduction. Ils aident à faire correspondre des mots dans une langue avec leurs équivalents dans une autre. Il y a eu pas mal de recherches pour créer ces lexiques, surtout pour les langues qui ont beaucoup de données. En général, ce processus se fait en deux étapes : trouver des textes dans les deux langues et aligner les mots, en utilisant des modèles de langage larges qui ont été pré-entraînés sur des données existantes.

Dans cet article, on va voir comment ça fonctionne pour l’allemand et ses deux Dialectes, le bavarois et l’alémanique. Cette situation pose des défis spécifiques, comme le manque de données, la proximité de ces langues et les différentes manières dont les gens écrivent les mots dans les dialectes. Pour voir à quel point notre création de lexicon fonctionne, on va examiner l'utilisation des mots et à quel point ils se ressemblent. On partagera aussi deux ensembles de données. Un ensemble contient 1 500 phrases bilingues, tandis que l'autre en a 1 000 de paires de mots bilingues. Un expert humain a noté la similarité de ces paires.

#Introduction

Travailler avec des langues qui n'ont pas beaucoup de données est un domaine clé dans le traitement du langage naturel moderne (NLP). Les modèles de langage pré-entraînés ont beaucoup de succès avec les langues à haute ressource parce qu'ils utilisent de grandes quantités de données. Mais pour les langues à ressources limitées, entraîner et évaluer des modèles peut être compliqué. Cependant, de plus en plus de locuteurs natifs s'engagent avec la technologie, ce qui crée une demande de support dans différentes langues. Cela pousse à la recherche sur le transfert d'apprentissage et les méthodes qui fonctionnent pour différentes langues.

Les dialectes locaux peuvent être considérés comme des langues à faibles ressources. Comprendre les dialectes vient avec ses propres défis. Par exemple, il n'y a pas beaucoup de matériaux écrits comme des journaux ou des histoires disponibles dans les dialectes. De plus, les conversations sur les réseaux sociaux sont difficiles à rassembler et à analyser de manière fiable. Beaucoup de dialectes ne suivent pas les règles d'orthographe standards et peuvent beaucoup varier. En plus, ils se mélangent souvent avec les langues standards.

La plupart des recherches sur le transfert linguistique croisent se concentrent sur les langues à faibles ressources en utilisant des modèles multilingues existants. Certains facteurs, comme la proximité d'une langue avec celle utilisée dans l'entraînement et le système d'écriture, affectent la performance. Il n’y a pas de technique universelle, ce qui rend important d’étudier comment ces représentations fonctionnent pour des langues ou familles de langues spécifiques, et si les leçons tirées des langues standards peuvent être appliquées à leurs dialectes.

Cet article se concentre sur à quel point les modèles croisés de langue peuvent faire des jugements de similarité entre l’allemand et ses deux dialectes, le bavarois et l’alémanique. Ces dialectes sont parlés dans des zones du sud de l'Allemagne, en Autriche, en Suisse, et dans certaines parties d'autres pays. On va créer des lexiques bilingues qui relient des mots de ces dialectes à l'allemand standard, en utilisant des données brutes de Wikipedia. La première étape consiste à rassembler des phrases dans les deux langues, suivie de l'Alignement des mots en utilisant des outils de traduction automatique. Le lexique résultant montre souvent qu'un mot allemand est lié à plusieurs synonymes dialectaux à cause des différences d'orthographe. Enfin, on va évaluer les résultats selon des critères comme la fréquence des mots et la similarité.

Pour résumer, cette étude va explorer comment les méthodes existantes créent des lexiques bilingues pour les dialectes allemands et quels facteurs influencent leurs résultats. On vise à donner des aperçus précieux sur comment les modèles croisés de langue fonctionnent dans des tâches impliquant l'extraction de lexiques bilingues et l'alignement des mots, et partager nos découvertes avec la communauté au sens large.

#Travaux Connus

Les recherches antérieures sur les dialectes allemands se sont souvent concentrées sur le traitement de la parole. Plusieurs ensembles de données ont été créés pour enregistrer les dialectes parlés en allemand. Certains efforts incluent l’établissement de corpus parallèles qui associent des phrases allemandes avec des traductions dans divers dialectes. Dans le traitement de texte écrit, des stratégies de traduction automatique ont été utilisées pour convertir des phrases dialectales en allemand standard. D'autres études ont abordé des tâches comme l'analyse de sentiment, le marquage de parties du discours et l'identification des dialectes. Les sources de données brutes sur les dialectes incluent Wikipedia et les plateformes de médias sociaux.

Pour accéder aux données, Wikipedia propose des articles en plus de 300 langues. Certaines sections de Wikipedia peuvent même être traduites par des humains. Dans notre travail, on a utilisé des phrases de Wikipedia pour les deux dialectes et l'allemand standard. Wikipedia bavarois présente des pages pour différents dialectes, tandis que Wikipedia alémanique a aussi plusieurs formes dialectales. On considère chaque Wikipedia comme une source unique pour nos expériences.

#Extraction de Bi-textes

L'extraction de bi-textes se concentre sur l'identification de phrases qui peuvent être regroupées, possiblement parce qu'elles sont liées. Pour trouver ces paires, on a analysé les connexions entre les Wikipedias dialectales et celle de l'allemand standard. Au total, on a trouvé environ 11 000 pages parallèles pour le bavarois et 32 000 pour l'alémanique. En divisant ces pages en phrases, on a utilisé un modèle de langage pour les intégrer. Pour chaque phrase dialectale, on a ensuite cherché des phrases similaires.

On a utilisé l'outil SentenceTransformer pour cette tâche, en s'appuyant sur plusieurs modèles. Les modèles qu'on a utilisés comprennent :

1. MBERT : Un modèle multilingue entraîné sur des données Wikipedia, prenant en charge les deux dialectes et l'allemand.
2. GBERT : Un modèle entraîné sur diverses sources de données allemandes.
3. GBERT-large-sts-v2 : Une version spécialisée de GBERT pour mesurer la similarité textuelle.
4. LaBSE : Un modèle créé à partir de Wikipedia multilingue et de paires de traductions.

On a testé différentes approches pour la représentation des phrases et on a trouvé que LaBSE a donné les meilleurs résultats pour récupérer des phrases similaires.

Pour notre évaluation, on a demandé à des annotateurs humains de noter 1 500 instances de bi-textes au hasard pour leur similarité. Les annotateurs ont utilisé une échelle de 1 à 5, où 5 signifiait que les phrases étaient identiques et 1 qu'elles étaient sans rapport. Les résultats ont montré que LaBSE a effectivement réussi à distinguer les phrases sans rapport de celles qui étaient similaires.

#Induction de Lexique Bilingue

Pour créer des lexiques bilingues, on a utilisé l'outil awesome-align, qui repose sur des Modèles pré-entraînés. L'outil extrait des alignements de mots des phrases qu'on a rassemblées. On s'est concentré sur la façon dont les mots des dialectes s'alignent avec les mots standard allemands. Les résultats ont montré qu'un seul mot allemand pouvait s'aligner avec plusieurs versions dialectales à cause des différences d'orthographe.

Pour évaluer la qualité, on a examiné les paires de mots produites. On a trouvé que la fréquence des mots joue un rôle important dans la précision des alignements. Les mots utilisés plus fréquemment dans le dialecte donnent généralement de meilleures traductions. On a décidé de classer les paires de mots en fonction de leur fréquence dans les dialectes.

Comme on n’avait pas accès à des dictionnaires bilingues de haute qualité, on s'est tourné vers des ressources communautaires pour valider nos résultats. La base de données Glosbe a fourni quelques informations, bien qu'elle ne soit pas complète, surtout pour les mots peu fréquents ou des formes dialectales spécifiques.

En plus de la comparaison de dictionnaires, on a aussi demandé à des évaluateurs humains d'évaluer la qualité des paires de mots. Les résultats ont montré que les mots de faible et de moyenne fréquence ont bien performé dans cette évaluation, tandis que les mots de haute fréquence ont présenté des incohérences à cause de la variabilité dans l'orthographe et les formes.

#Résultats

Nos efforts d'extraction de bi-textes ont donné plus de 17 000 paires bavarois-allemand et environ 50 000 paires alémanique-allemand tirées de Wikipedia. On a noté différents niveaux de similarité parmi plusieurs modèles, les modèles MBERT et LaBSE étant les plus proches des évaluations humaines. Cela suggère que les modèles entraînés avec des données dialectales peuvent améliorer significativement la performance dans l'alignement des mots.

Pour les lexiques bilingues, on a traité plus de 15 000 paires de mots bavarois et 68 000 paires alémaniques selon notre seuil de sélection. Cependant, on a observé de nombreux cas de formes de mots répétées à cause des différences d'orthographe dialectales. Les efforts futurs pourraient explorer le regroupement de formes de mots similaires pour améliorer la qualité des lexiques.

#Conclusion et Travaux Futurs

Ce projet a développé une méthode fiable pour créer des lexiques bilingues pour l’allemand et ses dialectes. Notre approche impliquait de rassembler des phrases parallèles de Wikipedia et de les aligner pour extraire des paires de mots. Les deux parties du processus dépendaient de modèles pré-entraînés, ce qui indique leur utilité dans ce cadre à faibles ressources.

On a identifié deux facteurs principaux qui affectent la performance : l'inclusion de données spécifiques aux dialectes dans le pré-entraînement et les objectifs spécifiques aux tâches pour les modèles. Dans l'ensemble, on a établi que les modèles existants peuvent créer efficacement des lexiques bilingues, mais qu'il faut encore travailler sur des outils spécialisés adaptés aux dialectes.

À l'avenir, on prévoit de tester un ajustement plus poussé des modèles croisés de langue en utilisant des données dialectales et d'explorer d'autres dialectes allemands. En développant plus d'outils spécifiques aux dialectes, on espère améliorer la qualité et la cohérence de l'induction de lexiques bilingues.

#Limitations

Bien que cette étude offre un aperçu riche sur la création de lexiques bilingues pour les dialectes bavarois et alémanique, plusieurs limites apparaissent à cause du cadre à faibles ressources.

1. Domaine Unique : Notre dépendance à Wikipedia signifie qu'on est limité à une seule source principale.
2. Pas d'Évaluation Extrinsèque : On n'a pas pu trouver d'autres ensembles de données annotées pour les paires de langues, donc on n'a utilisé que des méthodes d'évaluation intrinsèques.
3. Focus sur des Mots Uniques : L'étude n'a pas abordé les expressions multi-mots, ce qui pourrait enrichir la compréhension de l'utilisation de la langue.

Malgré ces défis, notre méthode combinant l'extraction de bi-textes et l'alignement de mots montre du potentiel, même si cela peut conduire à des relations un-à-un et à une dépendance excessive sur des motifs de surface.

#Références

Reconnaître les contributions des membres de l'équipe et le soutien des sources de financement.

#Annotation de Bi-textes

Vérifier si deux phrases sont similaires ou non. Évaluer à quel point leurs significations sont liées et identifier d'éventuelles différences significatives de détail. Noter aussi la structure des phrases.

#Annotation de Lexique Bilingue

Évaluer si une traduction de l’allemand standard au bavarois est acceptable. Indiquer si c'est acceptable, non, ou si on ne peut pas dire selon le contexte.

#Comparaison des Modèles

Comparer les modèles pour juger de la similarité des phrases, en se concentrant sur les scores humains et en mesurant les valeurs de similarité cosinus pour les deux dialectes.