S'attaquer aux biais de genre dans la traduction neuronale

La traduction automatique neuronale (NMT) a fait un sacré chemin, en s'améliorant en qualité et en utilisation. Mais y a encore un gros souci de Biais de genre dans les traductions, surtout quand on traduit des langues qui ne marquent pas trop le genre vers l'anglais, qui, lui, le fait. Malgré plein d'études sur la question, il n'y a pas encore de vraies manières de mesurer ou de régler ces biais.

Pour combler ce manque, on vous présente GATE X-E, un nouveau jeu de données créé à partir de traductions humaines du turc, hongrois, finnois et persan vers l'anglais. Ce jeu de données inclut des traductions qui montrent différentes options de genre : féminin, masculin et neutre. Avec entre 1250 et 1850 exemples pour chaque paire de langues, GATE X-E offre une variété de phrases qui mettent au défi les traducteurs avec différentes caractéristiques linguistiques. On a aussi construit un outil de traduction utilisant GPT-4 et utilisé GATE X-E pour tester son efficacité. Notre but, c'est de partager ce projet pour aider les autres à étudier le biais de genre dans les traductions.

#Le Biais de Genre dans la Traduction

Même si la NMT s'est beaucoup améliorée, le biais de genre est toujours là dans ses résultats. Un gros problème, c'est que le texte traduit donne parfois un genre aux individus alors que le texte original ne le fait pas. C'est fréquent quand on traduit des langues qui n'utilisent pas le genre de la même manière que l'anglais.

En anglais, le genre peut apparaître à travers des pronoms comme "he" ou "she", ou à travers des noms spécifiques comme "mother" ou "uncle". Dans les langues sur lesquelles on se concentre, comme le turc, tous les pronoms personnels sont neutres. Par exemple, le mot "O" en turc peut désigner "il", "elle" ou "ils". Ça mène à des situations où le modèle NMT peut attribuer un genre basé sur des stéréotypes plutôt que sur le texte original.

#Exemples de Biais de Genre

Quand on traduit du turc à l'anglais, par exemple, la machine utilise souvent le pronom "she" pour des personnes dont le genre n'est pas précisé. Ça arrive parce qu'il y a une croyance répandue selon laquelle les femmes sont plus impliquées dans les soins. Pour corriger ça, on propose de fournir des traductions dans les trois formes de genre pour couvrir toutes les interprétations possibles.

Le problème surgit quand on traduit des phrases qui ne mentionnent pas de genre mais qui finissent par être marquées comme féminines. Ce biais est souvent basé sur des stéréotypes qui associent certains rôles aux femmes, comme la garde d'enfants. Une manière d'aborder ça est de créer plusieurs versions d'une traduction, en incluant des options masculines et neutres.

#Jeu de Données GATE X-E

GATE X-E est un ajout au corpus GATE original, qui avait déjà évalué les réécritures de genre pour les traductions de l'anglais vers plusieurs langues. GATE X-E se concentre sur les traductions du turc, hongrois, finnois et persan vers l'anglais. Le jeu de données se compose de phrases naturelles qui varient en longueur et en contexte, testant différents aspects de la traduction.

#Processus de Collecte de Données

Pour créer GATE X-E, des paires de phrases ont été collectées à partir de diverses sources. Les phrases sélectionnées ont été filtrées pour s'assurer qu'elles répondaient à certains critères basés sur la détection de la langue et la présence de termes genrés dans les traductions anglaises. Ensuite, on a fourni ces phrases à des locuteurs natifs, qui les ont annotées pour les types de genre et les traductions possibles.

Chaque instance dans GATE X-E inclut une phrase source et ses traductions, couvrant différentes interprétations de genre. Pour chaque traduction, on classe si elle inclut des termes marqués par le genre et combien d'Entités Arbitrément Marquées par le Genre (AGMEs) sont présentes. Les AGMEs sont des portions d'une phrase où le genre n'est pas précisé dans l'original mais l'est dans la traduction.

#Caractéristiques du Jeu de Données

Le jeu de données offre une grande variété de cas. Beaucoup d'instances contiennent une AGME, tandis que certaines peuvent n'en avoir aucune ou plus d'une. La plupart de ces cas impliquent des pronoms genrés qui n'apparaissent pas dans la source. Le jeu de données inclut aussi des cas mixtes, où certains individus sont neutres en genre et d'autres sont marqués par le genre.

Le défi est de s'assurer que les traductions restent cohérentes et précises tout en explorant différentes interprétations de genre. Les annotateurs ont travaillé à travers les phrases, marquant les erreurs et proposant des traductions alternatives si nécessaire.

#Processus de Réécriture de Genre

Le processus de réécriture de genre consiste à prendre une phrase traduite avec un genre spécifique et à créer de nouvelles versions avec différentes attributions de genre. L'objectif est de proposer des traductions qui reflètent toutes les interprétations de genre possibles sans altérer le message principal du texte.

#Types de Problèmes dans la Réécriture de Genre

Il y a deux grandes catégories de problèmes de réécriture à considérer :

1. Problèmes de Pronom Seulement : Dans ces cas, si les seuls marqueurs de genre dans la traduction sont des pronoms, alors la phrase source ne contiendra aucun pronom genré. Tous les individus mentionnés dans la traduction sont des AGMEs. La réécriture se concentre sur le changement de ces pronoms pour s'adapter au genre souhaité tout en gardant le sens original intact.

2. Problèmes de Nom Genré : Ici, la source peut contenir des noms qui indiquent explicitement le genre. Ce type de réécriture est plus complexe car il faut différencier entre les AGMEs et ceux qui sont marqués par le genre à la fois dans la source et la traduction. Le système doit gérer des cas avec des noms genrés et des termes neutres.

#Le Rôle de GPT-4

Pour aider avec les tâches de réécriture, on a développé une solution utilisant GPT-4. Cet outil génère trois versions de la traduction : neutre en genre, entièrement féminine et entièrement masculine. Le système a été conçu pour guider GPT-4 étape par étape à travers l'identification des AGMEs et la réécriture de la traduction originale en conséquence.

GPT-4 utilise des prompts détaillés pour clarifier ce qui est nécessaire. Les résultats sont ensuite comparés aux traductions originales pour vérifier l'exactitude.

#Évaluation du Système de Réécriture

On a évalué l'efficacité de notre solution de réécriture basée sur GPT-4 en utilisant le jeu de données GATE X-E. Le processus d'évaluation a impliqué de mesurer à quel point les phrases modifiées correspondaient aux versions attendues.

#Résultats d'Exactitude

Les résultats ont montré que le système a très bien performé sur les cas où seuls des pronoms étaient impliqués, atteignant des taux d'exactitude élevés. Cependant, l'exactitude a chuté pour les tâches incluant des noms genrés. Cette différence est attendue en raison de la complexité ajoutée des cas avec des noms marqués par rapport à ceux qui reposent uniquement sur des pronoms.

#Défis dans la Réécriture de Noms Genrés

Les principales difficultés surgissent lors de la traduction de phrases qui incluent des noms genrés. Dans ces cas, le sens change souvent selon quel terme genré est utilisé, ce qui rend crucial de s'assurer que seuls les termes appropriés sont modifiés. Mal identifier quels termes peuvent être changés mène à des erreurs dans les résultats.

#Évaluation Humaine de l'Exactitude

Pour garantir la qualité des traductions, on a fait appel à des évaluations humaines. Les évaluateurs ont examiné les résultats où le système de réécriture a commis des erreurs, notant si des noms ou des pronoms avaient été incorrectement changés ou manqués.

#Types d'Erreurs Courantes

Les erreurs se classaient généralement en deux catégories : modifications superflues, où des changements inutiles ont été effectués, et changements manquants, où le système n'a pas réussi à modifier des termes genrés qui auraient dû l'être.

#Conclusion

Avec GATE X-E, on fournit une ressource précieuse pour étudier le biais de genre dans les traductions automatiques. Le jeu de données aide à exposer les complexités impliquées dans la traduction d'une langue genrée et offre un moyen de développer et d'évaluer des outils qui atténuent ces biais. On espère que cela inspirera d'autres recherches et mènera à une représentation plus équitable dans les traductions à travers différentes langues.

Les recherches futures pourraient explorer l'utilisation de modèles open-source pour la réécriture de genre et évaluer leur efficacité. On vise à garder la conversation ouverte pour créer des traductions plus inclusives et justes.