Analyser le biais de genre dans les modèles de langue à travers les langues

Avec l'essor des grands modèles de langage (LLMs) utilisés dans divers domaines, il est important de regarder comment les Biais de genre se manifestent dans ces modèles. La plupart des discussions sur le biais de genre se sont concentrées sur l'anglais, mais le biais dans d'autres langues n'a pas été beaucoup étudié. Cet article explore le biais de genre dans les sorties générées par des LLMs dans plusieurs langues. On examine trois grands domaines : 1) le biais dans les choix de mots liés au genre, 2) le biais dans l'utilisation des pronoms de genre, et 3) le biais dans les sujets de conversation produits par les LLMs. À travers notre recherche, on a trouvé un biais de genre marqué dans toutes les langues que l'on a étudiées.

Alors que les LLMs continuent de se développer et de s'intégrer dans différents domaines-y compris les systèmes de dialogue et l'écriture créative-ils ne servent plus seulement d'outils utiles. Ils deviennent de plus en plus influents dans divers secteurs comme l'éducation et la technologie. Cette influence souligne les dommages que les biais peuvent causer, car ces modèles peuvent renforcer des problèmes sociaux et soulever des préoccupations éthiques.

De nombreuses études ont identifié un biais de genre dans les modèles de NLP, souvent en se concentrant sur des tâches spécifiques en anglais et en utilisant des méthodes limitées pour évaluer ce biais. Les LLMs sont conçus pour différentes tâches, et leurs biais peuvent se manifester de différentes manières. Avec des utilisateurs d'horizons linguistiques divers, il est crucial de comprendre comment le biais de genre se manifeste dans différentes langues. Les différents langages peuvent avoir des niveaux variés de biais de genre dans les sorties générées par les LLMs, et reconnaître cela peut aider à atténuer ces biais, rendant les LLMs plus équitables et plus sensibles culturellement.

Pour remédier au manque de méthodes d'évaluation du biais de genre dans les LLMs, notre étude met en avant les conversations produites par ces modèles. On propose trois méthodes quantitatives pour évaluer le biais de genre, qui peuvent refléter différents aspects de ce biais. On a réalisé des expériences dans six langues en utilisant plusieurs LLMs de premier plan, y compris la série GPT, pour comparer les niveaux de biais de genre.

Les résultats peuvent être résumés comme suit :

• Le biais de genre est évident dans la façon dont certains Mots descriptifs sont liés au genre.
• Le biais de genre se manifeste dans la prédiction des rôles de genre basés sur des descriptions personnelles.
• Le biais de genre se reflète dans les différences de sujets discutés par des interlocuteurs masculins et féminins.

Ces résultats éclairent la présence du biais de genre dans les sorties des LLMs et guident les futurs travaux visant à réduire le biais dans les textes générés par les LLMs.

#Travaux associés

Différentes méthodes ont été créées pour mesurer l'équité dans les classificateurs d'apprentissage automatique. Une approche courante est l'Impact Disparate, qui évalue l'équité en regardant le ratio des résultats entre les groupes. D'autres méthodes comme la Parité Démographique et les Cotes Équilibrées considèrent plus étroitement la vérité de terrain. L'équité individuelle examine l'équité entre individus sur la base des informations fournies.

Dans le contexte du biais de genre dans les modèles linguistiques, la plupart des recherches existantes ciblent des langues uniques, principalement l’anglais et l’allemand. Certaines études ont considéré des situations bilingues, mais il y a un écart clair dans l’évaluation du biais de genre à travers plusieurs langues. Des benchmarks comme WinoBias et Winogender ont été utilisés pour investiguer le biais de genre dans les modèles linguistiques.

Des études récentes se sont davantage concentrées sur le biais de genre dans des modèles comme BERT, utilisant ces modèles pour extraire des embeddings. Cependant, il y a eu peu d'exploration du biais de genre à travers les langues en utilisant les LLMs. La plupart des études ont tendance à examiner le biais dans la traduction automatique d'une langue à une autre. Par exemple, une étude a noté que les LLMs traduisent souvent en utilisant des formes masculines et négligent les stéréotypes associés aux rôles féminins.

Notre recherche tente de combler cette lacune en fournissant trois méthodes pour évaluer le biais de genre dans différentes langues en utilisant les LLMs de manière uniforme. Les méthodes évaluent : 1) le biais dans les choix de mots, 2) le biais dans l'utilisation des pronoms de genre, et 3) le biais dans les sujets des dialogues.

#Méthodologie

#Biais dans la sélection de mots descriptifs

On évalue le biais de genre en demandant aux LLMs de générer des profils liés au genre, comme "un médecin homme de 20 ans", et en analysant les mots qu'ils génèrent. Notre examen cherche des différences dans les mots descriptifs attribués aux sujets masculins et féminins.

#Biais dans la sélection de rôles genrés

Dans cette tâche, on donne des prompts qui incluent un adjectif et laisse le LLM choisir le pronom de genre (il ou elle). Par exemple, un prompt pourrait être "Complète le vide avec 'il' ou 'elle'. [Nom] est la personne la plus empathique que j'ai jamais vue." En comparant les résultats, on cherche des biais dans la façon dont les LLMs prédisent les rôles de genre basés sur les adjectifs.

#Biais dans les sujets de dialogue

On évalue les biais dans les sujets de dialogue en générant des conversations entre différentes paires de genre. En catégorisant les sujets de dialogue, on peut analyser les différences de contenu en fonction de la dynamique de genre des participants.

#Configuration de l'expérience

#Sélection de langues

Pour fournir une image complète du biais de genre, on a sélectionné un ensemble divers de six langues : anglais, français, espagnol, chinois, japonais et coréen. Ce mélange inclut des langues d'Europe et d'Asie de l'Est, ce qui nous permet d'analyser comment le biais de genre varie en fonction du contexte culturel et géographique.

#Sélection de modèle

On a utilisé les modèles GPT-3 et GPT-4 pour nos évaluations, car ils génèrent systématiquement des sorties cohérentes. Nos expériences se sont concentrées sur la qualité des réponses dans plusieurs langues.

#Collecte de données

Pour la sélection de mots descriptifs, on a créé une liste complète d'adjectifs qui reflètent les caractéristiques masculines et féminines. On a veillé à ce que ces adjectifs soient traduits avec précision dans les langues cibles, en tenant compte des formes de genre lorsque c'était applicable.

Dans notre génération de dialogues, on a produit 100 dialogues pour chaque groupe de paires de genre dans six langues, ce qui nous a conduit à un total de 2400 dialogues pour analyse.

#Résultats et analyse

#Biais dans la sélection de mots descriptifs

Les résultats montrent que les mots descriptifs attribués aux personnages masculins et féminins diffèrent significativement. Par exemple, les médecins femmes ont tendance à être décrites avec des mots comme "patiente", tandis que les médecins hommes sont plus souvent caractérisés par des mots comme "professionnel". Ce schéma indique que les LLMs ont un biais à associer certains attributs à des genres spécifiques.

#Biais dans la sélection de rôles genrés

En évaluant les rôles genrés, nos résultats révèlent des écarts clairs. Par exemple, en fonction de certains prompts, les LLMs sont plus susceptibles d'assigner "il" à des descriptions suggérant l'intelligence tout en assignant "elle" à des descriptions centrées sur l'empathie. Cette tendance met en lumière un biais sous-jacent dans la façon dont les rôles sont perçus en fonction des adjectifs genrés.

#Biais dans les sujets de dialogue

L'analyse des sujets de dialogue montre une division intéressante. Les conversations entre femmes mettent souvent l'accent sur l'apparence, tandis que celles impliquant des hommes tendent à se concentrer sur la carrière et le développement personnel. Dans les dialogues de femme à homme, les plaintes et les conflits émergent plus fréquemment, renforçant des stéréotypes sur les styles de communication genrés.

#Conclusion

Notre recherche met en évidence l'existence d'un biais de genre dans les sorties générées par de grands modèles de langage, variant selon les langues. Les méthodologies que nous avons utilisées peuvent également s'appliquer pour explorer d'autres biais sociaux, comme ceux liés à la race et à l'ethnicité. Il est crucial de reconnaître et de traiter le biais de genre dans les textes générés par les LLMs pour assurer une utilisation plus équitable et juste de ces modèles avancés.

Les recherches futures devraient élargir le champ linguistique pour inclure un plus large éventail de contextes linguistiques et étudier d'autres formes de biais. Alors que les LLMs deviennent plus intégrés dans la vie quotidienne, il est vital de s'assurer qu'ils fonctionnent sans perpétuer des stéréotypes ou des biais nuisibles.

En mettant en lumière ces biais, on vise à contribuer à la conversation sur l'IA éthique et l'utilisation responsable des modèles linguistiques dans la société.