KoBBQ : Un jeu de données pour le biais dans les modèles de langage coréens

La culture coréenne a ses propres biais sociaux uniques qui peuvent grandement différer de ceux qu’on trouve dans d'autres pays. Pour mieux comprendre ces biais dans les modèles de langage (ML) utilisés pour les tâches de réponse aux questions, on a développé un nouveau dataset appelé KoBBQ. Ce dataset est spécifiquement conçu pour refléter les biais sociaux présents dans la société coréenne.

#Le besoin de KoBBQ

Les benchmarks existants pour évaluer les biais, comme le Bias Benchmark for Question Answering (BBQ), ont été principalement créés pour la culture américaine. Ça complique l'utilisation directe de ces benchmarks en Corée ou dans d'autres contextes culturels, car les biais dépendent souvent fortement des contextes locaux. Donc, un benchmark culturellement pertinent est nécessaire pour évaluer plus précisément les biais dans les systèmes de réponse aux questions.

#Cadre pour l’adaptation culturelle

Pour créer KoBBQ, on a développé un cadre qui segmente le dataset original BBQ en trois catégories selon leur capacité à s'adapter à la culture coréenne :

1. Transférés simplement : Ces échantillons peuvent être utilisés directement après traduction en coréen.
2. Modifiés pour cible : Ces échantillons nécessitent des ajustements pour se concentrer sur des groupes cibles spécifiques à la culture coréenne.
3. Échantillons retirés : Ces échantillons ne sont pas applicables à la culture coréenne et sont exclus.

En plus, on a introduit quatre nouvelles catégories de biais qui reflètent les nuances culturelles en Corée.

#Collecte de données sur les biais sociaux

Pour s'assurer que notre dataset soit représentatif, on a mené une enquête à grande échelle impliquant des citoyens coréens. Cette enquête visait à recueillir des informations sur quels groupes sont vus comme cibles de divers biais. On a identifié des stéréotypes présents dans la culture coréenne et utilisé ces informations pour valider et affiner notre dataset.

Le dataset final KoBBQ se compose de 268 modèles et d'un total de 76 048 exemples, couvrant 12 catégories de biais sociaux.

#Mesurer la précision et les scores de biais

En utilisant KoBBQ, on a testé plusieurs modèles de langage à la pointe et mesuré leur précision dans les réponses aux questions ainsi que leurs scores de biais. Les résultats ont montré des différences significatives dans comment ces modèles de langage exprimaient des biais, indiquant l'importance d'avoir un benchmark culturellement adapté.

#Biais dans les modèles de langage

Le Biais social fait référence au traitement inégal de différents groupes sociaux à cause d'inégalités historiques et systémiques. Les modèles de langage peuvent hériter de ces biais, ce qui peut se voir dans leurs réponses aux questions. Des études précédentes ont montré que ces biais sont souvent liés au genre, au statut socio-économique et à d'autres catégories.

#Problèmes avec les datasets existants

Beaucoup des datasets existants utilisés pour évaluer les modèles de langage, comme BBQ, ont un fort accent sur les stéréotypes américains. Ça pose des défis quand on essaie de mesurer les biais dans d'autres cultures, y compris en Corée. Les différences dans les contextes culturels peuvent mener à des interprétations différentes des stéréotypes, rendant les comparaisons directes peu fiables.

Par exemple, la perception de l'usage de drogues est liée à différents statuts socio-économiques aux États-Unis par rapport à la Corée, où les associations peuvent varier de manière plus drastique. Donc, les traductions de ces datasets peuvent ne pas capturer l'essence véritable de leur signification dans un autre Contexte culturel.

#Construction de KoBBQ

La création de KoBBQ a impliqué plusieurs étapes :

1. Catégorisation : On a trié les modèles du dataset original BBQ en trois groupes mentionnés plus tôt.
2. Traduction : On a fait appel à des traducteurs professionnels familiers avec la culture coréenne pour s'assurer que les traductions soient appropriées dans le contexte.
3. Reconstruction démographique : On a mis à jour les catégories de groupes pour refléter la démographie et les contextes sociaux uniques de la Corée.
4. Création de nouveaux modèles : Pour créer une représentation équitable des biais en Corée, on a élaboré de nouveaux modèles basés sur des sources fiables et crédibles.
5. Validation par des enquêtes : Des enquêtes à grande échelle ont été utilisées pour vérifier la présence de biais sociaux et comment ils s'alignent avec les perceptions actuelles dans la société coréenne.

#Informations sur les enquêtes

Pour les enquêtes, on a rassemblé une démographie diverse de participants, assurant une représentation équilibrée de l’âge et du genre. Les répondants ont été invités à dire si certains stéréotypes existaient dans la société et à identifier quels groupes ils croyaient associés à ces stéréotypes.

Cette approche nous a permis non seulement de valider les biais existants mais aussi de découvrir des nuances culturelles qui n’avaient peut-être pas été reconnues auparavant.

#Évaluation des modèles de langage

En analysant des modèles de langage comme Claude, GPT-3.5 et KoAlpaca en utilisant KoBBQ, on a comparé leur précision et leurs scores de biais. Cette évaluation nous aide à comprendre à quel point ces modèles peuvent répondre aux questions tout en révélant les biais intégrés dans leurs réponses.

À travers cette analyse, on a constaté que les modèles de langage avaient souvent une précision plus élevée dans les cas où le contexte était clarifié. Cependant, ils avaient aussi tendance à refléter les biais sociétaux existants, soulignant la nécessité de benchmarks qui représentent fidèlement différentes cultures.

#Catégories de biais

Dans KoBBQ, on a défini plusieurs catégories de biais, y compris :

• Statut de handicap : Stéréotypes liés aux handicaps physiques ou mentaux.
• Identité de genre : Biais et stéréotypes associés à différentes identités de genre.
• Apparence physique : Biais basés sur l’apparence de quelqu'un.
• Race/Ethnicité/Nationalité : Stéréotypes liés à la race ou à la nationalité d'une personne.
• Statut socio-économique : Biais liés aux revenus ou à la classe.
• Orientation sexuelle : Stéréotypes liés à l'orientation sexuelle d'un individu.
• Zone d'origine domestique : Stéréotypes basés sur l’endroit d’où vient quelqu'un en Corée.
• Structure familiale : Biais provenant de différentes dynamiques familiales.
• Orientation politique : Stéréotypes associés aux croyances politiques.
• Niveau d’éducation : Biais liés au niveau d’éducation d’une personne.

Les données recueillies et analysées à travers ces catégories permettent une compréhension complète des biais présents dans la société coréenne.

#Comment KoBBQ améliore la mesure des biais

KoBBQ contribue significativement à la mesure des biais de plusieurs façons :

1. Sensibilité culturelle : En se concentrant sur les contextes culturels coréens, il offre une image plus claire de comment les biais se manifestent dans le langage utilisé.
2. Données complètes : L'inclusion de nouvelles catégories et la validation approfondie par des enquêtes offrent une vision plus large des biais sociaux.
3. Cadre pour la recherche future : Les méthodes développées pour créer KoBBQ peuvent être appliquées à d'autres cultures, ouvrant la voie à des benchmarks personnalisés pour divers contextes linguistiques et culturels.

#Comparaison de KoBBQ avec d'autres datasets

En comparant KoBBQ avec des versions traduites automatiquement de BBQ et CBBQ, on a trouvé des différences distinctes dans la performance des modèles. Les datasets faits main comme KoBBQ sont essentiels pour mesurer précisément les biais dans les contextes culturels, car les traductions automatiques échouent souvent à capturer les nuances du langage et de la signification.

Les modèles ont eu des scores différents sur KoBBQ par rapport aux versions traduites, montrant l'importance de l'adaptation culturelle dans la mesure des biais des modèles de langage de manière efficace.

#Défis et limites

Malgré les progrès significatifs réalisés avec KoBBQ, des défis restent. La perception des biais est subjective, ce qui rend difficile le développement d'une mesure définitive des biais applicable universellement. De plus, les biais peuvent se chevaucher et se manifester de manière complexe qui n'est pas facilement catégorisable.

En outre, bien que KoBBQ vise à être complet, il y a encore potentiellement des catégories de biais inexplorées dans la société coréenne qui peuvent ne pas avoir été incluses dans le dataset.

#Conclusion

En résumé, KoBBQ sert d’outil important pour évaluer les biais des modèles de langage dans le contexte de la société coréenne. En créant un dataset qui reflète les nuances culturelles et sociales uniques à la Corée, nous fournissons une ressource précieuse pour les recherches futures sur les biais dans les modèles de langage.

Ce travail souligne non seulement l'importance de la sensibilité culturelle dans l'évaluation des biais, mais ouvre également la porte à des efforts similaires dans d'autres contextes culturels. Notre espoir est que KoBBQ aidera au développement de modèles de langage plus sûrs et plus équitables qui comprennent mieux les complexités des dynamiques sociales humaines.