Différences culturelles dans les normes morales : Les défis des modèles de langage
Examiner comment les modèles de langage perçoivent les normes morales à travers les cultures.
― 7 min lire
Table des matières
- Variation Morale Selon les Cultures
- Résultats de l'Analyse
- L'Importance de Comprendre les Normes Culturelles
- Travaux Précédents en Traitement du Langage Naturel
- Investigation des Connaissances Morales dans les Modèles de Langage en Anglais
- Approches de Notre Analyse
- Sources de Données
- Résultats de Nos Découvertes
- Regrouper les Pays par Normes Morales
- Tendances Partagées dans les Jugements Morales
- Effets de l'Affinage des Modèles
- Conclusion
- Source originale
- Liens de référence
Les normes morales, ou les règles sur ce qui est considéré comme bien ou mal, peuvent varier énormément d'une culture à l'autre. Des recherches récentes montrent que les grands modèles de langage, qui sont des programmes capables de comprendre et de générer le langage humain, peuvent avoir des biais similaires à ceux des humains. Cependant, la plupart des études se sont concentrées sur les normes morales d'une seule culture, principalement celles des pays anglophones. Cet article examine à quel point ces modèles de langage comprennent les normes morales d'autres cultures et ce que cela signifie pour leur développement.
Variation Morale Selon les Cultures
Les avis moraux ne sont pas les mêmes partout. Par exemple, les opinions sur des sujets comme "l'homosexualité" ou "le divorce" peuvent varier énormément d'un pays à l'autre. Notre recherche se concentre sur deux questions principales :
- Les modèles de langage en anglais reflètent-ils les différences d'avis moraux entre les différentes cultures sur divers sujets ?
- Ces modèles peuvent-ils identifier les points d'accord et de désaccord entre les cultures dans leurs jugements moraux ?
Pour explorer ces questions, nous avons analysé deux ensembles de données : l'un venant du World Values Survey, qui comprend des réponses de 55 pays, et l'autre provenant de la recherche PEW, qui couvre 40 pays.
Résultats de l'Analyse
Quand on a comparé les prédictions faites par les modèles de langage avec des données réelles des enquêtes, on a constaté que les modèles n'étaient généralement pas très bons pour estimer les normes morales entre différentes cultures. Ils ont moins bien performé que prévu, montrant qu'ils n'avaient peut-être pas une compréhension complète des différences culturelles. Cependant, quand on a affiné ces modèles avec les données des enquêtes, leur capacité à deviner les avis moraux à travers les cultures s'est améliorée, même si leur précision concernant les normes morales anglaises a diminué.
L'Importance de Comprendre les Normes Culturelles
À mesure que les modèles de langage deviennent plus utiles dans notre monde de plus en plus diversifié, comprendre les différentes normes morales est crucial. Si un modèle principalement entraîné sur des données anglaises fait des suppositions sur des questions morales dans des cultures non anglophones, il pourrait produire des représentations trompeuses ou nuisibles. Par exemple, un modèle pourrait considérer quelque chose comme "la violence politique" comme justifiable dans certains contextes non anglophones, renforçant ainsi les stéréotypes sur ces cultures.
Travaux Précédents en Traitement du Langage Naturel
Des recherches antérieures ont montré que les modèles de langage capturent certains biais moraux. Par exemple, les modèles entraînés sur des données en anglais peuvent faire la distinction entre les actions bien et mal sans aucune entrée supplémentaire. Certaines études ont également examiné des modèles multilingues, qui peuvent comprendre plusieurs langues, pour leur capacité à repérer les normes morales dans différentes cultures. Cependant, la plupart de ces travaux se sont concentrés sur des cas spécifiques de biais au lieu d'analyser les normes morales à travers de nombreuses cultures de manière globale.
Investigation des Connaissances Morales dans les Modèles de Langage en Anglais
Dans notre étude, on a examiné à quel point les modèles de langage pré-entraînés en anglais, qui proviennent principalement de données produites dans des cultures occidentales, captaient les informations concernant les normes morales d'autres cultures. C'est particulièrement important car l'anglais est largement utilisé comme langue commune pour la communication mondiale. Comprendre si ces modèles ont des connaissances de base sur les différences culturelles peut aider à améliorer leur performance dans des environnements multilingues.
Approches de Notre Analyse
On a utilisé deux approches principales pour analyser les modèles de langage :
Niveau 1 : Normes Morales Spécifiques
Dans ce premier niveau d'analyse, on a examiné si les modèles pouvaient correctement refléter les normes morales sur des sujets spécifiques dans différents pays. Par exemple, en regardant le sujet "divorce", on a évalué si les modèles étaient alignés avec la façon dont les gens dans divers pays jugeaient cette question.
Niveau 2 : Diversité Culturelle et Tendances Partagées
Au deuxième niveau, on a cherché des motifs dans le jugement moral. Est-ce que les gens dans le monde sont généralement d'accord sur certains sujets moraux, ou est-ce qu'il y a des différences significatives ? Par exemple, bien qu'il puisse y avoir un large accord sur l'immoralité de la violence, les avis sur les pratiques sexuelles pourraient varier énormément.
Sources de Données
On a utilisé des ensembles de données disponibles publiquement, à savoir le World Values Survey et le PEW Global Attitudes survey, pour recueillir des informations sur les normes morales des participants de divers pays. Les données couvraient une gamme de sujets moralement pertinents et ont été collectées par le biais d'enquêtes traduites dans les langues natives.
Résultats de Nos Découvertes
Performance sur des Normes Morales Homogènes
On a constaté que les modèles de langage avaient une bonne corrélation avec les normes morales anglaises existantes, mais qu'ils avaient du mal avec les normes morales issues des ensembles de données mondiales. Cela a mis en évidence un fossé dans leur compréhension des contextes Culturels variés.
Performance Culturelle Fine
Quand on a évalué la capacité des modèles à inférer les normes morales de cultures spécifiques, on a découvert qu'ils fonctionnaient mieux pour les pays occidentaux. Cependant, leurs prédictions étaient moins précises pour les nations non occidentales. Cela suggère un biais en faveur des points de vue moraux qui s'alignent avec les perspectives occidentales.
Regrouper les Pays par Normes Morales
Pour aller plus loin dans l'examen de la façon dont les modèles captent les normes morales, nous avons divisé les pays en différents groupes en fonction de leur statut économique ou de leur emplacement géographique. Les résultats ont montré que les modèles comprenaient mieux les normes morales dans les pays occidentaux plus riches par rapport à ceux d'autres régions du monde.
Tendances Partagées dans les Jugements Morales
Ensuite, on a examiné si les modèles de langage pouvaient détecter des vues morales partagées entre les cultures. Par exemple, on a regardé des sujets où les gens semblaient avoir un terrain d'entente, comme l'immoralité de la violence. Cependant, les modèles ont souvent mal estimé le degré de controverse autour de différentes questions morales.
Effets de l'Affinage des Modèles
Pour améliorer la compréhension culturelle des modèles, on les a affinés en utilisant les résultats des enquêtes mondiales. Ce processus a augmenté leur précision concernant les connaissances morales culturelles, mais a eu un coût. Leur capacité à inférer des normes morales basées sur l'anglais a diminué, et de nouveaux biais ont été introduits.
Conclusion
En conclusion, bien que les modèles de langage pré-entraînés en anglais puissent capturer certaines variations des normes morales à travers les cultures, ils ont tendance à être plus précis pour les cultures occidentales que pour les non-occidentales. L'affinage des modèles avec des données morales mondiales peut améliorer leur compréhension culturelle, mais peut aussi introduire des biais qui nécessitent une attention particulière.
Il est crucial pour les recherches futures d'approfondir ces normes morales, visant une vue plus nuancée qui prenne en compte la riche variété des perspectives culturelles. Les implications éthiques de l'utilisation de ces modèles doivent également être reconnues, car ils ne devraient pas être considérés comme des autorités finales sur les questions morales.
Titre: Knowledge of cultural moral norms in large language models
Résumé: Moral norms vary across cultures. A recent line of work suggests that English large language models contain human-like moral biases, but these studies typically do not examine moral variation in a diverse cultural setting. We investigate the extent to which monolingual English language models contain knowledge about moral norms in different countries. We consider two levels of analysis: 1) whether language models capture fine-grained moral variation across countries over a variety of topics such as ``homosexuality'' and ``divorce''; 2) whether language models capture cultural diversity and shared tendencies in which topics people around the globe tend to diverge or agree on in their moral judgment. We perform our analyses with two public datasets from the World Values Survey (across 55 countries) and PEW global surveys (across 40 countries) on morality. We find that pre-trained English language models predict empirical moral norms across countries worse than the English moral norms reported previously. However, fine-tuning language models on the survey data improves inference across countries at the expense of a less accurate estimate of the English moral norms. We discuss the relevance and challenges of incorporating cultural knowledge into the automated inference of moral norms.
Auteurs: Aida Ramezani, Yang Xu
Dernière mise à jour: 2023-06-02 00:00:00
Langue: English
Source URL: https://arxiv.org/abs/2306.01857
Source PDF: https://arxiv.org/pdf/2306.01857
Licence: https://creativecommons.org/licenses/by/4.0/
Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.
Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.
Liens de référence
- https://www.latex-project.org/help/documentation/encguide.pdf
- https://www.aclweb.org/portal/content/acl-code-ethics
- https://www.worldvaluessurvey.org/WVSContents.jsp?CMSID=Documentation
- https://www.pewresearch.org/about/terms-and-conditions/
- https://worldpopulationreview.com/country-rankings/western-countries
- https://www.worldvaluessurvey.org/WVSContents.jsp
- https://www.pewresearch.org/global/interactives/global-morality/
- https://github.com/AidaRamezani/cultural