Défis culturels dans le raisonnement des modèles linguistiques

Les grands modèles de langage (LLMs) ont vraiment progressé pour répondre à des questions et des tâches de Raisonnement. Mais les attentes des gens varient selon leur culture. Comme les Langues sont liées à différentes cultures, il est important que les LLMs comprennent aussi les cultures diverses quand ils raisonnent. Cet article examine à quel point ces modèles utilisent des Proverbes et des dictons de diverses cultures dans la conversation.

Dans nos expériences, on a trouvé que :

1. Les modèles connaissent un nombre limité de proverbes. Juste les mémoriser ne veut pas dire qu’ils comprennent comment les utiliser en conversation.
2. Les modèles ont du mal avec les proverbes figurés et avec les tâches qui demandent d’identifier des réponses incorrectes.
3. Il y a un écart clair dans la compréhension de ces modèles concernant les dictons Culturels traduits d'autres langues.

Pour étudier ça, on a créé un dataset avec des proverbes et leur utilisation dans des contextes de conversation dans six langues. Ce dataset est disponible en ligne.

Quand les LLMs raisonnent dans une situation spécifique, Comprendre le contexte culturel est super important. Chaque culture a sa propre façon de penser, façonnée par des connaissances partagées, des concepts et du bon sens. Pourtant, dans le traitement automatique des langues (NLP), la plupart des recherches ne s’intéressent pas à la capacité de ces modèles à saisir des significations culturelles plus profondes à travers différentes langues. Étant donné que langue et culture sont étroitement liées, il est vital que les modèles communiquent efficacement dans différents contextes culturels.

Les proverbes sont des expressions fixes qui portent des significations culturelles. On a collecté des proverbes dans six langues et examiné comment ils sont utilisés en conversation. On a ensuite évalué les LLMs à travers des tâches où ils devaient interpréter ces proverbes dans un contexte de conversation.

Quelques questions clés qu’on voulait répondre étaient :

1. Les LLMs multilingues incluent-ils la connaissance des contextes culturels, et est-ce que ça influence leur raisonnement ?
2. Ces modèles peuvent-ils raisonner dans des contextes qui nécessitent une compréhension culturelle ?
3. Y a-t-il des écarts culturels quand ces modèles traitent des proverbes de différentes cultures ?

Pour répondre à ces questions, on devait évaluer les LLMs en utilisant des expressions culturellement riches à travers plusieurs langues et voir comment ils raisonnaient dans des contextes spécifiques. Les travaux précédents n’ont pas inclus d’expressions fixes dans leurs évaluations.

Les proverbes offrent un moyen unique d’étudier la capacité de raisonnement puisque ils expriment la sagesse traditionnelle et sont souvent liés à des expériences vécues. Bien que différentes cultures aient divers proverbes, ils touchent souvent à des thèmes universels similaires. Cependant, la façon dont ces proverbes sont exprimés et compris peut varier considérablement entre les cultures.

Par exemple, le proverbe anglais "The apple doesn't fall far from the tree" suggère que les enfants ressemblent souvent à leurs parents. Des variantes de ce dicton existent dans d'autres langues, comme le proverbe indonésien "Rebung tidak jauh dari rumpunnya" ou le dicton chinois "虎父无犬子," qui expriment des idées similaires. Pourtant, tous les proverbes n'ont pas de correspondances directes dans d'autres langues à cause des différences culturelles.

De plus, les proverbes sont utilisés dans l'écriture ou la conversation pour faire des points, donner des conseils ou réconforter les autres. L'interprétation des proverbes dépend souvent du contexte, ce qui met en avant leur nature figurative. Ça en fait des outils idéaux pour étudier à quel point les LLMs peuvent raisonner dans des situations spécifiques.

Dans notre étude, on voulait apprendre :

1. À quel point les LLMs mémorisent bien les proverbes ?
2. Peuvent-ils choisir la bonne interprétation d’un proverbe selon le contexte ?
3. Peuvent-ils raisonner à travers les cultures, et ont-ils du mal à interpréter des proverbes de différents horizons ?

On a développé un dataset qui inclut une variété de proverbes, leur utilisation en conversation, des interprétations, et si l'utilisation est figurative. Ce dataset couvre six langues : anglais, allemand, russe, bengali, chinois et indonésien.

On a réalisé plusieurs expériences en utilisant une variété de modèles multilingues open source. Nos résultats ont montré que les LLMs ont des niveaux de connaissance variés en ce qui concerne les proverbes, avec plus de connaissances en anglais et en chinois. La capacité à mémoriser des proverbes n’a pas forcément amélioré leurs compétences en raisonnement. On a aussi remarqué que comprendre les proverbes figurés était particulièrement difficile pour beaucoup de langues.

En évaluant la capacité des modèles à raisonner à travers les cultures, on a trouvé des écarts significatifs dans la compréhension des proverbes traduits. Ça suggère qu'il y a un besoin d’efforts supplémentaires pour rendre les LLMs plus conscients culturellement.

Nos principales contributions incluent :

1. Une analyse de la manière dont une large gamme de LLMs multilingues raisonne avec des connaissances culturelles en utilisant des proverbes.
2. Une attention particulière sur la différence entre mémorisation et compétences en raisonnement pour comprendre les proverbes et identifier les lacunes culturelles.
3. La création d'un dataset multiculturel de proverbes pour plusieurs langues qui a différents niveaux d'annotations.

#Travaux Connexes

Des études antérieures se sont intéressées aux capacités de raisonnement des LLMs, principalement en langue anglaise ou limitées à quelques langues. Notre dataset est la plus grande collection spécifiquement axée sur les proverbes et les dictons avec des contextes de conversation. Des travaux précédents comme MABL ont exploré la compréhension des métaphores à travers les cultures mais n’ont pas évalué le raisonnement dans le contexte d’expressions fixes.

On vise à élargir cette compréhension en utilisant des proverbes comme outil pour étudier le raisonnement culturel chez les LLMs. De plus, nous explorons les méthodes de récupération de mémoire des LLMs avec des expressions fixes, en mettant l'accent sur les aspects multiculturels.

#Création du Dataset

Pour notre dataset, on a choisi six langues qui offrent une diversité géographique et culturelle : anglais, allemand, russe, bengali, chinois et indonésien. On a sélectionné ces langues en fonction de leur richesse en expressions culturelles et de la disponibilité des ressources.

On a collecté des proverbes et des dictons sur Wikiquote et Wiktionary pour ces langues. Notamment, le bengali avait un grand nombre de proverbes, donc on a choisi un ensemble équilibré pour notre étude.

Étant donné que les proverbes sont généralement utilisés dans des conversations, on a créé de courts dialogues qui incluaient ces proverbes. Pour ce faire, on a combiné des contributions humaines avec du contenu généré par modèle. On a utilisé GPT-3.5 pour générer des conversations de base qui ont ensuite été affinées par des locuteurs natifs pour garantir leur exactitude.

Dans notre dataset final, on a inclus 2 313 proverbes avec leurs contextes. On a ensuite divisé les données en différents ensembles pour les tests et l'entraînement.

#Analyse des Proverbes

Les proverbes représentent des connaissances culturelles et des expériences liées à des sociétés spécifiques. Par exemple, certains aliments populaires dans une culture peuvent ne pas exister dans une autre. Dans notre dataset, on a noté que des animaux comme les tigres sont importants dans les cultures de l'Est, tandis que les lions sont plus significatifs à l'Ouest.

On a examiné les proverbes en créant des représentations visuelles de leurs significations en utilisant des embeddings mathématiques. Ça révèle les relations et les différences entre les proverbes à travers les cultures.

#Configuration Expérimentale

On a opté pour une stratégie d'évaluation zéro-shot, en utilisant des invites en anglais pour nos expériences. Cette approche s'est révélée donner de meilleurs résultats pour les modèles multilingues. On a testé plusieurs modèles multilingues avancés comme XLM-R, mT0, BLOOMZ, et d'autres.

Pour notre tâche de mémorisation, on a demandé aux modèles de compléter des proverbes avec des mots manquants, mesurant leurs capacités par la précision avec laquelle ils pouvaient se souvenir de ces expressions. Pour le raisonnement, on a comparé les réponses pour voir à quel point les modèles pouvaient interpréter les proverbes selon le contexte.

Les deux expériences se sont concentrées sur l’évaluation des capacités de mémorisation et de raisonnement des modèles avec des proverbes de notre dataset.

#Résultats et Discussion

#Connaissance des Proverbes

On a constaté que les modèles amélioraient généralement leurs capacités de mémorisation à mesure que leur taille augmentait. Par exemple, des modèles plus grands comme LLaMA-2 ont bien performé en anglais, tandis que la performance variait pour d’autres.

À travers plusieurs langues, certains modèles ont plus de mal que d'autres pour mémoriser des proverbes, surtout en bengali, indonésien, et russe. Ça suggère que leur exposition aux données d’entraînement joue un rôle significatif dans leur capacité à se souvenir et comprendre les proverbes.

#Raisonnement avec les Proverbes dans le Contexte

Bien que les modèles montrent souvent une connaissance des proverbes, cette connaissance ne se traduit pas toujours par de meilleures compétences en raisonnement. On a vérifié que la mémorisation ne garantit pas le succès dans les tâches nécessitant une compréhension contextuelle.

Nos expériences ont montré que les proverbes figurés posaient des défis significatifs pour la plupart des langues. On a aussi observé des différences dans la façon dont divers modèles interprétaient les proverbes, soulignant que le contexte joue un rôle majeur dans le raisonnement des LLM.

#Écarts Culturels dans les LLMs

Un modèle multilingue idéal devrait performer également bien à travers les langues. Cependant, nos résultats ont révélé des écarts de performance persistants, notamment avec les traductions. Les malentendus dans le contexte culturel peuvent entraîner des interprétations incorrectes.

Pour le démontrer, on a regardé comment les proverbes chinois traduits en anglais affectaient la performance du modèle. On a trouvé qu même après avoir amélioré les traductions, la performance ne correspondait pas à celle de la langue d'origine pour de nombreux modèles.

Cela souligne la nécessité d'une meilleure compréhension et conscience culturelle tant dans la traduction automatique que dans les modèles multilingues.

#Conclusion

Cette étude a examiné à quel point les LLM multilingues raisonnent avec des connaissances culturelles, en utilisant les proverbes comme point central. Grâce à notre dataset, on a pu voir que bien que de nombreux modèles aient un certain niveau de compréhension des proverbes, cela ne correspondait pas toujours à des compétences de raisonnement efficaces dans des situations contextuelles.

On espère que nos insights aideront à informer les recherches futures visant à améliorer la conscience culturelle des LLMs. Il y a un besoin d'une meilleure compréhension du terrain d'entente culturel et de la manière dont cela peut être représenté dans des modèles multilingues. De futures investigations utilisant un ensemble plus diversifié de langues et d'éléments culturels seront précieuses dans ce domaine de recherche en cours.

La recherche souligne l'importance de ne pas seulement connaître des proverbes mais de comprendre leurs significations et applications dans le contexte. Les disparités dans le raisonnement à travers les langues soulignent la nécessité de modèles linguistiques plus robustes et culturellement conscients.