Examiner les changements de sentiment dans la traduction automatique
Cette étude examine comment la traduction automatique influence la représentation des sentiments.
― 6 min lire
Table des matières
Ces dernières années, y a eu un intérêt grandissant pour comment la technologie, surtout l'intelligence artificielle, influence nos perceptions et expériences. Un domaine de focus, c'est la Traduction automatique, qui traduit le texte d'une langue à une autre. Cette étude se penche sur si la traduction automatique peut changer les Sentiments ou émotions véhiculés dans le texte.
Contexte
Les Biais dans la technologie peuvent mener à des résultats injustes. Y a eu plein d'études sur les biais dans différents domaines comme la reconnaissance d'images et la reconnaissance vocale. Dans ces études, les chercheurs ont découvert que certains modèles pouvaient favoriser un groupe de gens par rapport à un autre, souvent à cause du genre ou de l'ethnie. Par exemple, dans les titres de poste, les traductions tendent à privilégier les pronoms masculins. Des préoccupations similaires existent pour la traduction automatique, où les traductions peuvent transmettre des biais du texte original.
Le biais de sentiment est un autre souci. Ça arrive quand la façon dont une phrase est formulée ou des mots spécifiques utilisés peuvent influencer si cette phrase est perçue comme positive, négative ou neutre. Par exemple, une phrase sur un "boulanger" pourrait obtenir un sentiment plus favorable qu'une sur un "comptable", ce qui soulève des questions sur comment la traduction automatique affecte ces sentiments.
Focus de Recherche
Cette étude examine si le sentiment exprimé dans un texte change quand il est traduit d'une langue à une autre et puis relu en arrière. Les chercheurs ont utilisé trois systèmes de traduction automatique différents pour traduire un texte entre cinq langues et ont cherché des changements de sentiment après les traductions.
Systèmes de Traduction Automatique Utilisés
L'étude s'est concentrée sur trois outils de traduction, chacun capable de traduire plusieurs langues :
No Language Left Behind : Ce modèle est conçu pour aider à traduire des langues à faibles ressources et peut gérer plus de 200 langues. Il a été construit avec un large jeu de données et utilise une architecture spécifique qui permet une traduction efficace.
Argos-translate : C'est un outil de traduction open-source qui applique une approche générale à la traduction. Il utilise un mix de données provenant de diverses sources pour aider à traduire entre différentes langues, même si parfois ça peut mener à des résultats moins précis.
BERT2BERT : C'est un modèle plus avancé qui utilise l'architecture BERT pour la traduction. Il est entraîné sur plusieurs langues et est conçu pour améliorer la qualité des traductions.
Modèles d'Analyse de Sentiment
Pour analyser les sentiments, les chercheurs ont utilisé différents outils pour chaque langue :
- GermanSentiment : Spécifiquement conçu pour le texte allemand, ce modèle évalue les retours d'utilisateurs.
- Vader : Un modèle basé sur des règles pour l'anglais qui détermine le sentiment en fonction de mots et phrases spécifiques.
- PySentimiento : Un modèle d'analyse de sentiment espagnol qui utilise des tweets pour l'entraînement.
- HeBERT : Un modèle affiné pour la classification des sentiments en hébreu basé sur du contenu en ligne.
- ASBA : Un modèle pour le sentiment chinois axé sur des critiques de produits spécifiques.
Méthodologie
Les chercheurs ont traduit le texte original dans une langue intermédiaire avant de le retraduire dans la langue originale. Comme ça, ils pouvaient comparer :
- Le texte original avec la première traduction.
- La version retraduite avec le texte original.
- La première traduction avec la retraduction.
En faisant ça, ils voulaient voir si les traductions causaient des changements dans les sentiments reconnus.
Analyse Statistique
Pour déterminer s'il y avait des biais, les chercheurs ont utilisé des tests statistiques. Ils ont comparé la distribution des étiquettes de sentiment pour voir s'il y avait des différences significatives avant et après la traduction. Ils cherchaient spécifiquement des changements dans la distribution des sentiments à travers les traductions, ce qui pourrait indiquer un biais.
Résultats
Les résultats ont montré que certaines procédures de traduction provoquaient des changements de sentiment, mais ces changements n'étaient pas assez constants pour conclure que la traduction automatique introduisait un biais. Dans la majorité des cas, il n'y avait pas de signe clair que la traduction changeait le sentiment de manière significative.
Quelques observations spécifiques incluent :
Les traductions déplaçaient parfois le sentiment vers une étiquette neutre, surtout avec le système Argos lors de la traduction de l'allemand vers l'anglais. Cependant, ce déplacement n'était pas soutenu par une analyse significative de la distance entre les distributions de sentiments.
L'étude a trouvé que les traductions impliquant le chinois démontraient parfois de plus grandes distances dans les étiquettes de sentiment. Cependant, cela était attribué au modèle d'analyse de sentiment utilisé pour le chinois étant binaire, ce qui signifie qu'il ne classe les sentiments qu'en positif ou négatif, contrairement à d'autres modèles qui ont une catégorie neutre.
Les données ont montré des résultats mitigés. Dans certains cas, les sentiments après la traduction s'alignaient étroitement avec les sentiments originaux, indiquant que la traduction pourrait ne pas avoir un effet fort sur le sentiment.
Discussion
Ces résultats suggèrent que même si la traduction automatique peut influencer le sentiment dans une certaine mesure, elle ne produit pas toujours un biais constant. Les chercheurs ont noté que les différences observées pourraient venir de divers facteurs, y compris les modèles spécifiques utilisés ou les langues impliquées.
Les futures études pourraient se pencher plus sur les subtilités de comment des mots ou phrases spécifiques pourraient mener à des changements de sentiment avec la traduction. Les chercheurs pourraient aussi vouloir explorer l'impact des changements de grammaire ou de vocabulaire dans les traductions pour mieux comprendre la dynamique en jeu.
Conclusion
Globalement, cette étude éclaire la relation complexe entre la traduction automatique et le biais de sentiment. Bien qu'il soit clair que des biais peuvent exister, les résultats indiquent que le processus de traduction lui-même ne mène pas toujours à des changements significatifs dans le sentiment.
En comprenant mieux cette relation, les développeurs et chercheurs peuvent travailler à créer des technologies de traduction plus équitables et précises, ce qui conduira finalement à une meilleure communication entre différentes langues et cultures.
Titre: Measuring Sentiment Bias in Machine Translation
Résumé: Biases induced to text by generative models have become an increasingly large topic in recent years. In this paper we explore how machine translation might introduce a bias in sentiments as classified by sentiment analysis models. For this, we compare three open access machine translation models for five different languages on two parallel corpora to test if the translation process causes a shift in sentiment classes recognized in the texts. Though our statistic test indicate shifts in the label probability distributions, we find none that appears consistent enough to assume a bias induced by the translation process.
Auteurs: Kai Hartung, Aaricia Herygers, Shubham Kurlekar, Khabbab Zakaria, Taylan Volkan, Sören Gröttrup, Munir Georges
Dernière mise à jour: 2023-06-12 00:00:00
Langue: English
Source URL: https://arxiv.org/abs/2306.07152
Source PDF: https://arxiv.org/pdf/2306.07152
Licence: https://creativecommons.org/licenses/by-nc-sa/4.0/
Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.
Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.
Liens de référence
- https://en.wikibooks.org/wiki/Basic_Book_Design/Capitalizing_Words_in_Titles
- https://en.wikibooks.org/wiki/LaTeX/Special_Characters#Escaped_codes
- https://globalvoices.org/
- https://www.springer.com/us/computer-science/lncs/conference-proceedings-guidelines
- https://www.overleaf.com/project/63c940baaa38a92a1d238d3c