Enquête sur les modèles non pertinents dans les classificateurs de traduction neuronale

Des études récentes ont mis en avant un phénomène appelé comportement de "Clever Hans" chez les classificateurs de traduction neuronaux avancés. Ces classificateurs ont souvent l'air de se fier à des motifs trompeurs, surtout l'information sur le sujet, plutôt qu'aux signaux réels destinés aux tâches de traduction. Ça soulève des questions importantes sur l'efficacité d'un classificateur qui pourrait venir de corrélations sans rapport au lieu de signaux pertinents, surtout quand on traite des signaux nuancés dans des situations de données difficiles.

Le Translationese fait référence aux différences notables entre des textes écrits à l'origine et ceux traduits dans la même langue. Plusieurs éléments contribuent au translationese, y compris des influences de la langue d'origine, une adhérence stricte à la langue cible, des simplifications et des différences dans la manière dont les messages sont exprimés. Ces différences peuvent se manifester dans le vocabulaire, la grammaire, le sens et la structure globale du texte. Bien que ces signaux puissent être subtils, des méthodes basées sur des données et l'apprentissage machine peuvent aider à distinguer les matériaux originaux des traduits.

Les premières tentatives de classification du translationese reposaient sur des caractéristiques faites à la main, comme des motifs de mots spécifiques ou des types de phrases. Ces méthodes utilisaient des classificateurs standards comme les arbres de décision ou les machines à vecteurs de support. Cependant, des recherches plus récentes ont utilisé des réseaux neuronaux pour apprendre automatiquement des caractéristiques dans les données, montrant que des systèmes comme BERT peuvent largement surpasser les méthodes traditionnelles.

Une découverte clé est que les classificateurs basés sur BERT exploitent parfois des différences de sujets sans rapport dans les données de traduction. Par exemple, des traductions de l'espagnol vers l'allemand peuvent inclure des références à des lieux espagnols, tandis que les textes allemands originaux parlent de lieux allemands. Dans ce cas, un classificateur peut se fier à ces signaux de localisation non pertinents au lieu de vrais signaux de traduction. Cela crée un risque de comportement de "Clever Hans", où le modèle apprend à classifier en se basant sur des motifs qui ne reflètent pas de véritables caractéristiques linguistiques.

Mesurer combien du succès d'un classificateur vient de motifs non pertinents est essentiel pour gagner confiance dans ses résultats. C'est particulièrement crucial pour le translationese, où les données disponibles peuvent être limitées et les signaux souvent peu marqués. Ce travail examine cette question sous deux angles : un où nous n'avons aucune connaissance préalable des sujets, et un autre où nous avons une idée des influences des sujets.

Dans le premier scénario, nous mesurons comment les sujets non supervisés s'alignent avec les Classifications cibles pour évaluer les informations potentiellement non pertinentes. Dans le second, nous nous concentrons sur les sources identifiées de corrélations non pertinentes et évaluons comment elles influencent la précision de la classification.

L'idée derrière l'étude des corrélations de sujets est de comprendre si les sujets identifiés dans les textes sont clairement liés à leur caractère original ou traduit. Si un sujet peut prédire efficacement la nature du texte, cela indique que le modèle pourrait tirer parti de ce signal non pertinent. En gros, nous voulons savoir si les sujets peuvent induire les classificateurs en erreur en les incitant à faire des prédictions basées sur des motifs superficiels plutôt que sur des caractéristiques linguistiques plus profondes.

Pour analyser les corrélations de sujets, nous appliquons diverses techniques de Modélisation de sujets non supervisées. Ces méthodes organisent le texte en clusters basés sur des thèmes ou sujets, nous permettant de voir comment ils correspondent aux textes originaux ou traduits. Notre but est de déterminer une mesure qui nous dise comment un sujet s'aligne efficacement avec les classifications cibles.

Par exemple, si un sujet contient principalement des textes traduits, nous concluons qu'il s'aligne bien avec la catégorie traduite. À l'inverse, si un sujet contient un mélange égal des deux types, cela montre un manque d'informations décisives. Notre mesure est conçue pour être symétrique, ce qui signifie qu'elle donnera le même résultat peu importe quelle catégorie est étiquetée comme originale ou traduite.

Les découvertes de la modélisation de sujets non supervisée, comme Latent Dirichlet Allocation (LDA), nous aident à comprendre à quel point nos sujets sont alignés avec les deux catégories que nous examinons. Nous pouvons utiliser ces informations pour établir un "plancher de sujet", similaire à un "plancher de bruit" en électronique - en dessous duquel nous ne pouvons pas identifier de signaux clairs de manière fiable. Ce "plancher de sujet" offre une base pour mesurer l'influence que l'information sur le sujet pourrait avoir sur les résultats de classification.

La seconde partie de notre approche s'attaque aux sources connues d'informations sur les sujets non pertinents. Un exemple courant est celui des Entités nommées, comme des lieux ou des personnes qui peuvent induire les classificateurs en erreur. En masquant ces sujets identifiés, nous pouvons voir comment leur suppression affecte la précision de la classification. Cela nous aide à tirer des conclusions sur combien ces signaux extrinsèques pourraient contribuer à la performance d'un classificateur.

L'identification automatique des entités nommées peut introduire du bruit dans les données, mais cela permet l'évolutivité. Une fois que nous détectons ces entités, nous pouvons les masquer et analyser comment leur suppression impacte la performance du classificateur. En comparant les résultats des données masquées et non masquées, nous estimons combien le classificateur dépendait de motifs trompeurs.

Dans nos expériences, nous commençons par utiliser un ensemble de données composé de textes originaux et traduits. Nous appliquons nos mesures aux deux types et évaluons comment les sujets non supervisés prédisent les catégories. Notre objectif est de voir si un score d'alignement élevé indique que les sujets séparent efficacement les traductions des originaux.

D'abord, nous utilisons LDA pour déterminer les distributions de sujets et leur alignement. Ensuite, nous employons un système appelé BERTopic, qui permet une découverte de sujets flexible basée sur le contexte des données. En comparant les résultats des deux, nous pouvons évaluer comment les sujets se comportent sous différents scénarios de modélisation.

À travers notre analyse, nous identifions que certains sujets représentent environ 62% d'alignement avec nos classifications cibles, ce que nous interprétons comme un indicateur suffisamment significatif pour proposer notre "plancher de sujet." Cela signifie que dans les cas où les sujets s'alignent fortement avec la classification, nous devons être prudents à ne pas supposer que le classificateur fait des prédictions précises basées sur de vrais signaux.

Par la suite, nous abordons la question des corrélations trompeuses. Nous savons que certaines entités nommées servent de distractions notables, détournant l'attention des caractéristiques linguistiques authentiques. Des expériences où nous masquons ces entités nommées révèlent une baisse notable de la précision de classification. Cela indique qu'en effet, elles avaient une influence sur le fonctionnement du classificateur.

Quand nous avons masqué les entités nommées, la précision du classificateur a diminué de plusieurs points de pourcentage. Cela correspond à nos attentes que ces sources d'informations extrinsèques ont contribué à l'apparente efficacité de la classification.

De plus, nous réalisons des modifications lexicalisées complètes des données, remplaçant non seulement des entités nommées mais aussi des parties spécifiques du discours. Ce masquage souligne encore plus l'importance de diverses caractéristiques linguistiques et montre combien d'informations le classificateur a pu s'appuyer. Malgré la chute significative de la précision, nous observons toujours que le classificateur peut capter certaines des subtilités du translationese lorsqu'il est dépouillé de signaux trompeurs.

Nos calculs utilisant des gradients intégrés aident à valider ces résultats. En examinant les attributions de tokens, nous observons que sans les distractions des entités nommées, le classificateur se fie davantage à de vraies caractéristiques du translationese : formes verbales, styles et structures syntaxiques. Cela nous donne confiance que nos stratégies de masquage sont efficaces pour rediriger l'attention du classificateur.

Alors que nous nous rapprochons de la conclusion de notre analyse, il devient clair que, bien que les classificateurs basés sur des modèles comme BERT montrent de hautes performances, ils peuvent toujours être la proie de distractions. La relation entre les sujets et les étiquettes de classification est importante à cartographier, et nous voyons la valeur d'avoir à la fois un 'plancher de sujet' pour fixer les attentes et des méthodes pour masquer certaines influences.

En utilisant des mesures de corrélations trompeuses, nous pouvons favoriser une compréhension plus profonde de la manière dont les classificateurs fonctionnent et dans quelles conditions ils peuvent être considérés comme fiables. Cette connaissance contribue à ouvrir la voie à de meilleurs modèles dans les processus de traduction et d'autres tâches de classification, améliorant leur qualité et leur fiabilité.

En résumé, cette recherche souligne l'importance de remettre en question les résultats des classificateurs avancés, surtout dans des tâches nuancées comme la classification du translationese. Les mesures proposées peuvent aider à comprendre combien du succès d'un classificateur provient de signaux réels pertinents par rapport à des corrélations trompeuses qui pourraient mener à des conclusions erronées.

En affinant nos méthodes de classification, nous pouvons travailler vers des systèmes qui reflètent véritablement les caractéristiques linguistiques que nous avons l'intention d'identifier, menant finalement à de meilleures applications dans la traduction et au-delà.