Utiliser la traduction automatique pour la classification de textes multilingues

La classification de texte est super importante dans plein de domaines, que ce soit pour trier des e-mails ou analyser des retours clients. Mais créer un modèle de classification de texte demande une tonne de données d'entraînement labellisées. Ça devient encore plus compliqué quand on parle de plusieurs langues, parce qu'il faut des données labellisées pour chaque langue. Heureusement, la technologie de Traduction automatique d'aujourd'hui facilite pas mal le truc pour traduire ces données labellisées entre les langues, ce qui peut aider à entraîner des classificateurs multilingues.

Dans cet article, on va voir comment la traduction automatique peut aider à améliorer un modèle multilingue pour classifier du texte. On va aussi parler d'une nouvelle technique qui aide à réduire les impacts négatifs d'utilisation de données traduites. Les résultats montrent que traduire des données peut vraiment améliorer les performances des classificateurs multilingues.

#Le défi de la classification de texte

La classification de texte consiste à catégoriser du texte en différentes étiquettes. Ce processus peut être simple ou complexe, selon la tâche. Par exemple, un modèle peut avoir besoin de classer des avis clients en catégories positives, négatives ou neutres. Récemment, des modèles avancés, comme les grands modèles de langage génératifs, ont montré des capacités impressionnantes pour réaliser cette tâche avec très peu d'exemples fournis. Cependant, la méthode la plus efficace pour classifier du texte nécessite souvent un modèle spécialement conçu et entraîné sur une grande quantité de données labellisées.

Pour les langues avec beaucoup de ressources, comme l'anglais, il est souvent possible de trouver ou de créer des ensembles de données labellisées sans trop de soucis. Des services comme Amazon Mechanical Turk permettent aux gens d'annoter rapidement des données, même si ça peut coûter cher. En revanche, pour les langues avec moins de ressources, il se peut qu'il n'existe pas déjà d'ensembles de données labellisées, et trouver des bénévoles pour créer ces données peut s'avérer assez difficile.

Comme beaucoup de tâches nécessitent des classificateurs qui fonctionnent dans plusieurs langues, créer ou trouver des données labellisées pour chaque langue peut rapidement devenir écrasant. Heureusement, la traduction automatique a fait des progrès significatifs ces dernières années, offrant des traductions de haute qualité.

#Le rôle de la traduction automatique

Il existe maintenant plusieurs options pour une traduction automatique de qualité, y compris des services API et des modèles open-source. Des services API populaires comme Google Translate fournissent des traductions fiables à bas coût. Fait intéressant, une étude a découvert qu'en traduisant des données avec Google Translate en anglais, puis en utilisant des modèles existants entraînés sur des données anglaises, ils obtenaient en fait de meilleurs résultats que certains modèles entraînés directement dans la langue d'origine.

Les modèles open-source, comme M2M100 ou NLLB200, sont également largement disponibles et peuvent égaler ou dépasser la qualité des services API. Étant donné ces avancées, utiliser la traduction automatique pour convertir un ensemble de données labellisé existant dans une autre langue pourrait très bien fonctionner. Cette méthode présente plusieurs avantages, notamment la possibilité de contourner le besoin de données annotées existantes dans la langue cible et de réduire la quantité de données nécessaires pour les modèles multilingues.

#Explorer l'utilisation des données traduites

Malgré la promesse de la traduction automatique, il est important de se rappeler le principe de "garbage in, garbage out." Même les meilleures traductions peuvent perdre certaines informations, ce qui peut impacter négativement la performance du modèle. Heureusement, le défi d'entraîner des modèles avec des données imparfaites n'est pas unique à la classification de texte. Des recherches dans des domaines comme la légende d'images montrent qu'il est possible d'apprendre aux modèles à bien fonctionner avec des paires de données liées mais imparfaites.

Dans la légende d'images, les modèles génèrent des descriptions textuelles pour des images, apprenant à relier des données sémantiquement similaires provenant de différents types d'informations. C'est similaire à l'entraînement d'un modèle de classification de texte sur des données traduites : l'objectif est d'avoir du texte de différentes langues qui véhiculent le même sens obtenir la même prédiction. Donc, on va explorer si des techniques issues de la légende d'images peuvent améliorer la performance du modèle lorsqu'il est entraîné sur du texte traduit.

#Travaux antérieurs sur la traduction automatique et l'augmentation de données

Ce n'est pas la première fois que des chercheurs s'intéressent à utiliser la traduction automatique pour créer ou améliorer des ensembles de données pour les langues avec moins de ressources. Par exemple, des recherches précédentes ont montré que traduire des données de l'anglais vers le chinois peut améliorer la performance des modèles pour des tâches comme l'analyse de sentiments. D'autres études utilisant des API de traduction automatique ont trouvé que des classificateurs entraînés sur des données traduites pouvaient bien fonctionner, même s'il peut encore y avoir une certaine perte de performance due à des inexactitudes de traduction.

Il est aussi important de noter qu'entraîner un modèle depuis zéro n'est pas la seule approche pour obtenir de bons résultats de classification. De grands modèles de transformateurs multilingues, comme m-BERT et xlm-RoBERTa, peuvent s'adapter d'une langue à une autre. Cependant, le succès de ce processus dépend souvent de la similarité entre les langues concernées. En général, les langues apparentées fonctionnent mieux ensemble que celles qui sont plus distinctes.

Malgré ce travail précédent, personne n'a vraiment examiné comment le fine-tuning de grands modèles de transformateurs multilingues avec des données traduites affecte leur performance par rapport à l'utilisation de transferts directs entre langues. De plus, les études précédentes ont traité les données traduites comme étant les mêmes que les Données originales, non traduites, ce qui peut ne pas être efficace. Cet article vise à combler ces lacunes en investiguant comment les transformateurs multilingues entraînés sur des données traduites se comportent par rapport au transfert interlangue traditionnel.

#Adapter des techniques de légende d'images

Une approche pour améliorer la robustesse des modèles entraînés sur des données traduites est d'utiliser une méthode appelée perte contrastive image-texte (ITC), principalement utilisée dans des modèles multimodaux qui génèrent des descriptions textuelles pour des images. Cette technique aide les modèles à apprendre efficacement à partir de données bruitées en pénalisant les scénarios où des paires d'images et de textes liées ne sont pas suffisamment similaires.

Pour appliquer ça à notre contexte, on va utiliser une version modifiée de la perte ITC, appelée perte contrastive originale-traduite (OTC), pour promouvoir la similarité entre les exemples de texte original et traduit dans nos lots d'entraînement. Comme la perte ITC, la perte OTC vise à pénaliser un modèle pour des embeddings différents qui devraient représenter le même sens, peu importe la langue.

#Expérimenter avec des données multilingues

Pour tester l'efficacité d'utiliser la traduction automatique pour entraîner des classificateurs multilingues, on a conçu une expérience avec un ensemble de données multilingue d'avis de produits Amazon en six langues : anglais, espagnol, français, allemand, chinois et japonais. L'ensemble de données contient plus d'un million d'avis répartis également entre ces langues, assurant un ensemble équilibré pour l'entraînement et l'évaluation.

On a traduit chaque avis de l'ensemble de données d'entraînement dans les cinq autres langues tout en maintenant leurs notes étoilées d'origine. Ce processus a été réalisé en utilisant un seul modèle de traduction multilingue (M2M100) pour garantir une cohérence dans la qualité de la traduction.

Dans nos expériences, on a voulu répondre à deux questions principales : 1) Est-il faisable d'entraîner un modèle multilingue en utilisant des données traduites ? et 2) L'ajout de la perte OTC améliore-t-il la performance par rapport aux modèles entraînés sans elle ?

#Faisabilité de l'entraînement avec des données traduites

Les résultats ont indiqué que les modèles raffinés en utilisant des données traduites se comportaient mieux que ceux entraînés uniquement sur des données originales pour une langue. Même lorsqu'un modèle n'avait jamais vu de données pour une langue particulière, il affichait encore une certaine capacité à classifier correctement, ce qui suggère que des connaissances ont été transférées entre les langues durant l'entraînement. De plus, les modèles ont mieux performé sur les langues qui étaient plus étroitement liées, confirmant que des données de traduction pouvaient renforcer la performance quand elles sont combinées avec des techniques d'entraînement appropriées.

En plus, bien que l'utilisation de données traduites ait conduit à des améliorations de performance (allant de 0,02 à 0,11), ça restait en dessous des modèles entraînés sur des données originales. Cette découverte est conforme aux attentes, car utiliser des données originales donne généralement les meilleurs résultats.

#L'impact de la perte OTC

En examinant l'effet d'inclure la perte OTC dans le processus d'entraînement, les modèles qui ont utilisé cette technique ont montré des améliorations constantes dans toutes les langues, sauf pour le chinois, qui a présenté des résultats mitigés. Cependant, en regardant uniquement les cas où une langue était représentée uniquement par des données traduites, les modèles avec perte OTC ont surpassé ceux sans.

Pour s'assurer que les résultats étaient statistiquement significatifs, un modèle linéaire à effets mixte a été utilisé pour évaluer la performance de chaque modèle à travers différentes langues. Les résultats ont montré que l'inclusion de la perte OTC influençait positivement la performance du modèle, même en tenant compte des caractéristiques linguistiques variées et des variations aléatoires dans la performance du modèle.

#Implications et directions futures

Notre enquête montre que l'utilisation de texte traduit pour affiner des modèles multilingues est une option viable, avec des améliorations de performance notables à la clé. Bien que les modèles entraînés uniquement sur des données traduites aient encore montré une certaine baisse de performance par rapport à ceux utilisant des données originales, les gains sont suffisamment importants pour mériter d'être explorés davantage.

L'application de la perte OTC a fourni un coup de pouce supplémentaire en performance, indiquant que l'adoption de techniques issues de domaines connexes peut aider à améliorer les tâches de classification multilingue. Il est important de reconnaître que l'efficacité de cette approche dépend fortement de la qualité de la traduction automatique utilisée et de l'architecture du classificateur.

Pour l'avenir, il y a plusieurs directions potentielles pour de futures recherches. Un domaine à explorer est d'ajuster le ratio de données originales à données traduites dans le processus d'entraînement, ainsi que d'expérimenter avec différentes langues pour voir comment cela affecte l'entraînement du modèle. De plus, une enquête plus approfondie sur la manière dont la perte OTC impacte spécifiquement des exemples individuels pourrait révéler des pistes pour utiliser des techniques de réduction du bruit plus efficacement.

#Conclusion

En conclusion, la traduction automatique offre une voie prometteuse pour développer des modèles de classification multilingues. La capacité de traduire rapidement des ensembles de données labellisées dans diverses langues peut aider les chercheurs et les organisations à élargir leurs capacités de classification de texte. L'incorporation de la perte OTC renforce encore le potentiel de cette approche, offrant un moyen de combler le fossé entre les modèles entraînés sur des données traduites et ceux entraînés sur des ensembles de données originaux dans les langues cibles. Dans l'ensemble, l'utilisation de données traduites, couplée à des techniques d'entraînement innovantes, représente un domaine fructueux pour la recherche et le développement continus dans le domaine du traitement du langage naturel.