La traduction littéraire est à l’honneur au WMT 2024

Dans le monde de la traduction littéraire, il y a un gros événement appelé le WMT (Workshop on Machine Translation). Cette année, ils reviennent avec un deuxième round d'un défi centré sur la traduction d’œuvres littéraires. Ce défi vise à s'attaquer à des trucs un peu épineux quand il s'agit de traduire des romans et des histoires d'une langue à une autre. Pense à ça comme aux JO littéraires pour les systèmes de traduction automatique !

#De quoi il s'agit ce défi ?

Le but principal de ce défi, c'est de voir à quel point les ordinateurs peuvent traduire des textes littéraires. Cette année, ils se sont concentrés sur trois paires de langues : Chinois vers Anglais, Chinois vers Allemand, et Chinois vers Russe. La première est déjà connue, mais les deux autres sont de nouvelles venues. Donc, comme quand tu ajoutes de nouveaux joueurs à ton jeu préféré, il y a beaucoup d'excitation et d'anticipation sur la performance de chacun.

Pour participer, des équipes d'écoles et d'entreprises ont soumis leurs systèmes pour évaluation. Au total, dix soumissions sont venues de cinq groupes différents. Les organisateurs ne se sont pas juste fiés aux ordinateurs pour juger de la qualité des traductions. Ils ont aussi fait appel à des évaluateurs humains. Après tout, même les machines les plus intelligentes ont parfois besoin d'un petit coup de main humain !

#Le Processus d'évaluation

Évaluer comment ces systèmes de traduction ont fonctionné implique pas mal de maths et beaucoup de lecture. Les évaluations étaient divisées en deux méthodes : automatique et humaine. Les évaluations automatiques sont comme ces petits tableaux de scores que tu vois pendant les événements sportifs – elles donnent un retour rapide basé sur des métriques et des chiffres. Les évaluations humaines, c'est plus comme tes amis qui te donnent leur avis honnête sur ton plat.

Pour les évaluations automatiques, les équipes ont utilisé des systèmes de scoring sophistiqués qui mesurent à quel point les traductions correspondent aux textes originaux. Côté humain, ils regardaient des éléments comme la fluidité et l'exactitude des traductions, ainsi que la manière dont elles capturaient l'essence et le style de l'écriture originale.

#Qu'est-ce que les résultats ont montré ?

Les équipes ont trouvé des trucs cool dans leurs résultats. D'abord, la plupart des systèmes des équipes, après un petit ajustement pour la traduction littéraire, ont fait mieux que les systèmes de base. Ça veut dire que certains des outils courants sur lesquels les gens comptent habituellement ont été laissés de côté face à ces Modèles plus spécialisés.

Étonnamment, les résultats d'un système des juges humains ont différé significativement de ce que les évaluations automatiques montraient. Ça prouve que parfois, les machines et les humains ne voient pas les choses de la même manière. De plus, le meilleur système de la catégorie restreinte était presque aussi bon que l'équipe numéro un dans la catégorie non restreinte, ce qui indique qu'il est possible d'obtenir de bons résultats même avec plus de limitations.

#Les jeux de données utilisés

Pour aider les participants, ils ont fourni un dataset unique appelé le GuoFeng Webnovel Corpus. Ça contient un mélange de romans et de chapitres que les participants utiliseraient pour s'entraîner avant les tests officiels. Le set Chinois-Anglais est assez complet ; il couvre plein de genres pour que les équipes aient suffisamment de matière. Les nouveaux datasets Allemand et Russe, par contre, se sont révélés un peu plus délicats car ils manquaient de la structure de phrase présente dans le set Chinois-Anglais.

Chaque équipe pouvait aussi utiliser des modèles pré-entraînés, qui sont comme des codes de triche dans un jeu vidéo qui te donnent un coup de pouce. Ce sont des modèles déjà entraînés sur diverses données, permettant aux équipes de démarrer leurs systèmes de traduction sans partir de zéro.

#Les modèles à l'œuvre

Les participants avaient accès à toute une gamme de modèles d'apprentissage automatique pour les aider avec leurs traductions. Parmi les populaires, il y avait RoBERTa et mBART, qui existent depuis un moment. Mais cette année, ils ont aussi introduit un nouvel entrant brillant : Chinese-Llama-2. On peut dire que c'est comme ajouter le dernier gadget à ta boîte à outils.

Ces modèles sont essentiels car ils donnent aux équipes une chance de réussir de bons résultats. Ils aident à comprendre le contexte, rendant les traductions plus naturelles et moins comme si un robot les avait écrites. En plus, ça permet aux équipes de peaufiner leurs approches au fur et à mesure.

#Métriques d'évaluation

Pour le scoring, les évaluateurs ont utilisé différentes métriques pour évaluer la performance. Par exemple, ils ont regardé à quel point les phrases traduites correspondaient aux originaux (pense à ça comme un test d'orthographe pour les traductions). Ils ont aussi évalué la qualité générale et la cohérence des documents traduits.

Les scores allaient de 0 à 5, où un 5 indiquait que la traduction était d'excellente qualité tandis qu'un 0 signifiait que la traduction était plus proche d'un désastre. Les évaluateurs étaient comme des juges dans une émission de talents, décidant qui mérite le premier prix et qui doit retourner à la planche à dessin.

#Les concurrents

Différentes équipes ont participé à ce défi, chacune apportant sa touche unique. Une équipe de San Diego a introduit un système qui s'appuyait fortement sur des dictionnaires personnalisés et utilisait divers modèles d'IA comme GPT-4 pour assurer que les traductions de noms et d'idiomes étaient au top. Ils ont pris une approche méthodique pour s'assurer que tout s'imbriquait bien.

Une autre équipe de Huawei s'est concentrée sur l'ajustement de leur modèle Chinese-Llama2. Ils ont mis beaucoup d'efforts à créer un cadre qui maintenait la cohérence tout au long de leurs traductions. Leur approche a mené à des améliorations significatives par rapport aux systèmes de base.

Puis il y avait un groupe de contribution de Macao, qui a utilisé un modèle d'IA populaire pour générer plusieurs traductions et sélectionner la meilleure. Ils nous ont montré le pouvoir de revoir les options avant de se fixer sur le projet final.

#La répartition des résultats

Quand il s'agissait des résultats, les chiffres racontaient une histoire intéressante. Les scores des différents systèmes variaient largement. Le meilleur scoreur dans la traduction Chinois-Anglais a montré des améliorations remarquables et a battu la base standard par une bonne marge.

Mais ce n'était pas qu'une question de chiffres. Les évaluations humaines ont révélé encore plus d'insights. Les systèmes les mieux notés ne se contentaient pas de traduire les mots ; ils capturaient l'esprit des textes originaux, ce qui est tout le but de la traduction littéraire.

#Conclusion

Le défi WMT 2024 a réuni des esprits brillants et des technologies, repoussant les limites de ce que la traduction automatique peut réaliser. Ça a mis en avant le potentiel immense de fusionner la créativité humaine avec les avancées technologiques.

En encourageant les équipes à faire preuve de leurs muscles de traduction, le défi a non seulement aidé à évaluer différentes méthodes mais a aussi suscité un intérêt accru pour améliorer la façon dont les machines comprennent et transmettent les nuances de la littérature.

Donc, que tu penses que les machines finiront par rivaliser avec l'habileté d'un traducteur chevronné ou que tu vois juste ça comme un aperçu fascinant du futur du traitement des langues, une chose est sûre : la traduction littéraire n'est pas une mince affaire, et les efforts pour l'améliorer vont sûrement continuer.

En regardant vers l'avenir, qui sait ce que la prochaine vague de traductions apportera ? Avec des esprits créatifs et des technologies à la pointe, on peut s'attendre à des développements encore plus excitants dans ce domaine. Et qui sait – peut-être qu'un jour, les machines écriront le prochain grand roman !