WADER : Une nouvelle méthode pour analyser l'intimité dans les tweets

L'Intimité est un truc super important dans les relations humaines, et la langue y joue un rôle clé pour exprimer cette proximité. En analysant comment l'intimité apparaît dans les textes, on peut apprendre sur les normes sociales qui existent dans différents contextes. Cette analyse aide aussi à tester à quel point les modèles informatiques peuvent saisir les interactions sociales. Dans cette étude, on présente une méthode appelée WADER, qui signifie stratégie de faible étiquetage pour l'Augmentation de données dans les tâches de régression de texte. Cette méthode aide à améliorer la quantité de données disponibles pour analyser les textes en s'attaquant à des problèmes comme le déséquilibre des données et la rareté. On applique WADER à différentes langues et on compare ses performances avec celles des modèles linguistiques existants pour voir comment ça fonctionne.

#L'importance de l'intimité dans la langue

L'intimité est reconnue comme un composant central des relations humaines par beaucoup d'experts. Des recherches montrent qu'on peut modéliser l'intimité de manière computationnelle, ce qui en fait un point focal important dans les études linguistiques. Regarder comment l'intimité est transmise à l'écrit offre des insights précieux sur les attentes sociales et peut aider à évaluer à quel point les modèles informatiques comprennent ces concepts. En plus, l'intimité est essentielle pour la croissance personnelle et la santé émotionnelle, et la langue est un outil principal pour l'exprimer.

Quand les gens interagissent, ils utilisent la langue de manière stratégique pour répondre à leurs besoins tout en suivant les normes sociales. La tâche SemEval 2023 Task 9 se concentre sur l'examen de l'intimité à travers plusieurs langues via des Tweets. Les données d'entraînement pour ce projet comprennent des tweets en anglais, espagnol et chinois, tandis que les données de test impliquent aussi l'hindi, l'arabe, le néerlandais et le coréen.

#WADER : une nouvelle approche

WADER introduit une approche nouvelle qui utilise l'augmentation de données pour s'attaquer à deux problèmes principaux : A) une distribution inégale des étiquettes dans les données et B) la création de données pour des langues qui n'ont pas encore été vues. WADER échantillonne des textes qui sont sous-représentés dans la distribution des étiquettes, les traduit, et vérifie la qualité de ces traductions par rapport à un modèle de référence. On teste cette méthode sur des modèles linguistiques avancés comme XLM RoBERTa et XLNET. Nos découvertes suggèrent que WADER offre une solution prometteuse aux problèmes de données dans les tâches de régression de texte.

#Méthodologie

#Techniques d'augmentation de données

Le déséquilibre et la rareté des données sont des défis courants dans les ensembles de données réels. Collecter de grandes quantités de données et obtenir des retours d'experts peut coûter cher. En réponse, la recherche a exploré diverses stratégies pour travailler avec des données limitées. En général, l'augmentation de données se fait de deux manières :

1. Augmentation conditionnelle des données : Cette méthode repose sur l'étiquette cible pour guider la génération de nouvelles données.
2. Augmentation inconditionnelle des données : Celle-ci fonctionne avec les caractéristiques de l'ensemble de données lui-même.

Les techniques courantes d'augmentation des données incluent le changement de mots par des synonymes, des insertions aléatoires, des échanges et des suppressions. Cependant, ces méthodes peuvent mener à des phrases moins cohérentes. La rétro-traduction a gagné en attention car elle peut produire des phrases variées sans perdre en clarté ou en sens. Cette technique consiste à traduire un texte dans une autre langue puis à revenir à la langue originale pour créer un contenu varié.

WADER utilise une supervision faible pendant la phase de test des données, qui fait partie d'une méthode connue sous le nom d'apprentissage semi-supervisé (SSL). Cette approche combine des données étiquetées avec des points de données non étiquetés pour améliorer l'entraînement du modèle.

#Vue d'ensemble de la tâche

La tâche SemEval 2023 Task 9 se concentre sur l'analyse de l'intimité dans les tweets à travers dix langues. Ce projet est organisé par l'Université du Michigan et Snap Inc. L'intimité est une partie cruciale des interactions humaines, et l'explorer dans des données textuelles peut avoir des implications significatives pour la linguistique computationnelle. L'ensemble de données contient des tweets en six langues pour l'entraînement ainsi que d'autres langues pour les tests.

#Description et qualité des données

L'ensemble de données utilisé dans cette tâche s'appelle MINT, ou ensemble de données d'analyse d'intimité Multilingue. Il se compose de 9 491 tweets en langues comme l'anglais, le chinois et l'espagnol. Chaque tweet a été noté sur une échelle de 5 points d'intimité, où 1 signifie « Pas du tout intime » et 5 signifie « Très intime ». La distribution de ces notes est inégale, avec de nombreux tweets tombant dans le bas de l'échelle.

#Mise en œuvre de WADER

WADER réalise l'augmentation des données à travers plusieurs étapes :

1. Échantillonnage basé sur la distribution : WADER identifie les tweets sous-représentés et les échantillonne pour les améliorer.
2. Traduction : Pour les langues non vues, il traduit les tweets sélectionnés dans la langue cible. Pour les langues vues, il traduit les tweets dans toutes les autres langues et revient à l'original.
3. Validation des étiquettes : Un modèle de référence est entraîné pour vérifier la qualité des traductions et détecter d'éventuelles incohérences.
4. Échantillonnage basé sur la différence : Le modèle évalue les traductions en fonction de la différence entre les valeurs prédites et les valeurs attendues. Cela aide à sélectionner des traductions de meilleure qualité pour une analyse plus approfondie.

Enfin, le modèle ajuste les modèles de langue pré-entraînés comme XLM RoBERTa et XLNET pour voir comment ils se débrouillent sur l'ensemble de données augmenté.

#Mise en place expérimentale

On a utilisé les ensembles de données d'entraînement et de test originaux tout en réservant 15 % des données d'entraînement pour la validation. Le cadre WADER s'appuie sur des modèles de langue pré-entraînés disponibles sur des plateformes open-source. On a appliqué des méthodes d'optimisation populaires et défini des paramètres spécifiques, comme la taille des lots et les taux d'apprentissage, pour l'entraînement.

#Résultats et insights

Nos expériences ont révélé plusieurs résultats intéressants. On a remarqué que WADER s'améliorait par rapport aux modèles existants dans la plupart des cas, surtout pour les langues non vues. L'efficacité de la méthode montre à quel point l'augmentation des données est cruciale pour créer des ensembles d'entraînement plus équilibrés et diversifiés.

#Comparaison de performance

En comparant les modèles linguistiques, on a découvert que XLM RoBERTa surclassait généralement XLNET dans la plupart des langues. XLNET ne performait mieux qu'en anglais, tandis qu'il avait du mal avec les langues qui utilisent des scripts non latins. Cela souligne l'importance de l'entraînement multilingue et la nécessité de prendre en compte les caractéristiques de la langue lors du développement de modèles.

#Impact de la qualité de la traduction

La qualité des traductions a joué un rôle crucial dans la performance de WADER. De mauvaises traductions ont conduit à des augmentations de données peu fiables. Les résultats ont montré qu'un vocabulaire spécifique est essentiel pour déterminer le niveau d'intimité, et des substitutions de mots accidentelles lors de la traduction pouvaient affecter les résultats.

#Conclusion et directions futures

En conclusion, WADER offre un nouveau cadre d'augmentation de données pour analyser l'intimité dans les textes qui s'attaque efficacement aux problèmes de déséquilibre et de rareté des données. Les découvertes soulignent l'importance d'utiliser des données diverses et de haute qualité pour entraîner des modèles linguistiques. Cette étude ouvre de nouvelles voies pour des recherches ultérieures en linguistique computationnelle, en se concentrant sur la façon dont la langue affecte les interactions sociales et les relations. Les travaux futurs pourraient explorer d'autres stratégies pour améliorer la qualité des traductions et élargir les capacités des modèles linguistiques dans différents contextes.