Utiliser des données synthétiques pour la classification de texte

Ces dernières années, utiliser de grands modèles de langage (LLMs) pour créer des données d'entraînement a pris de l'ampleur. Ces modèles peuvent produire un texte réaliste, ce qui peut être utile pour diverses tâches, comme la classification de texte. Cependant, la performance de ces données générées dépend de plusieurs facteurs, comme le choix des prompts, la complexité de la tâche et la qualité générale du texte généré. Cet article se concentre sur l'utilisation de Données synthétiques spécifiquement pour les tâches de classification de texte.

#C'est quoi l'Augmentation de données ?

L'augmentation de données est une méthode qui permet de créer des données d'entraînement supplémentaires sans avoir besoin de collecter plus de données originales. Cette technique est particulièrement utile quand les données disponibles sont limitées. Avec l'essor des LLMs, il est devenu plus facile d'appliquer l'augmentation de données, améliorant ainsi la performance des modèles de langage.

Quand on utilise des LLMs pour générer ou étiqueter des données, ça peut faire gagner du temps et de l'argent par rapport à des données étiquetées manuellement. Bien que les données étiquetées par des humains soient généralement de meilleure qualité, des prompts bien conçus pour les LLMs peuvent générer des données qui performent de manière comparable à celles étiquetées par des humains à un coût et un temps beaucoup plus réduits. Par exemple, étiqueter 3 000 échantillons pour une tâche pourrait coûter entre 221 et 300 USD et prendre environ 1 000 minutes. En comparaison, utiliser un LLM comme GPT-3 ne coûterait que 14,37 USD et prendrait juste 46 minutes.

#Focalisation de la recherche

Cette recherche s'intéresse spécifiquement à la manière dont les LLMs peuvent générer des données synthétiques pour des tâches de classification de texte. On utilise des modèles de compréhension du langage naturel (NLU) entraînés sur ces données synthétiques pour évaluer leur performance. Donc, on analyse l'impact de divers facteurs sur la génération de données et on propose des conseils pour de meilleures pratiques dans la création de données synthétiques.

Quand on parle de génération et d'augmentation de données, on utilise ces termes de manière interchangeable. Les LLMs ont souvent besoin de quelques exemples pour générer de nouvelles données. On se concentre sur les tâches qui ont peu ou pas de données, car nos expériences montrent que plus de données n'aident pas vraiment les tâches déjà riches en données.

#Questions de recherche

De nombreuses études ont proposé des cadres pour améliorer la qualité des données synthétiques. Cependant, peu ont abordé les questions clés liées à l'utilisation des LLMs pour la génération de données. Ces questions sont :

1. Quelle est la meilleure quantité de données à générer ? Produire plus de données synthétiques améliore-t-il la performance ?
2. Fournir quelques exemples au LLM conduit-il à des données de meilleure qualité que de générer des données sans exemples ?
3. La performance d'un LLM sur une tâche spécifique affecte-t-elle la qualité des données synthétiques générées ?
4. Est-il utile de mélanger des données synthétiques avec des données réelles pour l'entraînement ?
5. La variété au sein des données synthétiques est-elle un facteur important pour la performance d'un modèle ?

On a réalisé des expériences sur six tâches courantes de traitement du langage naturel (NLP) en utilisant différentes méthodes de génération de données. C'était difficile de trouver des réponses claires applicables à toutes les tâches à cause de leurs différences. Néanmoins, les résultats de nos expériences offrent des aperçus utiles sur les techniques de génération de données.

#Aperçu de l'augmentation de données

Le but de l'augmentation de données est d'augmenter la diversité des données existantes en exposant les modèles à de nouveaux exemples. Cette méthode a été largement utilisée en vision par ordinateur et en traitement de langage naturel. Les techniques d'augmentation peuvent être divisées en deux catégories : basées sur des règles et basées sur des modèles. Les méthodes basées sur des règles sont souvent appliquées dans des tâches de vision par ordinateur, comme les transformations d'images. D'un autre côté, les techniques basées sur des modèles sont couramment utilisées dans les tâches de NLP, comme la reformulation de phrases ou la traduction de textes.

Avec le développement des LLMs, générer des données augmentées pour le NLP est devenu plus simple. En utilisant un prompt bien structuré, un LLM peut créer de nouveaux exemples de manière ressemblante à l'écriture humaine. Cependant, les données produites par les LLMs peuvent parfois être bruyantes ou différer considérablement des données réelles, rendant difficile pour les modèles d'apprendre efficacement. De nombreux chercheurs ont travaillé sur des stratégies pour améliorer la qualité des données synthétiques provenant des LLMs.

#Méthodes de génération de données

Dans nos expériences, on a testé plusieurs façons de générer des données en utilisant des LLMs :

1. Génération zero-shot : On fournit la description de la tâche dans le prompt et demande au LLM de créer un exemple similaire.
2. Génération one-shot : On fournit la description de la tâche avec un exemple, incitant le LLM à générer un exemple similaire.
3. Génération few-shot : On fournit la description de la tâche et quelques exemples pour que le LLM puisse travailler.

On a aussi testé une méthode appelée génération de sujets zero-shot, où on demande au LLM de produire une liste de sujets liés à la tâche, et ensuite on en sélectionne un pour inciter le LLM à générer un exemple similaire.

Pour évaluer à quel point les données synthétiques générées performent bien, on a entraîné un modèle sur ces données et mesuré son succès sur l'ensemble de validation de la tâche. On a ensuite comparé la performance des modèles entraînés sur des données synthétiques à ceux entraînés sur des données originales. Une meilleure performance indique que les données générées sont de meilleure qualité.

#Résultats clés

#Importance de mélanger des données brutes

Pour évaluer l'efficacité des données synthétiques, on a entraîné des modèles en utilisant uniquement des données synthétiques et des modèles utilisant un mélange de données synthétiques et réelles. On a découvert qu'incorporer même une petite quantité de données réelles améliorait considérablement la performance des modèles entraînés avec des données synthétiques. Cela suggère que même quelques exemples de données réelles peuvent grandement bénéficier à l'entraînement des modèles.

#Effet des biais

Dans notre analyse, on a remarqué que certaines méthodes de promptage entraînaient des questions répétitives ou triviales, ce qui pouvait créer des biais dans l'entraînement du modèle. Par exemple, dans une tâche, la méthode zero-shot produisait des questions avec une occurrence plus élevée de mots-clés spécifiques, ce qui pouvait impliquer la réponse. Après avoir ajusté ces questions pour qu'elles sonnent plus naturelles, on a observé une amélioration de la performance des modèles.

Bien qu'on ait principalement observé ce problème dans une tâche, cela souligne la nécessité de rester vigilant par rapport aux biais dans les données synthétiques et de considérer la reformulation ou la restructuration des questions.

#Relation entre performance des LLM et qualité des données

Il est intéressant de noter que la capacité d'un LLM à générer des exemples de qualité ne correspondait pas toujours à sa performance sur une tâche spécifique. Parfois, le modèle entraîné sur des données synthétiques surpassait le LLM lui-même. Cela indique qu'un LLM pourrait être bon pour générer des exemples avec une étiquette spécifique mais ne pas exceller à résoudre la tâche pour laquelle il génère.

#Avantages des données synthétiques dans des situations à faibles ressources

Nos expériences ont confirmé que les données synthétiques sont particulièrement utiles dans les cas où il y a très peu de données réelles disponibles. Dans des contextes avec seulement 100 points de données brutes, l'ajout de données synthétiques a conduit à des améliorations de performance allant de 3 % à 26 %. Cependant, quand on a augmenté le nombre de points de données brutes, les gains de performance étaient beaucoup plus petits.

#Comparaison des différentes méthodes de promptage

Quand on utilise uniquement des données synthétiques, les méthodes de génération one-shot et de génération de sujets zero-shot ont le mieux performé dans la plupart des tâches. Dans le contexte de données augmentées, les méthodes de génération de sujets zero-shot et few-shot ont montré de solides performances à travers les tâches.

La variété dans les exemples générés bénéficie souvent à l'entraînement des modèles, car le mélange de données synthétiques avec des données réelles peut améliorer la performance du modèle.

#Évaluation de la diversité des données synthétiques

On a examiné à quel point nos données d'entraînement étaient diverses en mesurant la similarité entre les exemples. Étonnamment, pour certaines tâches, moins de similarité a entraîné une meilleure performance, tandis que pour d'autres, la relation était plus faible.

#Conclusion

En résumé, utiliser de grands modèles de langage pour générer des données synthétiques est une méthode prometteuse pour entraîner des modèles de classification. Bien que combiner des données synthétiques avec des données réelles mène généralement à de meilleurs résultats, il est essentiel de gérer les biais et d'assurer la variété dans les données générées. Ces résultats offrent des perspectives pour les chercheurs et les praticiens désireux d'exploiter les avantages des données synthétiques pour leurs tâches de classification.

Des recherches futures pourraient se concentrer sur des techniques de promptage plus avancées, ainsi que sur l'impact de différents réglages de modèle sur la qualité des données générées. Le domaine est complexe, et les résultats peuvent varier considérablement d'une tâche à l'autre, mais il y a un grand potentiel de croissance et d'amélioration dans ce domaine.