Utiliser des LLM pour améliorer les jeux de données de compréhension de lecture

Les grands modèles de langage (LLMs) ont montré de solides capacités dans diverses tâches linguistiques. Un usage intéressant des LLMs est de créer de nouveaux ensembles de données synthétiques pour les tâches de Compréhension de lecture. C'est particulièrement utile quand il n'y a pas assez de données disponibles. Dans cet article, on voit comment des LLMs comme GPT-4 peuvent aider à améliorer les ensembles de données de compréhension de lecture qui ont un nombre limité d'exemples. Ces modèles peuvent simplifier le processus de création d'ensembles de données, qui prend généralement beaucoup de temps et d'efforts.

#L'importance de la compréhension de lecture

La compréhension de lecture est le processus par lequel les systèmes répondent à des questions basées sur un texte donné. Cette capacité est importante dans de nombreux domaines comme la santé, le service client et la compréhension des politiques. Les modèles précédents, en particulier ceux basés sur BERT, ont très bien fonctionné lorsqu'ils étaient entraînés avec de grands ensembles de données. Cependant, leur performance chute quand ils font face à des sujets où il n'y a pas assez de données, comme les sujets émergents comme le COVID-19.

#Le rôle de l'Augmentation de données

L'augmentation de données est une technique utilisée pour améliorer la performance des modèles dans des situations où il n'y a pas assez de données. Dans le contexte des questions-réponses, la plupart des méthodes d'augmentation de données reposent sur la recherche de textes non étiquetés, comme ceux trouvés sur Wikipédia, pour créer de nouveaux paires contexte-question-réponse. Cependant, cette approche fait face à des défis dans des domaines spécialisés où les textes pertinents sont rares. Les LLMs peuvent générer du texte significatif qui imite le style d'écriture humaine. Cette fonctionnalité peut être utilisée pour créer à la fois de nouveaux contextes et les questions et réponses associées.

#Notre approche

On utilise GPT-4 pour améliorer les ensembles de données de compréhension de lecture à faibles ressources. Notre méthode se concentre sur la génération de nouveaux contextes, questions et réponses à ajouter aux ensembles d'entraînement existants. On commence par fournir des exemples des ensembles de données originaux à GPT-4, lui permettant d'apprendre à partir de ces échantillons. Cela aide à produire des données qui reflètent étroitement les matériaux d'origine.

Après avoir généré les données, on applique une technique de filtrage pour sélectionner les exemples de la meilleure qualité. On teste notre méthode sur trois ensembles de données à faibles ressources spécifiques : CovidQA, PolicyQA et TechQA. Les résultats montrent que notre approche améliore les performances sur l'ensemble de données CovidQA de 23 % et sur l'ensemble de données PolicyQA de 5 %.

#Travaux connexes

Les LLMs ont été cruciaux dans la génération d'ensembles de données synthétiques pour différentes tâches linguistiques. Des modèles précédents, y compris GPT-2, ont été utilisés dans diverses applications comme la compréhension des langues, la création de dialogues et le raisonnement. Des modèles récents ont grandement amélioré la qualité des données synthétiques, menant à de meilleures performances dans diverses tâches.

Les travaux passés se concentraient surtout sur la création de questions à partir de passages trouvés en ligne, comme ceux de Wikipédia. On fait partie des premiers à utiliser les LLMs pour créer un contexte complet, des questions et des réponses pour des tâches de compréhension de lecture à faibles ressources.

#Ensembles de données à faibles ressources

Dans notre étude, on utilise trois ensembles de données de compréhension de lecture :

1. CovidQA : Cet ensemble de données comprend 2 019 paires question-réponse sur des sujets liés au COVID-19.
2. PolicyQA : Cet ensemble de données contient 12 102 paires question-réponse liées aux politiques d'immigration et de voyage aux États-Unis.
3. TechQA : Cet ensemble de données se compose de 1 808 exemples axés sur les problèmes de support technique en informatique.

Ces ensembles de données sont bien adaptés à nos expériences car ils représentent différents domaines tout en ayant de petites tailles d'entraînement.

#Méthodologie

On décrit notre méthodologie en utilisant PolicyQA comme exemple. Notre processus de génération de données suit deux étapes principales :

#1. Génération de contexte

Dans cette étape, on donne à GPT-4 un ou deux exemples de contextes de l'ensemble d'entraînement original. Ces exemples aident GPT-4 à comprendre le style et le contenu des données. Après ça, on génère de nouveaux contextes en demandant à GPT-4 d'écrire des paragraphes supplémentaires.

#2. Génération de questions-réponses

Ensuite, on crée des paires questions-réponses synthétiques basées sur les nouveaux contextes. Encore une fois, on fournit un ou deux exemples de l'ensemble de données original pour aider GPT-4 à saisir le format des paires question-réponse. Après cela, on demande à GPT-4 de générer des questions et des réponses qui se rapportent aux contextes synthétiques qu'on a créés.

Ce processus en deux étapes nous permet de générer des ensembles de données qui maintiennent les caractéristiques des données d'origine. On crée différentes quantités de données synthétiques, allant d'une à dix fois la taille des ensembles de données originaux, pour voir comment ça affecte la performance.

#Filtrage en aller-retour

Pour améliorer la qualité des paires questions-réponses générées, on implémente une technique appelée filtrage en aller-retour. Après que GPT-4 ait créé une question et une réponse, on renvoie la question au modèle sans la réponse. Ensuite, on vérifie si la nouvelle réponse correspond à l'originale. Si elles correspondent, on garde la paire ; sinon, on la rejette. Ce filtrage nous aide à ne conserver que les paires les plus fiables.

#Entraînement du modèle

Pour nos expériences, on entraîne un modèle de compréhension de lecture extractif en utilisant le modèle RoBERTA-Base. On suit des pratiques standard pour définir les taux d'apprentissage, les tailles de lot et le nombre d'époques. Pour chaque expérience, on mesure le score F1 et les scores de correspondance exacte.

Comme base pour la génération de questions-réponses, on utilise un modèle basé sur T5 entraîné sur l'ensemble de données SQuAD.

#Résultats expérimentaux

En testant, on a trouvé qu'ajouter des données synthétiques de GPT-4 a amélioré les performances sur l'ensemble de données CovidQA. En partant des exemples d'entraînement originaux, les exemples synthétiques en un seul coup et deux coups ont boosté les performances en termes de correspondance exacte et de scores F1. Les meilleurs résultats sont venus de la génération de données en un seul coup combinée à la méthode de filtrage en aller-retour.

Pour l'ensemble de données PolicyQA, le plus grand de nos ensembles, utiliser des données synthétiques en un seul coup sans filtrage a atteint la meilleure performance. Cette approche a amélioré les scores par rapport à l'utilisation uniquement des exemples originaux. La taille de l'ensemble de données PolicyQA a rendu le filtrage à haute précision moins critique, permettant au modèle de bénéficier de la variété que les données synthétiques offraient.

Sur l'ensemble de données TechQA, le plus petit des trois, les résultats étaient moins clairs. Le modèle de base a bien fonctionné avec juste les exemples originaux, tandis que différentes configurations de données synthétiques n'ont pas montré d'améliorations constantes. La petite taille de l'ensemble de données a probablement entravé une généralisation efficace.

#Conclusion

Nos résultats indiquent que les grands modèles de langage peuvent efficacement générer des données synthétiques pour améliorer les tâches de compréhension de lecture. Dans les domaines de CovidQA et PolicyQA, où il existe des quantités modérées de données d'entraînement, l'augmentation avec des exemples synthétiques a systématiquement conduit à de meilleures performances. Cela souligne le potentiel des LLMs à élargir les ensembles de données tout en minimisant le besoin de travail humain pour l'étiquetage.

Cependant, des défis subsistent, surtout dans des domaines où les données sont extrêmement limitées. Dans de tels cas, les LLMs peuvent avoir du mal à produire des exemples utiles. Il y a un besoin pressant d'améliorations en apprentissage par faible nombre d'exemples, ainsi que des mécanismes pour un meilleur filtrage des données synthétiques pour garantir la qualité et la diversité.

En résumé, bien que les LLMs comme GPT-4 montrent des promesses pour surmonter les limitations de données, les recherches futures doivent se concentrer sur le perfectionnement de ces outils pour les rendre efficaces dans divers scénarios. Le domaine évolue rapidement, et le travail continu déterminera dans quelle mesure les LLMs peuvent soutenir une amélioration des apprentissages dans des tâches linguistiques avec des données limitées.