Présentation de ReFeed : Améliorer les modèles de langue avec des retours automatiques

Les grands modèles de langage (LLMs) ont fait des progrès énormes dans diverses tâches liées à la langue. Mais, ils galèrent encore un peu à générer des infos précises, ce qui mène souvent à des résultats erronés ou trompeurs. Ça réduit leur utilité dans la vraie vie. Une manière d’améliorer ces modèles, c’est d’utiliser le retour humain, qui a prouvé son efficacité pour augmenter la précision et la qualité du contenu généré. Mais obtenir ce retour humain peut être long et coûteux. En plus, on ne peut pas l’utiliser quand le modèle génère des réponses, ce qui limite son côté pratique dans des applis dynamiques.

Cet article présente un nouveau système appelé ReFeed, conçu pour améliorer les LLMs en récupérant automatiquement des infos pour donner du feedback sans nécessiter d’ajustements coûteux des modèles. Le processus ReFeed commence par générer des réponses initiales, puis utilise un modèle de récupération pour trouver des infos pertinentes dans de grandes collections de documents. Ces infos récupérées servent ensuite à peaufiner les réponses initiales, rendant le tout plus efficace et moins cher.

Des expériences sur différents Ensembles de tests montrent que ReFeed peut améliorer les performances de façon significative, avec des améliorations de plus de 6 % dans certains cas comparé aux modèles qui n’utilisent pas de feedback de récupération.

#Le défi des grands modèles de langage

Les grands modèles de langage ont montré d'excellentes performances dans diverses tâches impliquant la langue. Ils peuvent apprendre du contexte qui leur est présenté, ce qui signifie qu'ils n'ont pas besoin d'une formation spécifique pour chaque tâche. Ces modèles sont généralement entraînés sur d'énormes quantités de données, leur permettant de stocker beaucoup d'infos sur le monde ou des domaines spécifiques.

Bien que ces modèles aient connu du succès, ils rencontrent aussi des défis. Un gros problème, c'est leur tendance à créer du contenu qui n'est pas basé sur des faits réels. Ça peut mener à des résultats peu fiables et réduire leur capacité à fournir des infos précises. Une autre limite, c'est que les infos qu'un modèle possède peuvent être incomplètes ou dépassées, souvent à cause de la qualité des données utilisées pendant leur entraînement.

En plus, les LLMs ne peuvent pas garder toutes les infos qu'ils rencontrent, surtout quand il s'agit de sujets moins courants ou de connaissances qui nécessitent une compréhension plus profonde. Ils doivent se concentrer sur des infos souvent rencontrées, ce qui peut poser problème quand ils font face à des questions sur des sujets moins communs.

Les méthodes existantes pour améliorer la précision des modèles de langue impliquent généralement de modifier la sortie en fonction de l'apport humain, suivie d'ajustements du modèle basés sur l'apprentissage par renforcement. Bien que ça puisse simuler un processus d'apprentissage similaire à celui d'un humain, modifier de grands modèles peut être coûteux et long. De plus, les modèles ajustés ne peuvent pas recevoir de feedback en temps réel durant la génération de réponses, limitant leur capacité à corriger des erreurs immédiatement.

Cet article présente une méthode pour un feedback automatique qui ne nécessite pas d'ajustements importants des modèles. Il explore deux questions principales : Peut-on utiliser une approche de récupération pour donner du feedback sur chaque réponse générée sans avoir besoin d'apport humain ? Ce feedback peut-il être intégré pour améliorer les réponses sans modifications coûteuses des modèles de langue ? Le système proposé, ReFeed, est une solution conçue pour améliorer les performances des modèles de langue grâce à un feedback automatique provenant de systèmes de récupération.

#Comment ReFeed fonctionne

ReFeed commence par inciter un LLM à générer une réponse à une question donnée. Ensuite, le système récupère des documents de vastes collections, comme Wikipedia. Après ça, le processus peaufine la réponse originale en intégrant les infos trouvées dans les documents récupérés.

Ce nouveau processus est différent des méthodes traditionnelles car il cible le feedback spécifiquement pour les réponses individuelles générées par le modèle. Le système ReFeed fonctionne en trois étapes principales :

1. Générer une réponse initiale : Le LLM produit d’abord une réponse basée sur la question d’entrée. Différentes méthodes peuvent être utilisées pour cette étape, comme des techniques de décodage simples. L’objectif ici est de poser les bases pour les prochaines étapes.

2. Récupérer des documents de soutien : Un modèle de récupération, comme BM25, est ensuite utilisé pour trouver des documents pertinents dans une collection comme Wikipedia. Dans les expériences, récupérer un nombre fixe de documents trouve le bon équilibre entre efficacité et collecte d’infos suffisantes.

3. Peaufiner la réponse précédente : La dernière étape consiste à utiliser les documents récupérés pour peaufiner la réponse initiale. Le modèle passe en revue les nouvelles infos et ajuste sa réponse, améliorant ainsi sa précision.

Grâce à ce processus en trois étapes, ReFeed relie efficacement la réponse originale à une mine de connaissances externes, menant à de meilleurs résultats.

#Améliorer ReFeed avec de nouvelles fonctionnalités

Pour rendre le système ReFeed encore plus efficace, deux nouvelles parties ont été ajoutées au cadre :

#Génération de réponses diverses

Au lieu de générer juste une réponse attendue, ReFeed peut créer plusieurs réponses possibles. Ça permet au modèle de recueillir des feedbacks plus variés des documents récupérés, menant à une réponse finale plus précise et fiable. À cette étape, la question initiale est alimentée plusieurs fois dans le modèle, générant une gamme de réponses différentes qui peuvent chacune déclencher différents ensembles de documents pertinents.

En augmentant la variété des réponses générées, le système peut récupérer une plus large gamme d'infos pertinentes. Cette plus grande diversité peut finalement mener à une sortie finale plus affinée.

#Ensemble de réponses initiales et post-feedback

Parfois, les documents récupérés peuvent fournir des infos trompeuses qui transforment une réponse correcte en une réponse incorrecte. Pour y faire face, ReFeed utilise une méthode d'ensemble qui examine à la fois les réponses originales et les réponses ajustées issues du feedback de récupération pour déterminer la meilleure réponse finale.

Dans ce processus, le modèle évalue la qualité des réponses initiales et révisées. En comparant leurs probabilités, le système peut décider quelle réponse est plus fiable. Cette méthode s’assure que la réponse finale est aussi précise que possible, tirant parti à la fois de la génération originale et des insights des documents récupérés.

#Résultats des expériences

Pour tester l’efficacité de ReFeed, une série d’expériences a été menée sur différentes tâches linguistiques, y compris des questions à une seule étape et à plusieurs étapes, ainsi que des systèmes de dialogue. Dans les tâches de questions à une seule étape, des métriques comme le match exact et les scores F1 ont été utilisés pour mesurer les performances.

Dans les tâches à une seule étape, les résultats ont montré que ReFeed pouvait largement dépasser les modèles de référence qui n'utilisaient pas de feedback de récupération, dépassant les performances de plusieurs points sur des métriques clés. Des améliorations similaires ont été observées dans les questions à plusieurs étapes et les tâches de dialogue.

Dans des situations de few-shot, où le modèle est entraîné sur un nombre limité d'exemples, ReFeed a continué à montrer de meilleures performances par rapport aux modèles traditionnels. Cela démontre sa flexibilité et sa capacité à s'adapter à différentes situations.

#Apprendre des erreurs : études de cas

Pour illustrer l'impact du feedback de récupération, divers cas ont été examinés. Dans deux exemples, le modèle a pu peaufiner ses réponses en utilisant des infos des documents récupérés pour produire des réponses correctes. Cependant, dans un autre cas, le modèle a été induit en erreur par les documents, menant à une réponse incorrecte.

Dans un exemple, le modèle a généré une réponse inexacte concernant la date de sortie d'un film. Le document récupéré a corrigé cette info, permettant au modèle d'arriver à la bonne date de sortie. Dans un autre cas, le modèle a initialement produit le mauvais nom pour un musicien. Après avoir récupéré le document correct, il a pu ajuster sa réponse avec précision. Cependant, dans un troisième exemple, le modèle a récupéré un document non pertinent qui l'a induit en erreur en fournissant une mauvaise réponse.

Ces études de cas soulignent l'importance du feedback de récupération dans la capacité du modèle à améliorer ses réponses tout en montrant aussi les risques potentiels de désinformation provenant des sources récupérées.

#Conclusion

Cet article présente ReFeed, un nouveau pipeline conçu pour améliorer les performances des grands modèles de langage sans avoir besoin d'ajustements majeurs. En utilisant le feedback de récupération automatique, ReFeed répond aux défis des tâches nécessitant beaucoup de connaissances, menant à des solutions pratiques et efficaces pour améliorer les performances des modèles.

L’intégration de la génération de réponses diverses et d’une approche d’ensemble renforce encore l’efficacité de ReFeed, permettant d’obtenir des résultats plus précis et fiables. De nombreuses expériences sur divers benchmarks valident l’efficacité de ReFeed, montrant sa capacité à atteindre des performances de pointe dans une variété de contextes.

En continuant de peaufiner et d’optimiser le pipeline ReFeed, son potentiel d’application à travers diverses tâches linguistiques devient encore plus prometteur, ouvrant la voie à des avancées en traitement du langage naturel qui peuvent être appliquées dans des scénarios réels.