CRAFT : Une nouvelle approche pour répondre aux questions de manière efficace en ressources

La génération augmentée par récupération (RAG) est une méthode qui aide les grands modèles de langage (LLM) à utiliser des infos externes pour améliorer leurs réponses. Mais faire en sorte que ces systèmes soient performants tout en étant économes en ressources, c'est un vrai défi. Des travaux récents ont montré que le fine-tuning de modèles plus petits peut donner de meilleurs résultats que l'utilisation de modèles beaucoup plus gros comme GPT-3.5. Une approche prometteuse est de combiner le fine-tuning augmentée par récupération (RAFT) avec des méthodes de fine-tuning efficaces en paramètres (PEFT), comme l'adaptation à faible rang (LoRA), que nous explorons dans notre recherche.

Notre nouvelle méthode, appelée CRAFT, fusionne RAFT avec LoRA pour rendre le fine-tuning plus rapide et moins exigeant en stockage et en puissance de traitement. C'est super important pour des domaines où les ressources sont limitées, comme dans le gouvernement, la santé et la finance. Là, les systèmes n'ont pas toujours accès à Internet et utilisent moins de ressources matérielles. L'objectif de CRAFT est de maintenir une bonne performance pour répondre aux questions sans avoir besoin de beaucoup de puissance de calcul.

#Le besoin d'Efficacité des ressources

Dans de nombreux secteurs critiques, comme le gouvernement et la santé, les systèmes peuvent être isolés d'Internet pour des raisons de confidentialité et de sécurité. Ça pose de réels défis pour l'utilisation de modèles d'apprentissage automatique, qui ont souvent besoin d'accès à Internet et de pas mal de puissance de calcul. À cause de ces restrictions, il est crucial de trouver des moyens d'utiliser des modèles de questions-réponses avancés efficacement dans ces environnements.

#Questions-réponses en domaine

Les questions-réponses en domaine sont utiles pour obtenir des infos pertinentes à partir de jeux de données spécifiques. Cependant, les modèles chargés de ces tâches nécessitent souvent beaucoup de ressources computaionnelles pour l'entraînement et pour répondre aux questions. Ils doivent aussi souvent compter sur un accès externe au modèle, ce qui n'est pas toujours possible dans des environnements limités en ressources.

La combinaison de RAFT et LoRA aide à gérer ces problèmes. RAFT offre un moyen de rendre les modèles de langage plus efficaces pour répondre aux questions en tirant du contenu pertinent de données externes. C'est crucial, surtout dans des environnements où de grands modèles pourraient mal fonctionner à cause de la capacité limitée et d'autres contraintes.

LoRA fonctionne en ajoutant de petits composants entraînables à un modèle sans changer le modèle plus grand lui-même. Cette méthode nécessite moins de ressources tout en restant performante, ce qui la rend idéale pour des environnements avec des limites strictes en matière de matériel et de connectivité Internet.

#Choisir la bonne taille de modèle

On se concentre sur l'utilisation de modèles d'environ 7 à 8 milliards de paramètres, comme Llama3 et Llama3.1. Cette taille trouve un équilibre entre la puissance nécessaire pour des tâches complexes et une gestion raisonnable des besoins en ressources. Les modèles plus gros, comme GPT-4, offrent de meilleures performances mais exigent trop de puissance de calcul, ce qui peut poser problème dans des situations où les ressources sont limitées. À l'inverse, les modèles plus petits manquent souvent de la capacité nécessaire pour gérer efficacement des tâches de questions-réponses plus complexes.

#Objectifs de recherche

Cette étude vise à atteindre plusieurs objectifs, y compris réduire le temps et les ressources nécessaires pour l'entraînement, accélérer le processus de génération de réponses, permettre un échange facile de composants, et maintenir ou améliorer la performance globale. En fusionnant les techniques RAFT et LoRA, on espère créer un système qui répond aux besoins d'environnements avec des ressources limitées sans sacrifier la qualité.

#Comment on mesure le succès

Pour évaluer notre approche, on considère à la fois la performance des modèles dans les réponses aux questions et leur efficacité en termes de ressources. Ce double focus va nous aider à évaluer à la fois l'efficacité et la fiabilité des modèles que nous développons.

#Travaux connexes dans le domaine

RAG améliore les LLM en récupérant des morceaux pertinents de bases de données, ce qui les rend moins susceptibles de générer des réponses incorrectes. Cependant, des défis persistent, notamment dans les domaines spécialisés où les modèles peuvent peiner à répondre à des questions en dehors du cadre de leurs données d'entraînement. RAG a besoin d'un module de récupération solide pour s'assurer que les infos pertinentes peuvent être tirées correctement.

Le fine-tuning aide à améliorer les performances de RAG en ajustant les LLM pour mieux traiter des jeux de données spécifiques. Différentes stratégies ont été étudiées, mais RAFT a montré sa promesse en créant des données d'entraînement à partir du domaine spécifique et en les utilisant pour fine-tuner les modèles efficacement. Le processus consiste à diviser un gros jeu de données en morceaux plus petits pour les examiner et générer des questions qui peuvent être répondues avec ces morceaux.

Les méthodes PEFT adaptent des modèles pré-entraînés à des domaines spécifiques avec beaucoup moins de paramètres, les rendant plus légers et plus faciles à manipuler. LoRA est une stratégie PEFT réussie qui introduit des paramètres entraînables plus petits tout en gardant le gros du modèle inchangé. Cela aide à réduire la charge globale et à maintenir les performances au même niveau que les méthodes de fine-tuning traditionnelles.

#Notre méthode : CRAFT

On utilise l'approche RAFT pour créer des données d'entraînement mais on remplace le modèle plus grand par le modèle plus petit Llama3-70B-instruct pour générer des questions et des réponses. Cet échange rend le processus plus gérable puisque le modèle plus grand est utilisé seulement pour la génération de données. L'entraînement consiste à disposer des documents avec des questions et des réponses formatées pour optimiser l'apprentissage.

En utilisant LoRA, on fine-tune les composants plus petits et on trouve les meilleurs réglages pour obtenir de bons résultats. C'est surtout important vu que notre travail se concentre sur des modèles dans la fourchette de 7-8 milliards de paramètres, qui sont pratiques pour des environnements qui ne peuvent pas facilement accéder à des modèles plus grands.

#Configuration expérimentale

Pour nos expériences, on utilise plusieurs jeux de données, y compris HotPotQA, NarrativeQA, NewsQA, PubMedQA et WebGLM-QA. Chacun de ces jeux de données présente des défis uniques qui aident à évaluer l’efficacité du modèle CRAFT. Les données de ces sources sont segmentées en morceaux gérables qui peuvent être traités efficacement. On sélectionne des échantillons pour s'assurer que nos expériences restent dans les limites des environnements limités en ressources sans compromettre les performances.

#Comparaison avec des références

On compare CRAFT avec un setup idéal de modèle RAG et un plus réaliste, où des erreurs de récupération peuvent se produire. Les résultats montrent que CRAFT est meilleur pour extraire des infos des documents que le modèle généraliste avec RAG. Les scores des différentes évaluations indiquent que CRAFT surpasse constamment les références sur plusieurs jeux de données.

#QA à un seul saut vs. multi-saut

CRAFT montre un avantage plus marqué dans les situations multi-saut, où il faut raisonner sur plusieurs morceaux d'informations, par rapport aux situations à un seul saut, qui demandent moins de réflexion complexe. Les bénéfices dans des scénarios multi-saut sont beaucoup plus prononcés, avec des gains importants par rapport aux modèles de référence, soulignant la force de CRAFT dans des tâches de question-réponse plus exigeantes.

#Efficacité des ressources

Notre analyse démontre comment CRAFT utilise les ressources plus efficacement que les méthodes traditionnelles. La combinaison de RAFT et LoRA réduit considérablement le nombre de paramètres entraînables, menant à une meilleure utilisation de la mémoire et des vitesses d'entraînement plus rapides. Cette amélioration est cruciale pour des environnements où les ressources technologiques sont limitées.

#Conclusions et futures directions

L’introduction de CRAFT illustre une méthode qui combine RAFT et LoRA pour adapter de grands modèles à des environnements où les ressources sont serrées tout en délivrant des résultats de qualité dans des tâches de Q&R basées sur des connaissances. Bien que des modèles plus grands soient toujours nécessaires pour générer certains types de contenu, l'utilisation de versions quantifiées pourrait également réduire les besoins en mémoire.

Les recherches futures pourraient explorer des façons de développer des ensembles de modèles plus petits qui pourraient fonctionner efficacement sans dépendre de gros modèles. Il y a aussi un potentiel pour réduire encore l'utilisation de la mémoire en recherchant de nouvelles techniques et en intégrant des méthodes de quantification. Ce travail ouvre la voie à une plus grande efficacité dans les applications d'apprentissage automatique, surtout dans des secteurs où les ressources sont contraintes.