Optimiseur Filtré par Momentum : Une Nouvelle Approche pour Éviter l'Oubli dans les LLMs

Les modèles de langage de grande taille (LLMs) sont des outils avancés qui ont montré de super capacités pour effectuer diverses tâches, comme comprendre et générer du texte. En général, ces modèles passent par deux étapes principales : d'abord, ils sont pré-entraînés avec une énorme quantité de texte, puis ils sont affinés avec des ensembles de données plus petits et spécifiques pour les rendre meilleurs dans certains jobs.

Cependant, pendant le processus d'affinage, ces modèles peuvent Oublier ce qu'ils ont appris pendant le Pré-entraînement. Ça peut provoquer une baisse de leurs capacités globales. Du coup, régler le problème de l'oubli pendant l'affinage est devenu un sujet d'étude important.

#Le Problème de l'Oubli

Quand les LLMs sont affinés, ils peuvent perdre une partie des connaissances acquises lors du pré-entraînement. Cet oubli est un enjeu crucial, car ça peut affecter la capacité du modèle à bien performer sur diverses tâches. Pour s'attaquer à ce problème, les chercheurs ont développé différentes approches. Les stratégies courantes incluent des méthodes basées sur la répétition, qui utilisent des données de la phase de pré-entraînement pendant l'affinage, et des méthodes basées sur la régularisation, qui ajoutent des restrictions au processus d'entraînement pour aider le modèle à garder ses connaissances précédentes.

Les méthodes basées sur la répétition peuvent être compliquées car beaucoup de LLMs open-source ne partagent pas complètement leurs données de pré-entraînement. Même si les données sont disponibles, les utiliser pendant l'affinage peut être coûteux en ressources de calcul. Les méthodes de régularisation essaient d'empêcher l'oubli en ajoutant des termes supplémentaires à la fonction de perte, ce qui peut parfois mener à une moins bonne performance sur les tâches d'affinage si la fonction de perte originale est trop modifiée.

#Présentation de l'Optimiseur Filtré par Momentum (MoFO)

Pour résoudre le problème de l'oubli, on propose une nouvelle méthode appelée Optimiseur Filtré par Momentum (MoFO). Contrairement à d'autres méthodes, MoFO n'a pas besoin d'accéder aux données de pré-entraînement et ne modifie pas la fonction de perte originale, ce qui peut garder la performance sur les tâches d'affinage intacte.

L'idée principale derrière MoFO est de choisir quels Paramètres du modèle mettre à jour en fonction de leur momentum. À chaque étape de l'affinage, MoFO sélectionne les paramètres avec les valeurs de momentum les plus élevées à mettre à jour. Ça aide à garder les autres paramètres plus proches de ce qu'ils étaient pendant le pré-entraînement, réduisant ainsi le risque d'oubli.

Dans nos expériences, on a montré à travers divers tests que MoFO surpasse les méthodes existantes tant en maintenant les connaissances acquises lors du pré-entraînement qu'en obtenant de bonnes performances sur les tâches d'affinage.

#Comment Fonctionne MoFO

MoFO fonctionne en divisant les paramètres du modèle en différentes parties. Pour chaque partie, seuls les paramètres avec les valeurs de momentum les plus élevées sont sélectionnés pour les mises à jour. En se concentrant sur ces paramètres, MoFO vise à réduire la distance entre l'état actuel du modèle et le modèle pré-entraîné. Ça veut dire que le processus d'affinage peut se dérouler de manière à oublier moins facilement les connaissances antérieures.

Une des raisons pour lesquelles MoFO peut y arriver, c'est qu'il tire parti de la façon dont les paramètres influencent la perte d'affinage. Certaines configurations de paramètres peuvent mener à de meilleures performances, et MoFO essaie de guider le modèle vers ces configurations en sélectionnant soigneusement les paramètres à mettre à jour.

#Résultats Expérimentaux

On a réalisé des expériences approfondies pour comparer MoFO avec d'autres méthodes d'affinage courantes. On a utilisé plusieurs modèles et ensembles de données pour évaluer comment chaque méthode performait en termes d'efficacité d'affinage et de quantité d'oubli.

#Affinage sur des Ensembles de Données Spécifiques

Pour nos expériences, on a utilisé un modèle appelé Pythia-160m. On a affiné ce modèle sur un sous-ensemble d'un grand jeu de données appelé FLAN. On a comparé comment le modèle performait en utilisant MoFO par rapport à des optimisateurs traditionnels comme Adam et Lion. Les résultats ont montré que MoFO obtenait non seulement une performance similaire en termes de perte d'affinage, mais il restait également plus proche de la configuration du modèle pré-entraîné.

#Évaluation de l'Oubli

Pour mieux comprendre comment MoFO prévenait l'oubli, on a aussi évalué la performance du modèle sur des tâches nécessitant un raisonnement de bon sens, comme HellaSwag et ARC-Challenge. Nos résultats ont indiqué que MoFO montrait moins de déclin dans la précision comparé aux modèles affiné avec Adam ou Lion, ce qui signifie une meilleure rétention des connaissances pré-entraînées.

#Importance du Mouvement des Paramètres

Un aspect crucial de MoFO est son attention sur la façon dont les paramètres bougent pendant l'affinage. Il a été observé que si les paramètres du modèle s'éloignent trop des valeurs pré-entraînées, le risque d'oubli augmente. MoFO met à jour stratégiquement un petit ensemble de paramètres, ce qui aide à garder les autres paramètres stables et proches de leurs valeurs originales.

En évitant de grands mouvements dans l'espace des paramètres, MoFO réduit efficacement la quantité d'oubli qui se produit pendant la phase d'affinage. Nos expériences ont montré que les modèles utilisant MoFO avaient moins de variation dans leur performance à travers différentes tâches comparés à ceux utilisant d'autres méthodes d'optimisation.

#Conclusion et Directions Futures

En résumé, l'Optimiseur Filtré par Momentum (MoFO) présente une approche prometteuse pour résoudre le problème de l'oubli dans les modèles de langage de grande taille pendant l'affinage. En se concentrant sur les paramètres avec les plus grandes valeurs de momentum et en évitant des changements à la fonction de perte, MoFO aide à maintenir les connaissances pré-entraînées tout en obtenant de solides performances sur des tâches spécifiques.

Au fur et à mesure que le domaine progresse, il y a des opportunités pour affiner et améliorer encore la méthode MoFO. Les travaux futurs pourraient explorer des stratégies supplémentaires pour améliorer la performance, des applications potentielles dans des contextes multimodaux et des examens plus approfondis des propriétés de convergence. Le développement continu de méthodes comme MoFO pourrait mener à des modèles de langage encore plus robustes et capables dans diverses applications.