Améliorer les grands modèles de langage avec le MRPO

Les grands modèles de langage (LLMs) peuvent écrire et comprendre du texte qui ressemble beaucoup à ce qu'un humain pourrait écrire. Mais faire en sorte que ces modèles reflètent vraiment les valeurs et les intentions humaines, c'est pas simple. Une manière courante d'améliorer cette adéquation, c'est de récolter les préférences humaines sur les sorties des modèles et d'affiner les LLMs en se basant sur ce feedback. Ça aide à s'assurer que les mises à jour ne s'éloignent pas trop d'un modèle de référence.

Traditionnellement, des techniques comme l'optimisation par apprentissage par renforcement ont été utilisées pour ça. Mais ces méthodes peuvent être lentes et instables. Une approche plus récente appelée optimisation par préférence directe (DPO) propose une alternative plus stable et plus rapide en utilisant des pertes supervisées claires qui ne nécessitent pas de processus complexes d'apprentissage par renforcement.

Malgré les améliorations que DPO apporte, il a un inconvénient majeur. Il dépend principalement d'un seul modèle de référence. Ça veut dire qu'il manque les forces qui viennent de l'utilisation de plusieurs modèles pré-entraînés ensemble. Pour résoudre ce problème, on propose une méthode appelée optimisation par préférence multi-références (MRPO). Cette méthode utilise plusieurs modèles de référence pour rassembler plus de connaissances et améliorer l'apprentissage des préférences. Nos résultats montrent que les LLMs affinés avec MRPO se débrouillent mieux pour comprendre et générer des sorties préférées, même quand les données sont limitées. De plus, MRPO montre de bons résultats dans diverses tâches de traitement du langage naturel.

#Le défi de l'alignement

Les LLMs comme GPT et d'autres peuvent générer du texte qui semble très similaire à ce qu'un humain pourrait écrire. Mais aligner ces modèles pour qu'ils reflètent vraiment les valeurs et les préférences humaines, c'est compliqué. Le but est de façonner leurs réponses selon un feedback humain soigneusement sélectionné.

Une méthode populaire pour ça, c'est l'apprentissage par renforcement à partir du feedback humain (RLHF). Dans cette approche, des évaluations humaines sont utilisées pour créer un modèle de récompense qui aide à optimiser comment le LLM répond. Le processus implique de maximiser l'alignement du modèle avec ces évaluations tout en minimisant les changements par rapport au modèle de référence initial.

Bien que le RLHF ait montré un certain succès, c'est souvent compliqué et demande beaucoup de ressources. Des avancées récentes, y compris DPO, essayent de simplifier ça. DPO optimise directement le modèle en minimisant les pertes de log-vraisemblance négatives basées sur les préférences. Cependant, comme DPO s'appuie sur un seul modèle de référence, il ne tire pas parti des avantages potentiels de plusieurs modèles.

#La valeur d'utiliser plusieurs références

Utiliser plusieurs modèles de référence peut beaucoup améliorer le processus d'apprentissage. Quand différents modèles évaluent et informent le modèle principal, le résultat peut refléter une plus large gamme de perspectives, rendant les résultats finaux plus fiables. C'est crucial alors que la communauté continue de développer et de sortir divers modèles pré-entraînés construits à partir de jeux de données variés.

Malgré les avantages, les tentatives précédentes n'ont pas efficacement utilisé plusieurs modèles de référence dans le processus d'optimisation. Il y a trois défis majeurs à relever :

1. Complexité des non-linéarités : Créer une solution simple impliquant plusieurs modèles de référence est un vrai casse-tête, car les calculs peuvent devenir complexes et non linéaires.

2. Sorties divergentes : Différents modèles de référence peuvent produire des sorties différentes pour la même entrée, ce qui peut créer de la confusion lors du processus d'apprentissage et mener à un entraînement instable.

3. Détermination des contributions : Déterminer combien chaque modèle de référence contribue pendant l'entraînement est délicat et nécessite souvent beaucoup de réglages.

#Introduction de l'optimisation par préférence multi-références (MRPO)

Pour surmonter les défis décrits ci-dessus, nous proposons MRPO. Cette méthode simplifie le processus d'optimisation en maximisant une borne inférieure qui nous permet de combiner les idées de plusieurs modèles de référence dans un cadre unique.

#Gestion de la non-linéarité

Pour traiter la complexité des calculs, on suggère une borne inférieure de substitution plus simple. Cette borne inférieure nous aide à trouver une solution analytique solide qui utilise plusieurs modèles de référence. La base théorique et les performances de notre solution se révèlent meilleures que de simplement combiner plusieurs pertes DPO.

#Assurer un entraînement stable

Les sorties divergentes de différents modèles de référence peuvent mener à de l’instabilité. Pour régler ce problème, on introduit une technique appelée optimisation de région de confiance tronquée (CTRO). Cette méthode garde les probabilités de sortie du modèle principal étroitement alignées avec celles du modèle de référence sélectionné. En tronquant les log-probabilités, on s'assure que les différences sont minimisées, ce qui aide à stabiliser le processus d'entraînement.

De plus, le taux de tronquage peut changer selon la vraisemblance prédite des données. Si un modèle de référence est très sûr de sa sortie pour une certaine entrée, une plage de tronquage plus petite est utilisée pour s'assurer que le modèle principal apprend de cette sortie de confiance. À l'inverse, si le modèle de référence est moins sûr, une plage de tronquage plus large permet un peu plus d'exploration.

#Pondération dynamique des contributions

Déterminer combien chaque modèle de référence influence pendant l'entraînement est aussi essentiel. On introduit un mécanisme dynamique pour calculer les poids des contributions de chaque modèle selon leurs niveaux de confiance. En observant à quel point un modèle peut distinguer avec assurance entre deux sorties, on peut assigner de manière adaptative les poids appropriés.

#Résultats expérimentaux

On a réalisé de nombreuses évaluations pour tester MRPO contre des méthodes traditionnelles comme DPO et une simple combinaison de pertes DPO.

#Performance avec des données limitées

Dans de nombreuses situations, le feedback humain est rare. On a testé MRPO avec de petits ensembles de données de préférences et on a constaté qu'il surpassait constamment DPO et des combinaisons naïves de plusieurs pertes DPO. L'amélioration était particulièrement visible quand la quantité de données d'entraînement était limitée.

#Performance avec de grands ensembles de données

Pour vérifier si MRPO pouvait gérer des ensembles de données plus grands et plus complexes, on l'a testé avec des ensembles de données réelles comme HelpSteer, Ultrafeedback et Nectar. Dans ces tests, MRPO a encore montré des améliorations significatives par rapport à DPO, prouvant qu'il s'adapte bien avec des ensembles de données plus grands et peut apprendre efficacement à partir de contributions humaines plus complètes.

#Performance sur des tâches générales de compréhension du langage

On a aussi examiné la performance de MRPO sur des benchmarks standards pour la compréhension du langage, comme GSM8K, MMLU et TruthfulQA. Les résultats ont indiqué que MRPO non seulement améliorait les performances de base des modèles, mais obtenait aussi des améliorations notables par rapport à la méthode DPO.

#Distillation de modèles plus forts vers des modèles plus faibles

Un aspect intéressant de MRPO est sa capacité à transférer l'apprentissage de modèles LLM plus forts et plus grands vers des modèles plus petits. Ça pourrait être particulièrement utile dans des situations où des modèles plus petits sont nécessaires pour des appareils mobiles ou d'autres scénarios à faibles ressources. En testant avec TinyLlama et Mistral en tant que modèles de référence, MRPO a montré un léger avantage en performance par rapport à DPO, confirmant son efficacité même avec des modèles plus petits.

#L'importance de l'optimisation de région de confiance tronquée (CTRO)

CTRO joue un rôle significatif pour assurer la précision et la stabilité de MRPO. À travers des expériences, on a confirmé que sans CTRO, l'entraînement pouvait devenir instable, surtout quand on traite des modèles de référence très différents les uns des autres.

#Le besoin de pondération adaptative

Nos tests ont aussi mis en lumière l'importance d'utiliser une approche adaptative pour pondérer les contributions de chaque modèle. Il a été prouvé qu'une approche fixe était moins efficace que d'ajuster dynamiquement les poids selon la performance de chaque modèle.

#Conclusion

Dans ce travail, on a introduit MRPO, une méthode novatrice qui utilise plusieurs modèles de référence pour améliorer l'apprentissage des préférences pour les grands modèles de langage. La base théorique et les résultats pratiques démontrent son efficacité pour améliorer la généralisation à travers divers ensembles de données de préférences.

Bien que MRPO montre un grand potentiel, il y a des limitations dues au nombre de modèles de référence et à leurs tailles. Les recherches futures vont explorer comment MRPO peut être bénéfique avec des modèles plus grands et des ensembles de données plus divers.

#Implications plus larges

On a utilisé des ensembles de données disponibles publiquement pour nos expériences. Notre objectif est de mieux aligner les LLMs avec les valeurs et les préférences humaines. Cependant, on reconnaît que cette approche pourrait être mal utilisée, ce qui est un risque inhérent à tout système qui apprend à partir de données humaines.

En résumé, MRPO représente un pas en avant significatif dans l'effort continu pour améliorer les LLMs, en les alignant plus étroitement avec les besoins et les valeurs des utilisateurs tout en s'assurant qu'ils peuvent efficacement générer des sorties pertinentes et préférées.