Évaluation des ensembles de préférences pour les modèles de récompense

Aligner les modèles de langage avec les préférences humaines nécessite de collecter des données qui reflètent ces préférences. Dans un monde idéal, les ressources seraient utilisées de manière réfléchie pour rassembler et créer des données de préférence spécifiques pour chaque application. Cependant, dans la réalité, seulement quelques ensembles de données disponibles publiquement sont couramment utilisés pour entraîner des modèles de récompense basés sur le feedback humain. Bien que de nouveaux ensembles de données soient introduits, il n'y a pas eu de manière systématique de mesurer et de comparer ces ensembles jusqu'à présent. Cet article examine les ensembles de données de préférence sous trois angles importants : la taille, le bruit dans l'étiquetage et la richesse de l'information. Il propose des moyens simples d'évaluer ces ensembles de données.

#L'importance des ensembles de données de préférence

Les modèles de récompense sont essentiels pour entraîner des modèles de langage basés sur le feedback humain. Ces modèles sont généralement construits à l'aide d'ensembles de données comprenant des paires de préférences. Chaque ensemble de données contient des cas avec un prompt, deux réponses et une note indiquant quelle réponse est préférée. Les caractéristiques de ces ensembles de données peuvent varier énormément. Par exemple, ils diffèrent dans les domaines (comme la programmation, la discussion ou la réponse aux questions), la manière dont les données sont générées (par des machines ou des humains) et même la façon dont les données sont collectées (via des annotations directes ou des générateurs de prompts). Les tailles de ces ensembles de données peuvent aussi varier de quelques milliers à plusieurs centaines de milliers d'exemples.

Dans un scénario parfait, un ensemble de données personnalisé pour chaque tâche spécifique serait développé et étiqueté par plusieurs annotateurs. Des rapports précédents ont souligné l'importance de données de préférence de haute qualité mais n'ont pas fourni beaucoup de détails sur les ensembles de données eux-mêmes. On dit souvent que des ensembles de données mieux organisés donnent de meilleurs résultats, mais il y a eu peu d'études rigoureuses pour valider cela. Actuellement, on ne comprend pas bien pourquoi un ensemble de données peut surpasser un autre ou ce que signifie réellement "meilleur" dans ce contexte.

#Mesurer les propriétés des ensembles de données de préférence

Cet article explore comment mesurer les propriétés des ensembles de données de préférence pour faciliter un meilleur entraînement des modèles de récompense. Les mesures efficaces devraient être résistantes, non dépendantes du choix des modèles de base, et applicables à tout ensemble de données incluant des préférences par paires. Trois approches principales pour comparer les ensembles de données de préférence sont proposées : la taille de l'échantillon efficace, la résilience au bruit d'étiquetage, et le contenu informationnel.

L'objectif est d'évaluer à la fois la performance dans la tâche désignée et la capacité à bien performer sur différentes tâches. Les résultats sont soutenus par des expériences qui examinent différentes tailles de modèles, montrant comment ces mesures sont liées à l'efficacité des modèles de récompense qui en résultent.

#Travaux connexes : Comprendre la qualité des ensembles de données

Des méthodes centrées sur les données ont été développées pour expliquer la relation entre la taille du modèle, les données et la puissance de calcul dans l'entraînement des modèles de langage. Les modèles de langage plus grands performent souvent mieux avec plus de données, mais ce principe ne se traduit pas nécessairement pour les ensembles de données de préférence. Différentes stratégies ont émergé pour améliorer la qualité et la composition des données, offrant des alternatives à l'utilisation de toutes les données disponibles sans considération.

Dans le contexte des ensembles de données de préférence, des études préliminaires ont abouti à des ensembles de données contenant des dizaines de milliers d'exemples. Par exemple, certaines tâches de résumé ont utilisé jusqu'à 64 000 paires basées sur des prompts en ligne. À mesure que les ensembles de données grandissent, les procédures de collecte peuvent varier considérablement ; certains ensembles impliquent des humains classant des réponses générées par machine, tandis que d'autres recueillent des avis sur des réponses générées par des humains. Les nouveaux ensembles de données, principalement générés par des machines, offrent des échantillons plus grands mais peuvent manquer de la minutie d'organisation des petits ensembles de données.

#Évaluer la taille de l'ensemble de données

La première zone d'examen est de savoir comment la taille d'un ensemble de données influence la performance des modèles de récompense. Contrairement aux lois d'échelle établies pour les modèles de pré-entraînement, il n'existe pas de directive claire sur la taille optimale qu'un ensemble de données de préférence devrait avoir pour entraîner efficacement un Modèle de Récompense. Certaines études suggèrent que doubler la taille d'un ensemble de données conduit à de légères améliorations de précision, tandis que d'autres affirment qu'un peu plus de quelques millions d'exemples peuvent continuer à améliorer la performance.

Dans cet article, l'impact de l'augmentation de la taille de l'ensemble de données est analysé sur quatre ensembles de données, qui varient de 30 000 à 200 000 exemples. Il semble que les modèles plus grands bénéficient moins du doublement de la taille de l'ensemble de données, tandis qu'un ensemble (SafeRLHF) montre des avantages significatifs à partir d'augmentations de taille par rapport à d'autres.

De plus, lors de l'évaluation de la façon dont des ensembles de données plus grands affectent les performances dans des tâches générales en dehors de la distribution d'entraînement, les résultats indiquent que la taille ne corrèle pas toujours avec l'amélioration. Dans certains cas, le contenu de l'ensemble de données peut jouer un rôle plus important que la taille brute, suggérant que des ensembles de données plus petits mais très pertinents pourraient donner de meilleurs résultats.

#Examiner la résilience au bruit d'étiquetage

Le deuxième aspect abordé est la robustesse des modèles de récompense face aux erreurs d'étiquetage. Des études ont rapporté des niveaux d'accord variés parmi les annotateurs humains lors de l'examen des préférences. Idéalement, les désaccords parmi les annotateurs pourraient indiquer des données de faible qualité, mais comprendre combien de bruit existe dans les ensembles de données de préférence reste crucial.

Dans la classification d'images, il a été démontré que les modèles peuvent résister à un certain bruit d'étiquetage. Pour les préférences, le bruit peut être analysé en retournant les étiquettes de réponses sélectionnées. La recherche indique que la performance des modèles de récompense reste stable même avec un taux d'erreur de 30 à 40 % dans l'étiquetage des ensembles de données examinés.

#Comprendre le bruit et la confiance du modèle

L'introduction de bruit d'étiquetage soulève des questions sur la façon dont cela affecte la certitude des prédictions des modèles de récompense. L'analyse des prédictions du modèle en fonction des niveaux de bruit révèle qu'à mesure que le bruit d'étiquetage augmente, la confiance du modèle dans ses prédictions devient moins prévisible.

Pour mesurer avec précision la calibration des prédictions du modèle, il est important d'évaluer à quel point le modèle est susceptible de préférer une réponse plutôt qu'une autre. Les résultats suggèrent qu'avec un bruit accru, les probabilités de prédiction convergent autour d'une estimation neutre plutôt que de favoriser systématiquement une réponse.

#Le rôle du contenu informationnel dans l'apprentissage

Le troisième domaine d'attention est la nécessité de réponses à contraste élevé au sein des ensembles de données pour un apprentissage efficace des modèles de récompense. Il y a une différence marquée dans la manière dont les réponses sont générées : certains ensembles de données utilisent des sorties de modèles de langage, tandis que d'autres utilisent des réponses générées par des humains. Les résultats indiquent que lorsque les réponses sont très similaires, la performance globale peut être plus faible.

Pour évaluer la valeur informationnelle des ensembles de données de préférence, la similarité cosinus entre les paires de réponses est mesurée. Un seuil pour une haute information est établi, conduisant à des comparaisons d'ensembles de données basées sur leur niveau d'engagement et les différences de réponse. L'impact varie en fonction de la taille du modèle, les plus petits modèles bénéficiant davantage d'un entraînement avec des exemples à contraste élevé.

#Conclusion : Points clés à retenir

Cette enquête met en évidence trois aspects significatifs des ensembles de données de préférence qui influencent l'entraînement des modèles de récompense. Premièrement, des ensembles de données de préférence plus grands ne mènent pas automatiquement à de meilleurs résultats par rapport à des ensembles plus petits et plus pertinents. Deuxièmement, les ensembles de données examinés montrent une résilience au bruit, suggérant que des ensembles de données moins idéaux peuvent néanmoins être utiles. Enfin, la valeur trouvée dans les ensembles de données peut différer en fonction de la variété ou de la similitude des paires de réponses.

Les futurs efforts pour créer de nouveaux ensembles de données de préférence devraient se concentrer sur la façon dont la taille, le bruit et le contenu informationnel impactent la performance. Une compréhension plus approfondie de ces facteurs aidera à affiner l'alignement des modèles de langage avec les préférences humaines et à améliorer l'ensemble du processus d'entraînement.