Évaluer l'alignement pluraliste dans les modèles de langue

Les modèles de langage (ML) deviennent de plus en plus avancés, mais il y a un besoin croissant qu'ils s'alignent sur une gamme de valeurs des utilisateurs. Malheureusement, beaucoup de méthodes actuelles se concentrent trop sur l'opinion de la majorité, ce qui peut ignorer les vues des groupes minoritaires. Cela peut mener à un manque d'équilibre dans la représentation des différentes perspectives. Pour remédier à ce problème, on vous présente PERSONA, un banc d'essai qui peut évaluer et améliorer l'Alignement pluraliste dans les ML.

Pour créer un ensemble diversifié de profils d'utilisateurs, on a généré 1 586 personas synthétiques basés sur des données du recensement américain, en s'assurant qu'ils avaient différentes caractéristiques démographiques et uniques. Ensuite, on a construit un grand ensemble de données d'évaluation contenant 3 868 prompts et 317 200 paires de retours dérivés de ces personas synthétiques. Ça nous permet d'évaluer à quel point les modèles de langage peuvent jouer divers utilisateurs et de créer un standard de référence, le PERSONA Bench, pour l'alignement pluraliste.

#Le défi de la diversité dans les modèles de langage

L'apprentissage par renforcement à partir de feedback humain (RLHF) a été crucial dans la construction d'assistants ML utiles. Cependant, ces méthodes reflètent souvent les opinions d'un groupe limité de fournisseurs de feedback, ce qui peut mener à des biais dans les ML résultants. Des études ont montré que les modèles largement utilisés ne capturent pas toute la gamme des préférences démographiques, surtout sur des questions importantes comme la politique.

La façon dont les méthodes actuelles sont construites suppose souvent un utilisateur "représentatif", ce qui peut renforcer les opinions de la majorité et marginaliser les minorités. Certaines efforts récents ont visé à créer des algorithmes qui tiennent compte des différentes valeurs des utilisateurs, mais il reste des défis pour atteindre un vrai alignement pluraliste. L'une des questions de base est qu'aucun modèle unique ne peut satisfaire toutes les préférences des groupes en même temps, ce qui a soulevé des questions sur l'efficacité du RLHF.

En plus, les valeurs individuelles des utilisateurs peuvent varier largement, signifiant que l'alignement des modèles aux préférences individuelles pourrait créer une expérience plus personnalisée. Ça a mené à un intérêt accru pour les méthodes d'alignement personnalisé, ainsi que des techniques d'apprentissage actif pour mieux comprendre les préférences des utilisateurs à travers l'interaction.

#Le besoin d'évaluation

Malgré l'importance de ces défis, les méthodes d'évaluation existantes sont limitées. Les recherches précédentes se sont principalement appuyées sur des sondages et des enquêtes, qui consistent souvent en des questions à choix multiples qui ne reflètent pas l'utilisation réelle des ML. En conséquence, prédire les préférences des utilisateurs ne correspond pas toujours à la capacité du modèle à fournir des réponses satisfaisantes.

Un ensemble de données récent, PRISM, a collecté les préférences des utilisateurs sur du contenu généré par des modèles sur divers sujets. Cependant, il collecte toujours des données auprès de répondants humains, ce qui limite l'évolutivité lors de l'évaluation des algorithmes.

En réponse, on propose d'utiliser des personas synthétiques comme solution à ce défi d'évaluation. En modélisant des personas avec des profils d'utilisateurs réalistes, on peut simuler les préférences et les interactions de différents types d'utilisateurs sans dépendre de participants humains.

#Création de personas synthétiques

#Génération de la démographie des personas

Pour créer un ensemble représentatif de personas, on a commencé par échantillonner des données du recensement américain. Cependant, utiliser simplement les données du recensement pose des limites car elles fournissent des informations agrégées mais manquent de caractéristiques individuelles détaillées. À la place, on a utilisé l'échantillon de microdonnées publiques de l'American Community Survey (ACS), qui fournit les résultats d'enquête individuels.

Notre approche impliquait plusieurs étapes :

1. Échantillonnage d'attributs : On a échantillonné un ensemble d'attributs démographiques à partir des fichiers PUMS, en s'assurant qu'ils soient auto-cohérents.
2. Amélioration des profils : On a enrichi chaque profil avec des données psychodémographiques supplémentaires pour créer des personas plus complets.
3. Utilisation de modèles de langage : On a utilisé des modèles de langage pour combler les lacunes restantes dans les profils, en garantissant un contexte plus riche.
4. Résolution des incohérences : On a filtré les personas incohérents en utilisant les résultats des modèles.

Ce processus nous a permis de créer une large représentation démographique qui reflète les défis rencontrés dans l'alignement pluraliste.

#Génération de l'ensemble de données de préférences

Après avoir établi la démographie des personas, on s'est tourné vers la création d'un ensemble de données de préférences varié. Les ensembles de données précédents manquaient d'insights spécifiques aux groupes ou au niveau individuel, rendant difficile l'étude de l'alignement pluraliste efficacement. Pour y remédier, on a utilisé des prompts du dataset PRISM, qui comprenait diverses questions thématiques.

Nos étapes pour générer cet ensemble de données incluaient :

1. Curation des prompts : On a filtré les 8 011 prompts originaux en fonction de leur capacité à susciter des opinions diverses, aboutissant à un ensemble final de 3 868 questions.
2. Collecte de retours : Pour chaque persona, on a généré des réponses en utilisant GPT-4 et créé des paires de feedback pour refléter les préférences.

À travers ce processus, on a construit un ensemble de données de préférences qui permet une compréhension empirique de l'alignement pluraliste et des intérêts des utilisateurs.

#Évaluation et validation humaine

#Analyse "Leave-One-Out"

Pour vérifier quels attributs de persona influencent la prise de décision, on a réalisé une analyse "leave-one-out". On a créé des paires de personas, l'un avec un attribut retiré et l'autre qui le conservait. Des évaluateurs humains ont ensuite évalué les différences sur la base d'un ensemble de questions prédéfinies. Cette analyse a permis d'évaluer l'impact de divers attributs sur le processus décisionnel, révélant quelles caractéristiques étaient les plus significatives.

#Évaluation humaine

Comprendre comment les humains expriment des préférences est aussi essentiel pour évaluer les ML. Dans notre évaluation humaine, on a invité des participants à jouer différents personas. Chaque participant devait répondre à des questions basées sur les attributs du persona assigné.

Cette approche nous a permis d'évaluer à quel point les modèles de langage pouvaient simuler des réponses humaines et des préférences. Notamment, on a trouvé que GPT-4 montrait un haut niveau d'accord avec les annotateurs humains, indiquant sa capacité à représenter fidèlement différents personas.

#Les résultats de l'utilisation de personas synthétiques

#Consensus entre modèles et humains

Notre évaluation a révélé que différents modèles de langage pouvaient émuler des personas divers à des degrés divers. Bien que GPT-4 ait bien performé, d'autres modèles comme Llama-3 70b et Mistral Large ont également montré des résultats prometteurs. Il est important de noter que ces modèles ont montré un niveau raisonnable d'accord dans leurs outputs, indiquant que notre méthode de génération de personas synthétiques est efficace.

#Cohérence inter-modèles

En comparant les outputs de différents modèles, on a trouvé des accords significatifs entre eux, renforçant le potentiel des personas synthétiques en tant que moyen d'évaluer les méthodes d'alignement pluraliste. L'utilisation de ces personas permet aux chercheurs d'évaluer comment les modèles peuvent s'aligner avec différentes perspectives sans impliquer directement des participants humains.

#Établissement d'un benchmark avec PERSONA Bench

Pour faciliter la recherche future, on a établi PERSONA Bench, un benchmark pour l'alignement pluraliste. Ce processus impliquait d'évaluer à quel point divers modèles répondaient aux mêmes prompts tout en faisant correspondre leurs réponses générées aux attributs du persona.

Nos découvertes montrent que les modèles qui ont reçu les informations sur le persona ont mieux performé que ceux qui manquaient de ce contexte, soulignant l'importance de comprendre les origines des utilisateurs dans les interactions personnalisées.

#Limitations et travaux futurs

Bien que notre approche d'utilisation de personas synthétiques soit un pas en avant significatif, plusieurs limitations doivent être reconnues :

1. Concentration démographique : Nos personas sont basés sur des données démographiques américaines, ce qui peut ne pas être représentatif des populations mondiales. Les recherches futures devraient incorporer des personas plus diversifiés et internationaux.
2. Validation des données de feedback : Bien qu'on ait validé nos réponses générées par des juges humains, il reste une certaine incertitude concernant si le feedback reflète vraiment les préférences réelles des utilisateurs.
3. Limitations des modèles : Les modèles de langage utilisés pour créer et évaluer les personas ne sont pas sans biais. Étant donné que ces modèles sont entraînés sur de vastes ensembles de données, leurs outputs peuvent ne pas capturer toutes les nuances.
4. Métriques d'évaluation : Bien qu'on ait utilisé des métriques d'accord inter-annotateurs, celles-ci ne peuvent pas toujours capturer les aspects qualitatifs de l'alignement.
5. Application dans le monde réel : Notre environnement de test synthétique ne couvre pas les complexités des interactions réelles des utilisateurs, nécessitant davantage d'études de terrain.

#Conclusion

La croissance des modèles de langage souligne les défis persistants pour garantir qu'ils s'alignent équitablement et de manière appropriée sur des valeurs utilisateurs diverses. Notre travail avec PERSONA vise à fournir un cadre solide pour développer et tester l'alignement pluraliste dans les modèles de langage grâce à l'utilisation de personas synthétiques.

En créant délibérément une démographie diversifiée et en générant un ensemble de données de préférences complet, on a posé les bases pour des recherches futures sur les modèles de langage personnalisés. Bien que des limitations demeurent, on pense que cette approche ouvre de nouvelles voies pour la recherche sur les méthodes d'alignement, garantissant que les modèles peuvent mieux répondre aux besoins de tous les utilisateurs.

On vise un développement continu pour affiner nos méthodes et relever les divers défis décrits afin d'améliorer l'applicabilité et l'équité des modèles de langage dans des contextes divers.