Promouvoir la pluralité dans les conversations AI
Un nouveau système encourage les perspectives diverses dans les discussions sur l'intelligence artificielle.
Joshua Ashkinaze, Emily Fry, Narendra Edara, Eric Gilbert, Ceren Budak
― 5 min lire
Table des matières
Des préoccupations ont émergé sur le fait que les modèles linguistiques pourraient promouvoir certaines idées. Au lieu de chercher une perspective neutre, et si on utilisait des points de vue divers ? Ce document introduit Plurals, un système et une bibliothèque Python conçus pour la Délibération AI pluraliste. Plurals se compose d'Agents (modèles linguistiques avec des Personas optionnels) qui délibèrent au sein de Structures personnalisables, supervisées par des Modérateurs. Le système crée des ensembles sociaux simulés et se connecte à des ensembles de données gouvernementales pour former des personas représentatifs au niveau national. Il utilise des modèles de délibération inspirés de la théorie démocratique et permet aux utilisateurs de personnaliser comment l'information est partagée et comment la délibération se déroule. Six études de cas montrent l'adhésion du système aux modèles théoriques et son succès dans des applications pratiques.
Vue d'ensemble du système
Plurals permet aux utilisateurs de créer des ensembles sociaux simulés en utilisant des Agents, des Structures et des Modérateurs. Les Agents effectuent des tâches au sein de Structures qui dictent le flux d'information. Les Modérateurs peuvent résumer les discussions entre plusieurs Agents. Chaque composant est personnalisable, permettant aux utilisateurs d'employer divers Agents et de personnaliser leurs instructions. Plurals est livré avec des modèles prédéfinis basés sur la littérature sur la délibération démocratique.
Fondations
Plurals est construit sur la littérature de délibération et les systèmes sociotechniques pour élargir les points de vue technologiques. Il s'aligne sur les systèmes multi-agents, en mettant l'accent sur la collaboration entre entités IA. Plurals intègre des principes de délibération démocratique pour créer des groupes sociaux simulés qui encouragent un discours significatif.
Méthodologie
Agents
Les Agents sont de grands modèles linguistiques chargés de remplir des rôles spécifiques. Leurs propriétés incluent :
- Profil : Instructions définissant le rôle d'un Agent. Celles-ci peuvent être créées manuellement ou en utilisant des méthodes basées sur des personas.
- Tâche : Un prompt utilisateur guidant les réponses de l'Agent.
- Instructions de combinaison : Directives sur la façon dont les Agents doivent fusionner l'information d'autres Agents.
- Connaissance : Différents modèles peuvent apporter des informations variées en raison de leur formation.
- Type de modèle : Les utilisateurs peuvent choisir parmi plus de 100 modèles linguistiques.
Structures
Les Structures dictent comment les Agents interagissent en accomplissant des tâches. Les structures existantes incluent des Chaînes, des Graphes, des Débats et des Ensembles, chacune variant dans le partage d'information et le style d'interaction. Les utilisateurs peuvent également créer des Structures personnalisées.
Modérateurs
Les Modérateurs résument les discussions entre Agents. Ils peuvent avoir des rôles uniques ou hériter des tâches des Structures qu'ils supervisent. Les Modérateurs peuvent être spécialement conçus pour générer automatiquement des instructions basées sur les tâches qu'ils gèrent.
Études empiriques
Vue d'ensemble des études de cas
Nous avons mené six études de cas pour examiner la fidélité théorique et l'efficacité de Plurals. Les études se concentrent sur la façon dont Plurals génère des résultats résonnant avec des groupes d'audience spécifiques.
- Diversité dans les Personas ANES : L'utilisation de personas intersectionnels à partir de ensembles de données gouvernementales conduit à des réponses plus variées par rapport à des prompts à attribut unique.
- Adhésion aux instructions de délibération : Les Agents ont suivi avec succès les instructions de combinaison, démontrant des processus de délibération fidèles.
- Groupes de discussion simulés : Les groupes de discussion simulés par Plurals ont produit des recommandations préférées par les audiences concernées par rapport à la génération standard sans zéro-shot.
- Idées pour une entreprise de panneaux solaires : Les résultats des groupes de discussion simulés ont surpassé les idées sans zéro-shot parmi les participants conservateurs.
- Propositions pour des écoles charters : Un succès similaire a été constaté dans la génération d'idées pour des écoles charters que les parents libéraux préféraient par rapport aux résultats sans zéro-shot.
- Idées pour des refuges pour sans-abri : Les propositions pour des refuges pour sans-abri ont davantage résonné lorsqu'elles étaient dérivées de discussions simulées par rapport à des prompts généraux.
Limitations et travaux futurs
Notre système fait face à des limitations liées aux capacités des modèles linguistiques, en particulier concernant la pilotabilité et la fidélité. Les itérations futures visent à explorer de nouvelles méthodes de génération de personas, à intégrer la génération augmentée par récupération, et à explorer des structures modérées pour des applications éthiques.
Considérations éthiques
Le système Plurals soulève d'importantes questions éthiques, y compris le risque de représentation erronée à travers des personas et le potentiel d'utilisation à des fins persuasives. Nous reconnaissons ces préoccupations tout en soulignant la nécessité d'une mise en œuvre prudente et d'une évaluation continue.
Conclusion
Plurals sert de système pratique pour créer une IA pluraliste. En se concentrant sur des perspectives diverses et en facilitant des interactions significatives, il promeut un développement réfléchi des technologies IA. Les recherches futures amélioreront la fonctionnalité et l'applicabilité de Plurals dans divers contextes d'IA.
Titre: Plurals: A System for Guiding LLMs Via Simulated Social Ensembles
Résumé: Recent debates raised concerns that language models may favor certain viewpoints. But what if the solution is not to aim for a 'view from nowhere' but rather to leverage different viewpoints? We introduce Plurals, a system and Python library for pluralistic AI deliberation. Plurals consists of Agents (LLMs, optionally with personas) which deliberate within customizable Structures, with Moderators overseeing deliberation. Plurals is a generator of simulated social ensembles. Plurals integrates with government datasets to create nationally representative personas, includes deliberation templates inspired by deliberative democracy, and allows users to customize both information-sharing structures and deliberation behavior within Structures. Six case studies demonstrate fidelity to theoretical constructs and efficacy. Three randomized experiments show simulated focus groups produced output resonant with an online sample of the relevant audiences (chosen over zero-shot generation in 75% of trials). Plurals is both a paradigm and a concrete system for pluralistic AI. The Plurals library is available at https://github.com/josh-ashkinaze/plurals and will be continually updated.
Auteurs: Joshua Ashkinaze, Emily Fry, Narendra Edara, Eric Gilbert, Ceren Budak
Dernière mise à jour: 2024-11-19 00:00:00
Langue: English
Source URL: https://arxiv.org/abs/2409.17213
Source PDF: https://arxiv.org/pdf/2409.17213
Licence: https://creativecommons.org/licenses/by/4.0/
Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.
Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.