Construire une IA plus juste : L'implication de la communauté dans les modèles fondamentaux
Cet article examine le rôle de la participation de la communauté dans le développement des systèmes d'IA.
― 11 min lire
Table des matières
Ces dernières années, on parle de plus en plus de modèles d'IA avancés appelés modèles de base. Ces modèles, comme GPT-4 et CLIP, sont conçus pour être polyvalents et capables de réaliser une variété de tâches. Cependant, même s'ils promettent beaucoup dans divers secteurs, notamment la santé et la finance, ils présentent aussi des risques. Un gros souci, c'est qu'ils peuvent renforcer les inégalités et les injustices existantes, surtout pour les groupes marginalisés. Quand ces modèles font des erreurs ou causent des dommages, les conséquences peuvent toucher plein de domaines, amplifiant leur impact.
Pour régler ces soucis, beaucoup de chercheurs et de praticiens croient qu'il est essentiel d'impliquer des communautés diverses dans le développement de ces modèles. Ça veut dire donner la parole à ceux qui sont souvent laissés de côté, avec pour but de rendre ces systèmes d'IA plus équitables et responsables. Mais, les méthodes traditionnelles d'implication communautaire se concentrent généralement sur des applications spécifiques et des Parties prenantes, ce qui complique l'application de ces idées dans le contexte plus large des modèles de base.
Cet article vise à combler le fossé entre les modèles de base et la participation communautaire. On va voir l'état actuel des approches participatives en IA et proposer un nouveau cadre qui permet une implication plus significative de divers acteurs.
Comprendre les Modèles de Base
Les modèles de base représentent une nouvelle façon de concevoir l'IA. Contrairement aux modèles traditionnels qui sont entraînés pour des tâches spécifiques, les modèles de base sont construits pour comprendre et générer le langage de manière plus générale. Ils sont entraînés sur des quantités énormes de données en utilisant des méthodes d'apprentissage auto-supervisé, ce qui leur permet d'apprendre des motifs et des structures dans les données sans avoir besoin d'instructions explicites.
En conséquence, ces modèles peuvent être adaptés à diverses tâches sans avoir besoin d'être réentraînés depuis le début. Cette capacité à généraliser est ce qui les rend attrayants dans différentes industries. Cependant, le développement et le déploiement de modèles de base soulèvent des questions éthiques et pratiques importantes.
Les Promesses et les Périls
Les modèles de base offrent plein d'opportunités, comme améliorer le diagnostic médical, optimiser le service client et simplifier les transactions financières. Mais avec ces opportunités viennent des risques. Quelques préoccupations majeures incluent :
biais et Discrimination : Si les modèles de base sont entraînés sur des données biaisées, ils peuvent perpétuer ou même aggraver les biais existants dans la société. Ça peut déboucher sur un traitement injuste pour les groupes marginalisés dans des domaines comme l'embauche, le prêt et l'application de la loi.
Manque de Transparence : Beaucoup de modèles de base fonctionnent comme des boîtes noires, ce qui rend difficile de comprendre comment ils prennent des décisions ou génèrent des résultats. Ce manque de clarté peut poser problème, surtout dans des situations à enjeux élevés.
Concentration de Pouvoir : Le développement de modèles de base est principalement contrôlé par de grandes entreprises technologiques. Cette centralisation peut limiter l'implication de divers acteurs et communautés, soulevant des inquiétudes sur la Responsabilité et la gouvernance.
Impact Environnemental : Entraîner de grands modèles de base nécessite d'importantes ressources informatiques, ce qui peut avoir des conséquences environnementales significatives. Ça soulève des questions sur la durabilité et les effets à long terme de l'utilisation de tels modèles.
L'Importance de l'Implication Communautaire
Pour traiter efficacement les préoccupations autour des modèles de base, il est crucial d'impliquer les communautés qui seront impactées par ces systèmes. Les approches participatives peuvent aider à s'assurer que les voix des groupes marginalisés et sous-représentés sont entendues et que leurs besoins et préoccupations sont pris en compte.
Avantages des Approches Participatives
Autonomisation : Permettre aux communautés de participer au processus de développement leur donne un sentiment de propriété et de contrôle sur les systèmes qui impactent leur vie.
Perspectives Diverses : Impliquer un large éventail d'acteurs peut conduire à des systèmes d'IA plus efficaces et équitables. Différentes communautés peuvent mettre en avant des défis et des opportunités uniques qui ne sont pas nécessairement visibles pour les développeurs travaillant dans l'isolement.
Responsabilité : Les méthodes participatives peuvent créer des processus plus transparents, permettant aux parties prenantes de tenir les organisations responsables des décisions qu'elles prennent concernant le développement et le déploiement de l'IA.
Meilleurs Résultats : Impliquer les communautés dans la conception et l'évaluation des systèmes d'IA peut mener à des solutions qui répondent mieux à leurs besoins, entraînant finalement des résultats plus réussis.
Défis Actuels de l'IA Participative
Bien qu'il y ait eu des progrès dans le développement de méthodes participatives pour l'IA, d'importants défis demeurent. Beaucoup d'initiatives participatives existantes sont adaptées à des applications spécifiques et souvent négligent la nature unique des modèles de base.
Limitations des Approches Participatives Existantes
Portée : Beaucoup d'initiatives d'IA participative se concentrent sur des applications plus petites et localisées. Ça peut rendre difficile l'application de ces leçons aux modèles de base, qui sont conçus pour être polyvalents.
Représentation des Parties Prenantes : Les cadres participatifs traditionnels peinent souvent à inclure tous les acteurs concernés, notamment les groupes marginalisés qui peuvent manquer d'accès à des ressources ou d'influence.
Dynamiques de Pouvoir : La participation peut parfois être superficielle, les acteurs puissants s'appropriant le processus pour maintenir le contrôle au lieu de partager réellement le pouvoir avec les communautés.
Complexité de la Participation : Les caractéristiques uniques des modèles de base peuvent compliquer le processus participatif, rendant difficile pour les parties prenantes de s'engager de manière significative.
Un Nouveau Cadre pour les Modèles de Base Participatifs
Pour répondre à ces défis, on propose un cadre qui intègre plusieurs niveaux de participation. Ce cadre inclut trois niveaux distincts : fondation, sous-plancher et surface. Chaque niveau a un but différent et permet un engagement plus significatif.
Le Niveau de Fondation
Le niveau de fondation représente le processus de développement du modèle de base. C'est là que le modèle de base est créé et maintenu. Bien qu'il y ait besoin d'un certain niveau de participation à ce stade, ça peut ne pas être suffisant pour aborder les défis uniques posés par les modèles de base.
Le Niveau de Sous-Plancher
Le niveau de sous-plancher est crucial pour fournir un contexte et un soutien pour des opportunités de participation plus localisées et axées sur l'application. Ce niveau comprend l'infrastructure technique, les normes et la gouvernance liées à un domaine spécifique, comme la santé ou la finance.
En se concentrant sur des domaines concrets, le niveau de sous-plancher permet aux parties prenantes de s'engager de manière significative. Ça aide à définir qui devrait être impliqué et façonne la gamme des préjudices potentiels à considérer. Cette approche structurée permet aux communautés de contribuer efficacement avec leur expertise et leurs expériences.
Le Niveau de Surface
Le niveau de surface correspond à des applications en aval spécifiques construites sur le sous-plancher. C'est là que les communautés peuvent participer activement à la manière dont le système d'IA fonctionnera dans leur contexte particulier.
À ce stade, les parties prenantes peuvent participer à la définition des problèmes, contribuer à la collecte et à l'annotation des données, et déterminer comment le modèle sera utilisé. Ce niveau permet des discussions localisées qui prennent en compte les besoins et les défis uniques des communautés touchées, ce qui peut conduire à des solutions plus adaptées.
Études de Cas Illustrant le Cadre
Pour illustrer comment ce cadre peut être mis en œuvre, on présente trois études de cas qui montrent des opportunités de participation plus significative dans les domaines de la santé, du journalisme et des services financiers.
Étude de Cas 1 : Soins Cliniques
Notre première étude de cas se concentre sur l'utilisation de l'IA dans les soins cliniques, en particulier dans les systèmes conçus pour aider avec les dossiers de santé électroniques. Ces outils peuvent aider à simplifier la documentation et améliorer les interactions avec les patients.
Le Problème
Développer un outil de transcription qui comprend efficacement diverses langues et dialectes tout en capturant avec précision les discussions médicales est crucial. Cependant, créer un tel outil nécessite de traiter des problèmes de confiance, de confidentialité et de biais.
Opportunités de Participation
En impliquant des organisations de défense des patients, on peut recueillir des données sur divers dialectes et identifier les principaux risques d'équité. Ce niveau de sous-plancher permettrait aux parties prenantes de façonner collectivement le processus de développement et d'établir des lignes directrices pour s'assurer que l'outil répond aux besoins des différentes communautés.
Au niveau de surface, on peut créer des espaces pour que les parties prenantes décident si elles souhaitent adopter un outil de transcription basé sur l'IA, en s'assurant que leurs préoccupations spécifiques soient entendues et prises en compte.
Étude de Cas 2 : Journalisme
Dans notre deuxième étude de cas, on examine comment le niveau de sous-plancher peut donner du pouvoir aux journalistes et autres créatifs face aux défis posés par les modèles de base qui utilisent leur travail sans permission.
Le Problème
Beaucoup d'organisations de presse font face à l'utilisation non autorisée de leur contenu par des systèmes d'IA, entraînant des poursuites judiciaires et des craintes de perte d'emplois.
Opportunités de Participation
En organisant les préoccupations de droits d'auteur par le biais d'actions collectives, les journalistes peuvent établir un ensemble de données de contributions prêtes à être utilisées. Cet effort pourrait être soutenu par des syndicats et organisations existants, permettant aux créateurs de négocier les conditions de l'utilisation de leur travail dans les modèles de base.
Le niveau de surface peut alors fournir des mécanismes pour que les créateurs aient leur mot à dire sur l'utilisation de leurs données et s'assurent qu'ils reçoivent une compensation appropriée.
Étude de Cas 3 : Services Financiers
Dans notre dernière étude de cas, on explore les implications de l'utilisation de l'IA pour la détection de fraude dans les services financiers.
Le Problème
Alors que les entreprises explorent l'IA pour identifier les transactions frauduleuses, des préoccupations concernant l'équité et la discrimination surgissent. S'assurer que ces systèmes n'impactent pas de manière disproportionnée certains groupes est crucial.
Opportunités de Participation
Le niveau de sous-plancher peut établir des mécanismes de signalement permettant aux consommateurs de partager leurs expériences avec des pratiques injustes. En collaborant avec des groupes de défense, les institutions financières peuvent utiliser ces retours pour informer leurs pratiques et prévenir la discrimination.
Le niveau de surface permet aux communautés de donner leur avis sur les processus de détection de fraude, garantissant ainsi la responsabilité et la promotion de pratiques équitables.
Conclusion
En résumé, le développement des modèles de base présente à la fois des opportunités et des défis pour diverses communautés. En établissant un cadre qui intègre plusieurs niveaux de participation, on peut créer des systèmes d'IA plus équitables et efficaces.
Encourager une implication significative de divers acteurs peut mener à de meilleurs résultats, à plus de transparence et à une plus grande responsabilité. Bien que des défis subsistent, on peut travailler vers un avenir où les voix de toutes les communautés sont entendues et prises en compte dans le développement et le déploiement des technologies d'IA. Cette approche vise essentiellement à combler le fossé entre les systèmes d'IA avancés et les expériences réelles de ceux qu'ils impactent.
Titre: Participation in the age of foundation models
Résumé: Growing interest and investment in the capabilities of foundation models has positioned such systems to impact a wide array of public services. Alongside these opportunities is the risk that these systems reify existing power imbalances and cause disproportionate harm to marginalized communities. Participatory approaches hold promise to instead lend agency and decision-making power to marginalized stakeholders. But existing approaches in participatory AI/ML are typically deeply grounded in context - how do we apply these approaches to foundation models, which are, by design, disconnected from context? Our paper interrogates this question. First, we examine existing attempts at incorporating participation into foundation models. We highlight the tension between participation and scale, demonstrating that it is intractable for impacted communities to meaningfully shape a foundation model that is intended to be universally applicable. In response, we develop a blueprint for participatory foundation models that identifies more local, application-oriented opportunities for meaningful participation. In addition to the "foundation" layer, our framework proposes the "subfloor'' layer, in which stakeholders develop shared technical infrastructure, norms and governance for a grounded domain, and the "surface'' layer, in which affected communities shape the use of a foundation model for a specific downstream task. The intermediate "subfloor'' layer scopes the range of potential harms to consider, and affords communities more concrete avenues for deliberation and intervention. At the same time, it avoids duplicative effort by scaling input across relevant use cases. Through three case studies in clinical care, financial services, and journalism, we illustrate how this multi-layer model can create more meaningful opportunities for participation than solely intervening at the foundation layer.
Auteurs: Harini Suresh, Emily Tseng, Meg Young, Mary L. Gray, Emma Pierson, Karen Levy
Dernière mise à jour: 2024-05-29 00:00:00
Langue: English
Source URL: https://arxiv.org/abs/2405.19479
Source PDF: https://arxiv.org/pdf/2405.19479
Licence: https://creativecommons.org/licenses/by/4.0/
Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.
Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.