L'impact des noms sur les biais dans les modèles linguistiques

Les noms peuvent en dire beaucoup sur une personne, comme son genre, sa race, et même son parcours. Mais ils peuvent aussi entraîner des Biais et des stéréotypes. Ces biais peuvent influencer la façon dont les gens interagissent au quotidien. Par exemple, des études montrent que les candidats à un emploi avec des noms qui sonnent plus "Blanc" reçoivent souvent plus d'offres d'entretien que ceux avec des noms qui semblent plus "Noir". Ce genre de biais n'est pas seulement limité aux personnes ; il peut aussi être présent dans les modèles de langage de grande taille (LLMs).

Comme les LLMs sont de plus en plus utilisés dans les applications dont nous dépendons, il est important de voir s'ils montrent des biais similaires en ce qui concerne les noms. Dans cette discussion, nous avons examiné trois LLM populaires pour voir comment ils réagissent aux noms dans une situation appelée un Jeu de confiance modifié, qui est un test pour étudier la confiance et la coopération entre les gens.

#Qu'est-ce que le jeu de confiance ?

Le jeu de confiance est une expérience simple où une personne, appelée l’investisseur, donne de l'argent à une autre personne, appelée le fiduciaire. Après avoir reçu l'argent, le fiduciaire a le choix de retourner une partie à l’investisseur. Ce jeu est conçu pour comprendre la confiance et comment les gens interagissent les uns avec les autres. Traditionnellement, les deux joueurs dans le jeu étaient anonymes, c'est-à-dire que personne ne savait qui était qui. Cependant, dans notre étude, nous avons décidé d'identifier les deux joueurs par leurs noms et un titre de genre (comme "M." ou "Mme") pour voir comment ces facteurs influençaient le montant d'argent que l’investisseur donnerait.

#Pourquoi se concentrer sur les noms ?

Les noms sont plus que de simples étiquettes ; ils représentent des aspects importants de notre identité. Un nom peut donner un indice sur le genre, la race, et même l'origine culturelle de quelqu'un. À cause de cela, les noms peuvent aussi entraîner des biais. Quand on voit ou entend un nom, on peut inconsciemment l'associer à certains stéréotypes. Par exemple, si on entend "Sarah Flynn", on pourrait imaginer une femme blanche, tandis que "Carlos Garcia" pourrait évoquer un homme hispanique. Ces pensées rapides et instinctives peuvent façonner la façon dont nous voyons et traitons les autres dans différentes situations.

#Preuves de biais dans le comportement humain

Des recherches ont montré que les biais basés sur les noms ne sont pas juste théoriques. Par exemple, des études sur le marché du travail aux États-Unis ont révélé que les candidatures avec des noms qui sonnent plus blancs reçoivent souvent environ 50 % plus d'appels pour des entretiens que celles avec des noms perçus comme appartenant à des individus noirs. Des biais similaires ont également été identifiés dans d'autres domaines, comme la réactivité des législateurs à des demandes par e-mail et les opinions publiques sur la distribution des ressources.

#Analyse des biais dans les modèles de langage

Dans notre étude, nous avons examiné comment les LLMs réagissent aux noms dans le contexte du genre et de la race. Nous nous sommes spécifiquement concentrés sur trois modèles : Llama2-13B, Mistral-7B, et Phi-2. Ces modèles ont été entraînés sur d'énormes quantités de données, et bien qu'ils puissent être doués pour comprendre et générer du langage, ils pourraient aussi, sans le vouloir, transmettre des biais humains.

Les LLMs peuvent intégrer des stéréotypes et des biais tout comme les humains. À mesure qu'ils sont de plus en plus utilisés dans des processus décisionnels qui affectent notre vie quotidienne, il est essentiel de voir comment ces modèles reflètent ou pourraient aggraver les biais sociaux, en particulier en ce qui concerne le genre et la race.

#Notre approche pour tester les biais

Pour tester ces biais, nous avons créé une nouvelle méthode qui consistait à demander à un LLM de prédire combien d'argent un investisseur donnerait dans le jeu de confiance en fonction des noms et des titres. Nous avons utilisé un ensemble de noms de famille représentatifs pour différentes races afin de déterminer comment le modèle réagirait à diverses combinaisons de genre et de race.

Le jeu de confiance modifié que nous avons utilisé nous a permis de voir comment les noms identifiés de l’investisseur et du fiduciaire affectaient les montants d'investissement. Au lieu d'attendre que le modèle génère des réponses aléatoires, nous avons en fait calculé le montant d'investissement attendu en fonction de la sortie du modèle.

#Conception de l'expérience

Nous avons mené deux expériences principales : une avec des Investisseurs masculins et une autre avec des investisseurs féminins. Dans les deux cas, l’investisseur pouvait appartenir à un groupe majoritaire (comme des hommes blancs) ou à un groupe minoritaire (comme des femmes asiatiques). Les Fiduciaires représentaient une diversité de genres et de races.

Pour chaque expérience, nous avons créé une liste de noms soigneusement sélectionnés représentant différents groupes raciaux et de genre. En utilisant ces combinaisons, nous pouvions vérifier si un biais était présent dans les prévisions faites par les LLMs.

#Traitement des données sur les noms

Nous avons fait attention à la façon dont nous avons choisi les noms utilisés dans nos expériences. Nous voulions nous assurer que les noms que nous avons sélectionnés représentaient avec précision leurs groupes respectifs. Pour ce faire, nous avons utilisé des données du recensement américain de 2010, qui fournit des informations détaillées sur la composition raciale des noms de famille.

#Processus de sélection des noms de famille

Les données sur les noms de famille comprenaient diverses statistiques concernant la fréquence de chaque nom et le pourcentage de personnes qui s'identifient à différentes races. Nous avons utilisé ces données pour nous assurer que nous avons sélectionné des noms qui étaient non seulement populaires dans leurs catégories raciales mais qui reflétaient également avec précision ces catégories.

Pour sélectionner les noms, nous avons utilisé une méthode qui équilibrait à la fois l'unicité et la popularité. Cela nous a aidés à créer une liste qui répondrait aux attentes des perceptions humaines et des LLMs. En nous concentrant sur les deux aspects, nous visions à présenter les noms les plus pertinents pour chaque groupe racial.

#Conception des prompts pour les modèles de langage

Pour interagir efficacement avec les LLMs, nous avons développé des prompts spécifiques basés sur notre structure de jeu de confiance. Nos prompts étaient conçus pour clarifier le scénario et demander aux modèles de prédire les montants d'investissement, en tenant compte de l'identité des deux joueurs.

Chaque prompt incluait des éléments essentiels du jeu, assurant que le LLM pouvait comprendre le contexte et fournir une réponse précise. Nous avons ajusté les prompts selon que le modèle était dans sa version de base ou dans sa version ajustée par instructions pour garantir une meilleure compréhension.

#Réalisation des expériences

Au total, nous avons créé un ensemble de jeux possibles utilisant les combinaisons d'investisseurs et de fiduciaires. Chaque jeu était conçu pour tester comment les biais pouvaient se manifester en fonction des noms utilisés. Suivant les règles du jeu de confiance, nous avons recueilli des prédictions des LLMs, qui ont produit une distribution de probabilité des montants d'investissement.

#Résultats et analyse

Les résultats de nos expériences ont mis en évidence des tendances significatives.

1. Montant d'investissement par race : Les résultats prédictifs ont montré que la race influençait combien d'argent un investisseur était prêt à donner. Pour les investisseurs masculins blancs, le montant variait en fonction de la race du fiduciaire.

2. Effets du genre : Dans les expériences avec des investisseurs féminines asiatiques, à la fois le genre et la race ont significativement affecté les montants d'investissement prévus. Il est particulièrement notable que les fiduciaires féminines ont reçu plus de fonds à travers différents groupes raciaux, avec des montants plus élevés donnés aux fiduciaires hispaniques par rapport aux autres.

3. Impact de l'ajustement par instructions : Les versions ajustées par instructions des LLMs semblaient avoir des réponses variées par rapport à leurs modèles de base. Par exemple, bien que l'ajustement par instructions ait augmenté les montants d'investissement moyens dans certains modèles, il a aussi changé la façon dont les modèles réagissaient à l'interaction du genre et de la race.

#Conclusion sur les biais

Nos résultats confirment que des biais basés sur les noms existent au sein de ces LLMs, même lorsque les modèles sont ajustés pour réduire les sorties biaisées. Cela implique que bien que des efforts puissent être faits pour ajuster les biais, ils persistent toujours dans des contextes où les noms jouent un rôle.

#Implications des résultats

Étant donné la présence croissante des LLMs dans nos vies quotidiennes, ces résultats soulignent l'importance d'étudier et d'identifier les biais dans ces systèmes. Alors que les LLMs sont de plus en plus impliqués dans des situations où les identités sociales sont significatives - comme les décisions d'embauche, les demandes de prêt, ou même les interactions sociales - il est primordial de s'attaquer à ces biais.

La technologie derrière les LLMs et les ensembles de données sur lesquels ils sont entraînés doivent être continuellement examinés, car ils peuvent avoir des effets profonds sur la manière dont les décisions sont prises et comment les biais sociétaux peuvent être renforcés ou remis en question.

#Directions futures

Pour mieux comprendre et s'attaquer aux biais basés sur les noms dans les LLMs, les travaux futurs peuvent se concentrer sur diverses approches :

1. Suivi continu : Des évaluations régulières des nouveaux modèles et ensembles de données devraient être réalisées pour voir si des biais apparaissent ou évoluent avec le temps.

2. Inclusion d'ensembles de données plus larges : Entraîner les LLMs sur des ensembles de données plus diversifiés peut aider à atténuer certains biais. Cela signifie non seulement inclure divers noms mais aussi s’assurer que différentes cultures et langues soient bien représentées.

3. Sensibilisation des utilisateurs : Éduquer les utilisateurs sur le potentiel de biais dans les LLMs peut les responsabiliser à prendre des décisions plus éclairées lorsqu'ils s'appuient sur ces systèmes.

4. Amélioration de la transparence : Les développeurs de LLMs devraient viser à la transparence sur la façon dont les modèles sont entraînés et sur les données qu'ils utilisent. Cette approche peut aider les utilisateurs à comprendre les biais potentiels et les limitations des modèles.

En résumé, les noms peuvent entraîner des biais dans les interactions humaines et dans les LLMs. Reconnaître et s'attaquer à ces biais est essentiel alors que nous continuons à intégrer ces technologies dans nos vies. Il est crucial de s'assurer que les LLMs fonctionnent de manière équitable et sans biais, en particulier dans des contextes qui influencent la vie et les opportunités des gens.