Traiter les biais cognitifs dans les modèles de langage

Les grands modèles de langage (LLMs) sont des outils qui peuvent aider pour diverses tâches de prise de décision. Cependant, comme ils sont formés sur des données créées par des gens, ils peuvent prendre des biais qui existent dans la société et peuvent aussi montrer leurs propres biais, appelés Biais cognitifs. Ces biais peuvent affecter à quel point leurs décisions sont justes et claires.

Dans ce travail, on présente une méthode pour identifier, évaluer et réduire le biais cognitif dans les LLMs, surtout quand il s’agit de prendre des décisions importantes. On a créé un dataset avec 16 800 prompts pour tester différents types de biais cognitifs, y compris ceux introduits par les prompts, ceux qui apparaissent selon l’ordre dans lequel l’information est présentée, et ceux qui sont inhérents au modèle. On teste aussi des manières de réduire ces biais tout en suggérant une nouvelle approche où les LLMs peuvent aider à réduire leurs propres biais dans les prompts qu'ils utilisent.

Notre analyse donne une vue détaillée de la façon dont le biais cognitif apparaît dans divers LLMs. On montre que notre méthode d'auto-thérapie aide à réduire le biais cognitif sans avoir besoin de créer des exemples spécifiques pour chaque type de biais.

#Comprendre le Biais Cognitif

Le biais cognitif est un schéma de déviation constant par rapport à un jugement rationnel, où les individus ou les modèles créent leur propre perception de la réalité en fonction des informations qu'ils reçoivent. Ce biais peut se manifester dans la prise de décision humaine et aussi dans la manière dont les humains interagissent avec les systèmes d'apprentissage automatique.

Quand les LLMs aident les humains dans des décisions à enjeux élevés, comme évaluer des étudiants pour l'admission, il est essentiel que ces modèles soient correctement vérifiés pour s'assurer que les décisions ne soient pas affectées par des biais cognitifs.

Le biais cognitif peut apparaître de différentes manières. Par exemple, la façon dont les questions sont formulées, l’ordre dans lequel l’information est partagée, ou les connaissances existantes que le modèle a peuvent tous influencer les décisions. Souvent, ces biais ne sont pas clairement visibles, ce qui les rend plus difficiles à identifier.

#Catégories de Biais Cognitif

On classe le biais cognitif en trois types principaux :

1. Biais cognitif basé sur le prompt : Ce biais vient de la façon dont un utilisateur incite le modèle.
2. Biais cognitif inhérent : Ce biais existe dans le modèle à cause des données sur lesquelles il a été formé.
3. Biais séquentiel : Ce biais survient lorsque les réponses précédentes du modèle influencent ses décisions ultérieures.

Chaque type de biais peut mener à une prise de décision incohérente, surtout dans des situations critiques.

#Mesurer le Biais Cognitif

Pour évaluer le biais cognitif, on a développé un cadre pour une évaluation quantitative et une atténuation automatique. On a conçu une série de prompts pour examiner différents biais cognitifs, inspirés d'expériences psychologiques mais adaptés aux LLMs. On a aussi créé des métriques pour évaluer comment le biais cognitif affecte la prise de décision dans les LLMs.

On a appliqué ce cadre dans plusieurs expériences, y compris l'évaluation du processus d'admission des étudiants. En analysant le comportement des modèles à travers différents types de prompts, on peut mesurer leurs réponses à des prompts biaisés et neutres.

#Types de Biais Cognitif

#1. Biais Basé sur le Prompt

Ce biais est introduit par la formulation même du prompt. Par exemple, si un responsable des admissions est influencé par la formulation d'une question, sa décision peut ne pas refléter une évaluation juste des capacités de l'étudiant.

#2. Biais Inhérent

Les LLMs peuvent porter des biais provenant de leurs données d'entraînement. Par exemple, si un modèle a été entraîné sur des données qui incluent des stéréotypes sur le genre ou l’ethnie, ces biais peuvent affecter ses décisions. Ça peut mener à un traitement injuste de certains groupes.

#3. Biais Séquentiel

Le biais séquentiel se produit lorsque les réponses antérieures d'un modèle impactent ses décisions suivantes. Par exemple, si un modèle est chargé d’évaluer plusieurs étudiants l'un après l'autre, ses décisions précédentes peuvent influencer sa perception du prochain étudiant, menant à des incohérences.

#Méthodes pour Atténuer le Biais Cognitif

Il y a plusieurs approches pour réduire le biais cognitif dans les LLMs :

1. Approches zéro-shot : Fournir des informations sur les biais potentiels sans exemples.
2. Approches few-shot : Offrir des exemples de réponses souhaitées ou non souhaitées pour entraîner le modèle.
3. Approches d'auto-mitigation : Permettre au modèle de reconnaître et de corriger ses propres biais.

Une découverte des études humaines est que les gens ont tendance à montrer moins de biais cognitif quand ils en sont conscients. Cela soulève la question de savoir si c'est pareil pour les LLMs.

#Tests et Résultats

On a mené des expériences en utilisant différents types de prompts pour tester la présence de biais cognitif dans divers LLMs. Par exemple, on a demandé aux modèles de décider des admissions des étudiants en fonction de leurs profils. On a observé comment leurs décisions changeaient selon les prompts utilisés.

#Principales Découvertes

• Les LLMs ont démontré un biais cognitif, surtout dans les biais de formulation et d'attribution de groupe.
• Des modèles comme GPT-4 étaient particulièrement sensibles à la façon dont les questions étaient formulées.
• Les méthodes d'auto-assistance, où les modèles révisent leurs propres prompts, ont montré du potentiel pour réduire l'effet du biais.

#Conclusion

Le biais cognitif est une préoccupation majeure dans le déploiement des LLMs, surtout dans des scénarios où les décisions ont des conséquences importantes, comme les admissions des étudiants. Notre travail identifie divers types de biais cognitifs, évalue leur impact, et propose des méthodes pour atténuer leurs effets.

La méthode d'auto-assistance, où les modèles ajustent leurs prompts pour réduire le biais, est une découverte clé. Cette stratégie montre comment les LLMs peuvent être améliorés pour devenir plus fiables et justes dans leurs processus de décision.

#Directions Futures

Bien que cette recherche aborde plusieurs formes de biais cognitif, il y a encore beaucoup à explorer. Les recherches futures pourraient élargir la gamme des biais examinés, développer des outils d’évaluation plus robustes, et améliorer les capacités d’auto-mitigation des LLMs.

On espère qu'en partageant nos découvertes et outils, on peut contribuer au développement de LLMs qui sont non seulement puissants mais aussi équitables et justes dans leurs capacités de prise de décision.

En s'attaquant au biais cognitif, on fait un pas significatif vers des systèmes d'IA plus responsables qui peuvent aider les humains à prendre de meilleures décisions, plus éclairées.