S'attaquer aux biais sociaux dans les modèles d'IA

Ces dernières années, il y a eu de gros progrès en machine learning (ML), surtout avec des modèles qui traitent le langage et les visuels ensemble. Ces avancées ont changé la façon dont les ordinateurs comprennent le texte et les images. Pourtant, les chercheurs ont constaté que ces modèles peuvent aussi capturer et renforcer des biais sociaux à partir des données qu'ils apprennent. Ça peut entraîner un traitement injuste de différents groupes sociaux et causer des problèmes comme une distribution inégale des ressources et une représentation négative de certaines démographies. Assurer que ces systèmes d'IA soient équitables est devenu super important dans la communauté ML.

L'introduction des modèles vision-langage (VL), qui combinent le traitement d'images et de textes, soulève des inquiétudes concernant les biais sociaux dans ces modèles. Alors qu'on sait beaucoup de choses sur les biais dans le traitement du langage (NLP) et des images (CV), on n'a pas encore beaucoup d'infos sur les biais dans les modèles VL. Cet article vise à donner aux chercheurs un aperçu des similitudes et différences dans la façon dont le Biais social est étudié dans les modèles de langage, d'image et de vision-langage. En explorant ces domaines, on espère fournir des lignes directrices utiles pour aborder et réduire le biais tant dans des situations mono-modal que multi-modal. Les recommandations ici peuvent aider la communauté ML à créer des modèles d'IA plus justes pour diverses applications.

#Qu'est-ce que le Biais Social ?

Le biais social peut être défini comme le fait de donner un traitement injuste à une personne ou un groupe. Dans le contexte de l'IA, ça veut dire traiter des individus ou des groupes de manière inégale en fonction de caractéristiques comme la race, le genre, l'âge ou d'autres traits sensibles. Ça peut arriver quand les modèles d'IA sont formés sur des données qui contiennent ces biais.

Par exemple, si un jeu de données inclut principalement des images d'hommes dans des rôles professionnels, un modèle formé sur ces données pourrait injustement suggérer que ces postes conviennent davantage aux hommes qu'aux femmes, entraînant des décisions biaisées dans les candidatures, les publicités ou d'autres domaines. Donc, garantir l'équité dans les systèmes d'IA est crucial.

#Importance de l'Équité en IA

Les Nations Unies ont des directives énonçant que toutes les personnes devraient bénéficier d'une protection égale contre la discrimination basée sur des caractéristiques comme la race, le genre ou la religion. Beaucoup d'organisations et de pays ont souligné la nécessité d'inclure l'équité dans les systèmes d'IA et de ML. En s'attaquant aux biais sociaux, on peut aider à prévenir la discrimination et promouvoir l'égalité.

Ces dernières années, le traitement du langage (NLP) et la compréhension des images (CV) ont fait des progrès significatifs, principalement grâce aux modèles basés sur des transformateurs. À mesure que ces modèles deviennent plus courants, le besoin de modèles plus justes et objectifs a augmenté. Bien qu'il y ait eu de nombreuses études visant à traiter le biais social en NLP et en CV séparément, des travaux récents ont aussi commencé à aborder les biais dans les modèles VL, qui font également face à des biais similaires.

#Vue d'Ensemble du Biais en Machine Learning

#Types de Biais

1. Biais intrinsèque : Ce type de biais existe dans les caractéristiques et représentations apprises par le modèle pendant l'entraînement.
2. Biais extrinsèque : Ce biais peut être observé dans la performance du modèle lorsqu'on l'applique à des tâches réelles, comme des différences de précision entre différents groupes démographiques.

#Comment Mesurer le Biais

Pour garantir l'équité, il est nécessaire de mesurer le biais avec précision. Quelques techniques couramment utilisées dans les modèles de langage comprennent :

• Word Embedding Association Test (WEAT) : Mesure à quel point certains mots sont liés en fonction du genre ou de la race.
• Sentence Encoder Association Test (SEAT) : Semblable à WEAT mais se concentre sur les phrases au lieu des mots individuels.

En revanche, les modèles visuels ont leur propre ensemble de techniques de mesure de biais, souvent adaptées des méthodes NLP.

#Aborder le Biais

Les chercheurs ont développé plusieurs stratégies pour minimiser le biais dans les modèles d'IA, classées en trois grandes catégories :

1. Techniques de Prétraitement : Modifier les données d'entraînement pour retirer le biais avant que le modèle ne soit formé.
2. Techniques In-Processing : Changer les algorithmes d'apprentissage eux-mêmes pendant la phase d'entraînement pour réduire le biais.
3. Techniques de Post-traitement : Ajuster la sortie du modèle après l'entraînement pour corriger les biais.

#Biais dans les Modèles de Langage

#Mesurer le Biais dans le Langage

Différentes techniques ont émergé pour évaluer le biais social dans les modèles de langage. Le biais intrinsèque peut être mesuré à l'intérieur des mots ou phrases utilisés dans le modèle, tandis que le biais extrinsèque est évalué à travers la performance sur des tâches comme la classification de textes ou la traduction.

Les métriques de biais intrinsèque couramment utilisées incluent WEAT et SEAT, qui évaluent à quel point les embeddings de mots appris sont biaisés. Par exemple, un outil comme WEAT peut refléter des biais de genre dans des titres professionnels.

#Atténuer le Biais dans les Modèles de Langage

Pour traiter le biais présent dans les modèles de langage, les chercheurs ont proposé diverses méthodes :

1. Augmentation de données : Implique d'équilibrer les données d'entraînement selon les genres et d'autres attributs démographiques.
2. Entraînement Adversarial : Incorpore un modèle supplémentaire pour identifier et réduire le biais dans les prédictions.
3. Techniques de Dé-biaisage : Ces techniques visent à ajuster la façon dont les caractéristiques sont représentées, en s'assurant que les attributs sensibles n'influencent pas les résultats.

#Biais dans les Modèles Visuels

#Mesurer le Biais dans la Vision

Dans les modèles visuels, le biais peut être observé à travers la capacité du modèle à classer des images sans préjugés. Des études ont montré que ces modèles performent souvent mal avec des individus issus de groupes sous-représentés.

#Atténuer le Biais dans les Modèles Visuels

Les chercheurs ont développé des méthodes pour améliorer l'équité dans les systèmes basés sur la vision, qui incluent :

1. Augmentation de Données : Créer de nouvelles images pour s'assurer d'une représentation équilibrée dans les données d'entraînement.
2. Algorithmes d'Apprentissage Équitable : Concevoir des algorithmes qui tiennent compte des déséquilibres dans les données d'entraînement, en s'assurant que les groupes minoritaires ne sont pas négligés.
3. Dissociation des Caractéristiques : Séparer les attributs sensibles des données visuelles pour que le modèle puisse apprendre sans biais.

#Biais dans les Modèles Vision-Langage

#Défis dans les Modèles Vision-Langage

Les modèles VL font face à des défis uniques en matière de biais. Comme ils gèrent à la fois des informations visuelles et textuelles, les biais présents dans chaque modalité peuvent interagir de manière complexe.

1. Différences dans la Représentation : Le texte peut exprimer des attributs visibles et invisibles, tandis que les images ne peuvent montrer que des qualités visibles. Ça peut mener à des associations incorrectes.
2. Difficulté à Créer des Paires d'Images Contrefactuelles : Générer des paires d'images qui ne changent que des attributs sensibles (par exemple, le genre) est difficile et nécessite souvent des manipulations complexes qui peuvent introduire de nouveaux biais.
3. Gestion des Distributions de Jeux de Données Biaisés : Les jeux de données pour l'entraînement sont souvent biaisés vers certaines démographies, ce qui impacte la précision des modèles.

#Mesurer le Biais dans les Modèles Vision-Langage

Évaluer le biais social dans les modèles VL implique d'évaluer comment les modèles performent sur différentes tâches, comme la génération de légendes d'images et la génération d'images à partir de texte. Les biais peuvent être mesurés à travers :

1. Utilisation de Mots Spécifiques au Genre : Analyser les légendes générées par le modèle pour voir si elles favorisent un genre par rapport à l'autre.
2. Disparités de Performance : Mesurer la différence de précision du modèle entre différents groupes démographiques lors de l'exécution de tâches comme la récupération d'images.

#Atténuer le Biais dans les Modèles Vision-Langage

Tout comme pour les modèles de langage et de vision, les modèles VL peuvent également bénéficier de plusieurs techniques d'atténuation :

1. Échantillonnage de Données : Créer des jeux de données équilibrés qui représentent toutes les démographies de manière équitable.
2. Ingénierie des Prompts : Adapter les prompts donnés au modèle pour réduire l'influence des biais.
3. Clipping des Caractéristiques : Retirer des parties des caractéristiques liées à des informations sensibles pour réduire la discrimination.

#Directions Futures

#Améliorer l'Évaluation du Biais

Les chercheurs devraient se concentrer sur la compréhension de la façon dont la conception des architectures de modèles VL influence le biais. Analyser les effets de différents designs de modèles et stratégies d'entraînement pourrait aider à améliorer les pratiques de mesure et d'atténuation du biais.

#Meilleures Stratégies d'Atténuation

Les méthodes existantes peuvent souvent avoir un impact sur la performance de la tâche principale des modèles. La recherche devrait viser à trouver de nouvelles stratégies qui réduisent le biais sans nuire à la précision générale.

#S'attaquer à Plusieurs Attributs

La plupart des études se concentrent sur un seul trait sensible, comme le genre ou la race. Les travaux futurs devraient explorer comment aborder plusieurs traits simultanément dans les modèles VL, ainsi que les interactions entre différents biais.

#Conclusion

La présence de biais sociaux dans les modèles ML, en particulier dans les systèmes basés sur des transformateurs à travers les modalités de langage, de vision et de vision-langage, pose des défis significatifs pour garantir l'équité. Bien que certaines recherches aient commencé à traiter ces problèmes séparément, il reste encore beaucoup à faire pour comprendre et atténuer le biais spécifiquement dans les modèles VL. En avançant notre compréhension du biais social et de l'équité, la communauté IA peut développer de meilleurs systèmes qui promeuvent l'égalité et protègent les droits des individus.