Simple Science

La science de pointe expliquée simplement

# Informatique# Ordinateurs et société# Intelligence artificielle# Calcul et langage# Apprentissage automatique

Biais dans le recrutement AI : Un regard plus proche

Examiner comment les outils d'IA peuvent renforcer les biais dans le tri des CV.

― 6 min lire


Biais de l'IA dans leBiais de l'IA dans lerecrutementévident dans la sélection des CV.Les outils d'IA montrent un biais
Table des matières

L'intelligence artificielle (IA) est de plus en plus utilisée dans les processus de recrutement, surtout pour le tri des CV. Beaucoup d'entreprises utilisent des outils IA pour améliorer la qualité et la rapidité du recrutement. Cependant, ces outils peuvent aussi révéler des biais, surtout contre les groupes marginalisés. Cet article examine comment l'IA, en particulier les modèles de langage, peut introduire des biais dans le tri des CV en fonction de la race et du genre.

Biais dans les outils de recrutement IA

Les outils IA dans le recrutement peuvent aider à réduire les biais humains. Par exemple, ils peuvent être conçus pour ignorer certains aspects du parcours d'un candidat. Cependant, des études ont montré que de nombreux outils de recrutement IA produisent encore des résultats biaisés, ce qui peut désavantager injustement certains groupes. Par exemple, Amazon a dû abandonner un outil de tri de CV IA après avoir découvert qu'il était biaisé contre les femmes.

Compréhension des modèles de langage

Les modèles de langage sont des systèmes IA formés sur une énorme quantité de données textuelles. Ils peuvent effectuer de nombreuses tâches, y compris générer du texte et trier des CV. Cependant, ces modèles peuvent porter des biais issus de leurs données d'entraînement. Si les données contiennent des biais liés à la race, au genre ou à d'autres attributs, le modèle peut aussi refléter ces biais dans ses résultats.

Objectif de la recherche

Cette recherche se concentre sur l'utilisation des modèles de langage dans le tri de CV. Elle vise à enquêter si ces modèles sont biaisés contre des groupes spécifiques en fonction de la race et du genre. L'étude utilise un cadre qui simule comment les candidats sont sélectionnés pour des postes. Plus précisément, elle analyse le tri des CV pour différents types de postes en utilisant des échantillons disponibles au public.

Questions de recherche

  1. Les modèles de langage sélectionnent-ils les CV différemment selon la race ou le genre du candidat ?
  2. Y a-t-il des différences quand on compare les identités intersectionnelles (par exemple, les femmes noires contre les femmes blanches) ?
  3. Comment des caractéristiques comme la longueur du CV et la fréquence des noms affectent-elles ces résultats ?

Méthodologie

Pour évaluer ces questions, l'étude utilise une collection de CV et de descriptions de poste provenant de neuf catégories d'emploi différentes. Elle examine plus de 500 CV et descriptions de poste pour voir comment les modèles de langage fonctionnent dans le tri de CV. L'accent est mis sur l'identification de biais dans le processus de sélection selon des noms associés à différentes races et Genres.

Le processus de tri de CV

La recherche considère le tri de CV comme une tâche de récupération de documents. Dans ce contexte, le modèle doit trouver les CV les plus pertinents pour des descriptions de poste spécifiques. Les CV sont augmentés avec des noms qui suggèrent différentes identités raciales et de genre. Par exemple, des noms généralement associés à des identités blanches, noires, masculines ou féminines sont inclus.

Aperçu des résultats

L'analyse montre des biais clairs dans le tri des CV. Par exemple, les CV avec des noms associés à des identités blanches sont favorisés dans un nombre significatif de cas. En revanche, les CV avec des noms associés à des identités noires subissent de la discrimination. L'étude trouve des tendances similaires en examinant le genre, où les noms associés aux hommes reçoivent également un traitement préférentiel.

Résultats détaillés

Biais racial dans le tri de CV

La recherche révèle que les CV avec des noms associés aux Blancs sont préférés dans environ 85 % des cas, tandis que ceux avec des noms associés aux Noirs ne sont favorisés que dans environ 8,6 % des cas. Cela suggère un biais fort en faveur des candidats dont les noms laissent à penser qu'ils sont blancs.

Biais de genre dans le tri de CV

En examinant le genre, les CV avec des noms associés aux hommes sont préférés dans près de 52 % des tests. Les noms associés aux femmes, quant à eux, ne sont favorisés que dans environ 11 % des cas. Cela indique une claire préférence pour les candidats masculins, soulignant un biais de genre persistant dans le processus de recrutement.

Biais intersectionnel

L'étude examine également comment la race et le genre s'entrecroisent. Elle trouve que les hommes noirs subissent les plus grands désavantages dans le tri des CV. Les CV avec des noms d'hommes noirs sont rarement préférés par rapport à tout autre groupe. Cela indique que les identités intersectionnelles peuvent aggraver les désavantages dans des scénarios de recrutement.

Impact des caractéristiques du CV

Certaines caractéristiques des CV affectent aussi la probabilité de sélection. Les CV plus courts ou incluant des noms avec des fréquences différentes peuvent entraîner des résultats plus biaisés. Par exemple, un CV plus concis peut être plus susceptible de mener à des sélections biaisées contre des groupes spécifiques.

Implications dans le monde réel

Comprendre les schémas de biais

Les résultats mettent en lumière des schémas de biais qui reflètent des problèmes sociétaux plus larges. Les biais observés dans les résultats des modèles de langage reflètent la discrimination présente dans les pratiques de recrutement réelles. Cela soulève d'importantes questions sur comment garantir l'équité dans les processus de recrutement pilotés par l'IA.

Stratégies d'atténuation

Pour aborder ces biais, il est essentiel de mettre en œuvre des stratégies qui minimisent leur impact. Les approches possibles incluent :

  • Auditer régulièrement les outils IA pour identifier et traiter les biais.
  • Former des modèles en dehors de contextes de données biaisées.
  • Mettre en place des stratégies de conception qui réduisent l'accent mis sur les noms et autres marqueurs d'identité.

Ces stratégies peuvent aider les entreprises à améliorer l'équité de leurs outils de recrutement IA et à atténuer les impacts négatifs des biais.

Conclusion

L'étude illustre des biais significatifs dans l'utilisation des modèles de langage pour le tri de CV. Les CV associés à des identités blanches et masculines rencontrent des résultats favorables, tandis que ceux liés à des candidats noirs et féminins subissent de la discrimination. Comprendre et traiter ces biais est crucial pour promouvoir l'équité dans les pratiques de recrutement. Des efforts continus pour auditer et améliorer les systèmes IA peuvent contribuer à un traitement plus équitable pour tous les candidats dans le processus de recrutement.

Source originale

Titre: Gender, Race, and Intersectional Bias in Resume Screening via Language Model Retrieval

Résumé: Artificial intelligence (AI) hiring tools have revolutionized resume screening, and large language models (LLMs) have the potential to do the same. However, given the biases which are embedded within LLMs, it is unclear whether they can be used in this scenario without disadvantaging groups based on their protected attributes. In this work, we investigate the possibilities of using LLMs in a resume screening setting via a document retrieval framework that simulates job candidate selection. Using that framework, we then perform a resume audit study to determine whether a selection of Massive Text Embedding (MTE) models are biased in resume screening scenarios. We simulate this for nine occupations, using a collection of over 500 publicly available resumes and 500 job descriptions. We find that the MTEs are biased, significantly favoring White-associated names in 85.1\% of cases and female-associated names in only 11.1\% of cases, with a minority of cases showing no statistically significant differences. Further analyses show that Black males are disadvantaged in up to 100\% of cases, replicating real-world patterns of bias in employment settings, and validate three hypotheses of intersectionality. We also find an impact of document length as well as the corpus frequency of names in the selection of resumes. These findings have implications for widely used AI tools that are automating employment, fairness, and tech policy.

Auteurs: Kyra Wilson, Aylin Caliskan

Dernière mise à jour: 2024-08-20 00:00:00

Langue: English

Source URL: https://arxiv.org/abs/2407.20371

Source PDF: https://arxiv.org/pdf/2407.20371

Licence: https://creativecommons.org/licenses/by-nc-sa/4.0/

Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.

Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.

Plus d'auteurs

Articles similaires