Évaluer les biais dans les pratiques de recrutement de l'IA

Les grands modèles de langage (LLMs) deviennent de plus en plus courants dans les lieux de travail, avec l'objectif de rendre les tâches plus rapides et plus équitables. Cependant, il y a des inquiétudes quant à la possibilité que ces modèles reflètent ou aggravent les Biais sociaux et les stéréotypes. Cet article examine comment les LLMs pourraient affecter les pratiques de Recrutement en vérifiant un modèle bien connu, le GPT-3.5 d'OpenAI, pour des biais basés sur la race et le genre.

#Les Études

#Étude 1 : Évaluation de CV

Dans la première partie de la recherche, on voulait voir comment le GPT-3.5 notait différents CV. On a créé des CV qui étaient identiques sauf pour les noms, qui suggéraient différentes races et Genres. On a testé 32 noms (quatre noms pour chaque combinaison de race et de genre) et demandé à GPT de noter ces CV de trois manières différentes : note globale, volonté d’interview et volonté d’embaucher.

On a découvert que le modèle reflétait certains biais. Par exemple, les CV avec des noms qui suggéraient des femmes ou des personnes de couleur recevaient souvent des notes inférieures par rapport aux CV avec des noms suggérant des hommes blancs. C'est particulièrement préoccupant car GPT devrait idéalement traiter tous les CV de manière égale.

#Étude 2 : Génération de CV

Dans la deuxième partie, on a voulu voir si GPT montrait des biais en créant des CV. On a demandé à GPT d'écrire des CV basés sur les mêmes noms utilisés dans la première étude. Chaque nom a reçu dix CV différents. On a ensuite regardé des aspects comme les années d'expérience, le niveau de poste et les signes qui pourraient suggérer que le candidat était un immigrant.

De cela, on a remarqué que les CV des femmes indiquaient souvent moins d'expérience de travail et un niveau de poste inférieur par rapport à ceux des hommes. Par exemple, les noms de femmes entraînaient souvent des rôles nécessitant moins d'expérience. En plus, les noms asiatiques et hispaniques étaient fréquemment accompagnés de marqueurs suggérant que la personne était un immigrant, comme des compétences en anglais non natives ou une éducation à l'étranger. En revanche, les CV pour les noms noirs et blancs ne montraient pas ces marqueurs.

#Recherches Précédentes sur les Biais

Les audits de biais ont été utilisés pendant de nombreuses années pour enquêter sur des problèmes liés à l'identité, surtout dans les contextes d'embauche. Historiquement, les audits ont porté sur divers attributs comme la race, le genre, l'âge, et plus encore. Cette recherche a montré des motifs de discrimination constants dans les pratiques d'embauche au fil du temps.

Avec la croissance des systèmes automatisés, les chercheurs ont commencé à appliquer ces méthodes aux audits d'algorithmes. Cela signifie étudier comment les systèmes algorithmiques pourraient contribuer à des biais dans des domaines comme la curation de nouvelles, la tarification, et même les décisions d'embauche. Diverses études ont révélé que les algorithmes apprennent souvent des biais à partir des données sur lesquelles ils sont formés, ce qui peut entraîner un traitement injuste de certains groupes.

#Le Contexte Juridique

L'utilisation d'outils automatisés dans le recrutement a également soulevé des questions juridiques. Dans de nombreux endroits, les employeurs sont interdits de prendre des décisions d'embauche basées sur la race, le genre ou d'autres catégories protégées. Il existe des lois dans certaines régions, comme la Loi Locale 144 de New York, qui obligent les employeurs à démontrer que leurs outils d'embauche automatisés ne présentent pas de biais.

Étant donné la dépendance croissante aux LLMs dans le recrutement, il est vital d'examiner si ces modèles perpétuent ou créent de nouveaux biais. Nos études répondent à deux questions importantes : ces modèles montrent-ils des biais de race et de genre lors de l'évaluation des CV ? Et révèlent-ils des biais latents lors de la génération de CV ?

#Résultats Clés

#Résultats de l'Étude 1

Dans notre première étude, on a constaté que les scores de GPT variaient en fonction des noms attachés aux CV. Les CV avec des noms typiques pour les femmes ou les personnes de couleur avaient souvent des scores plus bas. Par exemple, les noms blancs étaient systématiquement notés plus haut que les noms asiatiques, noirs ou hispaniques. Cela suggère que le modèle porte des biais existants dans ses évaluations.

De plus, les scores étaient influencés par la représentation féminine dans des professions spécifiques. Dans les domaines dominés par les hommes, les CV avec des noms de femmes avaient des scores encore plus bas. Cela signifie que le contexte de chaque emploi joue un rôle dans la manière dont les candidats sont évalués.

#Résultats de l'Étude 2

Dans la deuxième étude axée sur la génération de CV, on a trouvé des preuves encore plus frappantes de biais. Les CV créés pour les femmes indiquaient souvent moins d'expérience de travail et étaient assignés à des postes moins élevés par rapport à ceux pour les hommes. Les CV pour les noms asiatiques et hispaniques mentionnaient fréquemment des langues et des expériences qui suggéraient que le candidat était un immigrant, même lorsque cela n'était pas suggéré.

Fait intéressant, on a vu que tous les CV générés par GPT avaient un diplôme de licence comme leur niveau d'éducation le plus élevé, avec des années de diplôme récentes. Ce schéma reflète probablement un biais en faveur des candidats plus jeunes. Aucune preuve n’a pointé vers un biais lié à la maternité, ce qui signifie qu’on n’a pas trouvé que les CV des femmes avaient plus de lacunes d'emploi liées au congé maternité.

#Implications des Biais dans l'Embauche

Nos résultats des deux études suggèrent que GPT présente des biais basés sur le genre et la race dans les contextes d'embauche. Bien qu'on n'ait pas trouvé de grandes différences dans les scores selon tous les critères, les petites mais significatives différences révèlent une tendance préoccupante qui pourrait conduire à la discrimination contre les groupes marginalisés.

Les implications de ces résultats sont significatives. Les biais montrés par GPT soulignent les risques de dépendre des systèmes automatisés dans le recrutement. Au lieu de rendre les processus de sélection plus équitables, ces modèles peuvent perpétuer des biais sociaux existants.

#Exploration des Sources de Biais

Les biais observés dans nos études peuvent provenir des données utilisées pour former les LLMs. Si les données de formation contiennent des biais historiques, il est probable que ces biais se reflètent dans les résultats du modèle. De nombreux algorithmes d'embauche se sont avérés être formés sur des données qui ne sont pas entièrement représentatives, souvent en favorisant les candidats masculins par rapport aux candidats féminins.

Dans notre cas, les LLMs, comme GPT, sont formés sur une variété de contenu web, qui pourrait ne pas refléter fidèlement les scénarios du monde réel. De nombreux exemples de CV en ligne peuvent être publiés par de jeunes chercheurs d'emploi, entraînant un biais en faveur des candidats plus jeunes dans les résultats générés.

#Recommandations pour Travaux Futurs

Pour traiter les problèmes soulevés par ces résultats, plusieurs mesures peuvent être prises :

1. Études Plus Larges : Les recherches futures devraient inclure un éventail plus large de catégories d'identité et des analyses plus détaillées. L'étude actuelle a utilisé un ensemble limité de noms, qui peut ne pas englober tous les groupes de personnes.

2. Audits Réguliers : Il est crucial de réaliser des audits réguliers des LLMs alors qu'ils continuent d'être mis à jour. Ces audits devraient évaluer les biais en temps réel, permettant des ajustements quand nécessaire.

3. Transparence Accrue : Les employeurs utilisant des outils d'embauche automatisés devraient être tenus de fournir des données transparentes sur le fonctionnement de ces systèmes et les biais qu'ils pourraient transporter.

4. Développement de Politique : La législation ne devrait pas seulement se concentrer sur la race et le genre, mais aussi s'étendre pour prendre en compte d'autres facteurs comme l'âge, l'éducation et la nationalité afin d'assurer des pratiques équitables dans l'ensemble.

#Conclusion

Alors que les LLMs deviennent de plus en plus intégrés dans les processus de recrutement, comprendre leurs biais potentiels est essentiel. Nos études révèlent que le GPT-3.5 reflète des biais existants basés sur la race et le genre, entraînant des implications significatives pour l'équité dans les pratiques d'embauche. À l'avenir, il est crucial de traiter ces biais pour créer des processus d'embauche plus équitables qui prennent véritablement en compte le mérite des candidats, sans préjugés sociaux.