Simple Science

Scienza all'avanguardia spiegata semplicemente

# Informatica# Computer e società# Intelligenza artificiale# Calcolo e linguaggio# Apprendimento automatico

Pregiudizi nell'Assunzione AI: Uno Sguardo Più Approfondito

Esaminando come gli strumenti di intelligenza artificiale possano rafforzare i pregiudizi nella selezione dei curriculum.

― 5 leggere min


Bias dell'IA nelleBias dell'IA nelleassunzionibias nella selezione dei curriculum.Gli strumenti AI mostrano un chiaro
Indice

L'intelligenza artificiale (IA) viene sempre più utilizzata nei processi di assunzione, soprattutto per scremare i curriculum. Molte aziende usano strumenti di IA per migliorare la qualità e la velocità delle assunzioni. Tuttavia, questi strumenti possono anche rivelare dei pregiudizi, specialmente contro i gruppi marginalizzati. Questo articolo esamina come l'IA, in particolare i modelli linguistici, possa introdurre pregiudizi nello screening dei curriculum in base alla razza e al Genere.

Pregiudizi negli Strumenti di Assunzione IA

Gli strumenti di IA nelle assunzioni possono aiutare a ridurre i pregiudizi umani. Ad esempio, possono essere progettati per ignorare alcuni aspetti del background di un candidato. Tuttavia, studi hanno dimostrato che molti strumenti di assunzione IA continuano a produrre risultati di parte, il che può portare a svantaggi ingiusti per determinati gruppi. Per esempio, Amazon ha dovuto abbandonare uno strumento di screening di curriculum basato su IA dopo aver scoperto che era di parte contro le donne.

Comprendere i Modelli Linguistici

I modelli linguistici sono sistemi IA addestrati su enormi quantità di dati testuali. Possono svolgere molti compiti, compresi la generazione di testo e lo screening dei curriculum. Tuttavia, questi modelli possono portare pregiudizi dai loro dati di addestramento. Se i dati contengono pregiudizi legati alla razza, al genere o ad altri attributi, il modello potrebbe riflettere quei pregiudizi nei suoi output.

Focalizzazione della Ricerca

Questa ricerca si concentra sull'uso dei modelli linguistici nello screening dei curriculum. Mira a investigare se questi modelli siano di parte contro specifici gruppi in base alla razza e al genere. Lo studio utilizza un framework che simula come i candidati vengano selezionati per posizioni lavorative. In particolare, analizza lo screening dei curriculum per diversi tipi di lavoro utilizzando campioni pubblicamente disponibili.

Domande di Ricerca

  1. I modelli linguistici selezionano i curriculum in modo diverso in base alla razza o al genere del candidato?
  2. Ci sono differenze quando si confrontano identità intersezionali (ad esempio, donne nere contro donne bianche)?
  3. Come influiscono caratteristiche come la lunghezza del curriculum e la frequenza dei nomi su questi risultati?

Metodologia

Per valutare queste domande, lo studio utilizza una raccolta di curriculum e descrizioni di lavoro da nove diverse categorie professionali. Esamina oltre 500 curriculum e descrizioni di lavoro per vedere come i modelli linguistici si comportano nella scrematura dei curriculum. L'attenzione è rivolta a identificare eventuali pregiudizi nel processo di selezione basati su nomi associati a diverse razze e generi.

Il Processo di Screening dei Curriculum

La ricerca tratta lo screening dei curriculum come un compito di recupero di documenti. In questo contesto, il modello ha il compito di trovare i curriculum più rilevanti per specifiche descrizioni di lavoro. I curriculum sono arricchiti con nomi che suggeriscono diverse identità razziali e di genere. Ad esempio, sono inclusi nomi tipicamente associati a identità bianche, nere, maschili o femminili.

Panoramica dei Risultati

L'analisi mostra chiari pregiudizi nello screening dei curriculum. Ad esempio, i curriculum con nomi associati a identità bianche sono favoriti in un numero significativo di casi. Al contrario, i curriculum con nomi associati a identità nere subiscono discriminazione. Lo studio trova tendenze simili quando si guarda al genere, dove i nomi associati agli uomini ricevono anche un trattamento preferenziale.

Risultati Dettagliati

Pregiudizio Razziale nello Screening dei Curriculum

La ricerca rivela che i curriculum con nomi associati a identità bianche sono preferiti in circa l'85% dei casi, mentre quelli con nomi associati a identità nere sono favoriti solo in circa l'8,6% delle istanze. Questo suggerisce un forte pregiudizio a favore dei candidati i cui nomi suggeriscono che sono bianchi.

Pregiudizio di Genere nello Screening dei Curriculum

Esaminando il genere, i curriculum con nomi associati agli uomini sono preferiti in quasi il 52% dei test. I nomi associati alle donne, d'altra parte, sono favoriti solo in circa l'11% dei casi. Questo indica una chiara preferenza per i candidati maschi, evidenziando il persistente pregiudizio di genere nel processo di assunzione.

Pregiudizio Intersezionale

Lo studio analizza anche come razza e genere si intersechino. Scopre che gli uomini neri affrontano i più significativi svantaggi nello screening dei curriculum. I curriculum con nomi maschili neri sono raramente preferiti rispetto a qualsiasi altro gruppo. Questo indica che le identità intersezionali possono aggravare gli svantaggi negli scenari di assunzione.

Impatto delle Caratteristiche del Curriculum

Alcune caratteristiche dei curriculum influenzano anche la probabilità di selezione. Curriculum più brevi o che includono nomi con diverse frequenze possono portare a risultati più distorti. Ad esempio, un curriculum più conciso potrebbe essere più propenso a portare a selezioni di parte contro specifici gruppi.

Implicazioni nel Mondo Reale

Comprendere i Modelli di Pregiudizio

I risultati evidenziano modelli di pregiudizio che riflettono problemi sociali più ampi. I pregiudizi visti negli output dei modelli linguistici rispecchiano la discriminazione presente nelle pratiche di assunzione nel mondo reale. Questo solleva importanti domande su come garantire equità nei processi di reclutamento guidati dall'IA.

Strategie di Mitigazione

Per affrontare questi pregiudizi, è essenziale implementare strategie che ne minimizzino l'impatto. Possibili approcci includono:

  • Audit regolari degli strumenti di IA per identificare e affrontare i pregiudizi.
  • Addestrare modelli al di fuori di contesti di dati pregiudizievoli.
  • Implementare strategie di design che riducano l'enfasi su nomi e altri indicatori di identità.

Queste strategie possono aiutare le aziende a migliorare l'equità degli strumenti di assunzione IA e mitigare gli impatti negativi dei pregiudizi.

Conclusione

Lo studio illustra significativi pregiudizi nell'uso dei modelli linguistici per lo screening dei curriculum. I curriculum associati a identità bianche e maschili affrontano risultati favorevoli, mentre quelli collegati a candidati neri e femminili subiscono discriminazione. Comprendere e affrontare questi pregiudizi è cruciale per promuovere l'equità nelle pratiche di assunzione. Sforzi continui per auditare e migliorare i sistemi IA possono contribuire a un trattamento più equo per tutti i candidati nel processo di reclutamento.

Fonte originale

Titolo: Gender, Race, and Intersectional Bias in Resume Screening via Language Model Retrieval

Estratto: Artificial intelligence (AI) hiring tools have revolutionized resume screening, and large language models (LLMs) have the potential to do the same. However, given the biases which are embedded within LLMs, it is unclear whether they can be used in this scenario without disadvantaging groups based on their protected attributes. In this work, we investigate the possibilities of using LLMs in a resume screening setting via a document retrieval framework that simulates job candidate selection. Using that framework, we then perform a resume audit study to determine whether a selection of Massive Text Embedding (MTE) models are biased in resume screening scenarios. We simulate this for nine occupations, using a collection of over 500 publicly available resumes and 500 job descriptions. We find that the MTEs are biased, significantly favoring White-associated names in 85.1\% of cases and female-associated names in only 11.1\% of cases, with a minority of cases showing no statistically significant differences. Further analyses show that Black males are disadvantaged in up to 100\% of cases, replicating real-world patterns of bias in employment settings, and validate three hypotheses of intersectionality. We also find an impact of document length as well as the corpus frequency of names in the selection of resumes. These findings have implications for widely used AI tools that are automating employment, fairness, and tech policy.

Autori: Kyra Wilson, Aylin Caliskan

Ultimo aggiornamento: 2024-08-20 00:00:00

Lingua: English

URL di origine: https://arxiv.org/abs/2407.20371

Fonte PDF: https://arxiv.org/pdf/2407.20371

Licenza: https://creativecommons.org/licenses/by-nc-sa/4.0/

Modifiche: Questa sintesi è stata creata con l'assistenza di AI e potrebbe presentare delle imprecisioni. Per informazioni accurate, consultare i documenti originali collegati qui.

Si ringrazia arxiv per l'utilizzo della sua interoperabilità ad accesso aperto.

Altro dagli autori

Articoli simili