Affrontare il bias di genere nei sistemi AI

Copyright di questo documento riservato agli autori. Uso consentito sotto la Licenza Creative Commons Attribution 4.0 International (CC BY 4.0).

#Introduzione al Workshop

Il workshop IAIL 2024 è incentrato sulla comprensione del futuro dell'IA, soprattutto dopo l'introduzione dell'AI Act. Nella nostra discussione, analizziamo gli Stereotipi di genere nell'IA utilizzando la Teoria dell'Averageness e la legge dell'UE, specificamente come questi elementi interagiscono tra loro.

#Panoramica sugli stereotipi di genere nell'IA

Questo studio esamina come i sistemi IA classificano il genere e come questi sistemi riflettono i pregiudizi esistenti nella società. Utilizzando il concetto di "averageness", che collega l'attrattività all'abilità di riconoscere il genere, indaghiamo se l'IA possa adottare pregiudizi simili a quelli del giudizio umano.

Abbiamo creato un dataset utilizzando il modello IA Stable Diffusion 2.1 per valutare come l'attrattività influisca sulla precisione della Classificazione di genere nell'IA. I nostri risultati mostrano che, proprio come le persone, i sistemi IA faticano con la classificazione di genere basata sull'attrattività percepita, dimostrando stereotipi sociali prevalenti.

Questo studio sottolinea la necessità di considerare le prospettive umane quando si raccolgono dati per l'IA e evidenzia l'importanza di un approccio diversificato nello sviluppo delle tecnologie IA.

#Linguaggio e Stereotipi

Il linguaggio gioca un ruolo fondamentale nel modo in cui comunichiamo e esprimiamo i nostri pensieri. Porta valori culturali e sociali che possono rafforzare gli stereotipi. Gli stereotipi di genere semplificano la nostra comprensione dei ruoli di genere, spesso concentrandosi su caratteristiche fisiche e tratti emotivi associati a uomini e donne.

Le teorie femministe investigano come questi ruoli siano costruiti, insistendo sul fatto che il genere deriva dalle norme sociali e non solo dalla biologia. Questo studio si concentra su come questi stereotipi possano trasferirsi nella tecnologia digitale, in particolare nell'IA.

#Problemi con l'IA e il Pregiudizio di genere

I sistemi IA non sono privi di pregiudizi. Storicamente, la tecnologia è stata plasmata da prospettive maschili, il che solleva preoccupazioni sulla inclusività. I pregiudizi possono sorgere nei risultati dell'IA quando gli esseri umani selezionano i dati, influenzando il modo in cui gli algoritmi apprendono a classificare le immagini.

Ad esempio, alcuni servizi di etichettatura di immagini IA hanno mostrato pregiudizi nel modo in cui classificano le immagini di uomini e donne. Gli studi hanno rivelato che l'IA presta più attenzione agli acconciature delle donne rispetto a quelle degli uomini, portando a etichette che rafforzano stereotipi obsoleti.

Riconoscendo questi problemi, esploriamo se la tecnologia IA perpetui narrazioni centrate sugli uomini o se possa creare un futuro più inclusivo.

#Pregiudizi umani nei sistemi IA

I pregiudizi entrano nei sistemi IA attraverso le scelte riguardanti quali dataset e regole gli algoritmi usano per fare predizioni. Un rapporto dell'Unione Europea evidenzia che la Qualità dei Dati è cruciale per ridurre il pregiudizio nell'IA.

Per contrastare questi pregiudizi, il nostro lavoro mira ad analizzare come le percezioni umane influenzino la raccolta dei dati e le implicazioni che questo ha nello sviluppo dell'IA. Vogliamo identificare i pregiudizi umani presenti nei sistemi di classificazione di genere.

#Esplorando la psicologia cognitiva e l'IA

La nostra ricerca applica idee della psicologia cognitiva, in particolare la Teoria dell'Averageness, per comprendere meglio come i pregiudizi umani possano riflettersi nei sistemi IA. Confrontando le prestazioni dell'IA nella classificazione di genere con il giudizio umano, cerchiamo di identificare l'impatto dell'attrattività su queste classificazioni.

Attraverso la nostra analisi, ci immergiamo nel panorama legale stabilito dall'AI Act e dal GDPR, progettati per proteggere l'equità e l'uguaglianza nelle tecnologie IA. Integrando teorie psicologiche con intuizioni legali, cerchiamo modi per migliorare l'equità di genere nei sistemi IA.

#Studi attuali sul pregiudizio di genere nell'IA

Esplorando il pregiudizio di genere nell'IA, scopriamo che questi sistemi possono amplificare gli squilibri sociali. Il progetto "Gender Shade" ha messo in evidenza imprecisioni significative nel modo in cui i sistemi IA classificano le donne, specialmente le donne di colore. Tali pregiudizi espongono questioni più profonde legate agli stereotipi razziali e di genere.

I diversi servizi IA possono impiegare dati di addestramento e infrastrutture variegate, portando a incoerenze nel modo in cui classificano il genere. Una spiegazione comune è che alcuni gruppi demografici sono sotto-rappresentati nei dataset di addestramento, ma bilanciare semplicemente questi dataset non elimina il pregiudizio.

La persistenza degli stereotipi all'interno dei sistemi IA complica ulteriormente questa questione. La ricerca mostra che caratteristiche come trucco e acconciature influenzano significativamente come l'IA classifica il genere, portando al rafforzamento di convenzioni sociali obsolete.

#Investigando il BIAS nella generazione di immagini

I sistemi di generazione di testo-immagine mostrano anche pregiudizi, in particolare riguardo al genere e alla razza. I modelli IA generano spesso stereotipi nei loro output, riflettendo una tendenza verso la sovra-rappresentazione di attributi associati alla bianchezza e alla mascolinità.

La ricerca ha indicato che i contenuti utilizzati per addestrare i modelli IA controllano i pregiudizi nei loro output. Nonostante i tentativi di ridurre questi pregiudizi, rimangono sfide che richiedono ulteriori indagini.

#Passare dal pregiudizio umano al pregiudizio della macchina

La nostra ricerca sposta la discussione dai pregiudizi umani ai pregiudizi delle macchine. La psicologia cognitiva ha a lungo esplorato come le persone percepiscano il genere, identificando varie caratteristiche facciali che influenzano questa percezione. Tuttavia, è essenziale riconoscere come queste percezioni possano trasformarsi in stereotipi che influenzano le classificazioni dell'IA.

La Teoria dell'Averageness suggerisce che i volti attraenti, a causa della loro natura prototipica, siano classificati più facilmente dall'IA. Questa correlazione varia tra i generi, rivelando differenze nel modo in cui l'attrattività è percepita in base alle norme sociali.

Il nostro studio mira a esaminare come questi pregiudizi nella percezione umana si manifestino nei processi di classificazione dell'IA, soprattutto per quanto riguarda il genere.

#Obiettivi dello studio

Vogliamo rispondere alle seguenti domande riguardo all'influenza della Teoria dell'Averageness sulle prestazioni di classificazione di genere dell'IA:

1. L'attrattività di un volto influisce sulla precisione degli algoritmi IA nella classificazione del genere?
2. Ci sono differenze nella precisione della classificazione tra volti attraenti e non attraenti?
3. Gli algoritmi di classificazione di genere riflettono stereotipi di genere, e come si manifestano questi stereotipi?

#Creazione di un dataset sintetico

Per indagare queste domande, abbiamo generato un dataset sintetico focalizzato sull'attrattività. Sebbene l'attrattività possa essere soggettiva, dataset esistenti come HotOrNot e CelebA sono stati utilizzati per informare il nostro studio.

Tuttavia, questi dataset hanno limitazioni, in particolare riguardo alla rappresentazione di diverse etnie. La nostra soluzione ha comportato la creazione di un dataset sintetico bilanciato utilizzando Stable Diffusion per generare immagini basate su specifici prompt riguardanti l'attrattività.

Generando immagini di individui provenienti da diversi sfondi etnici, abbiamo cercato di creare un ambiente coerente per studiare i pregiudizi nella percezione di genere.

#Creazione del dataset e attributi

Abbiamo creato un dataset bilanciato con immagini frontali di individui attraenti e non attraenti di diverse etnie. Questo processo ha coinvolto l'utilizzo di Stable Diffusion per generare 2.400 immagini, poi ritagliate per concentrarsi sul viso.

Dopo aver generato il dataset, abbiamo analizzato gli attributi presenti in queste immagini, notando differenze in fattori come età e uso del trucco tra volti attraenti e non attraenti.

#Modelli di classificazione di genere e metriche

Per la nostra analisi, abbiamo selezionato diversi modelli di classificazione di genere, tra cui Amazon Rekognition e DeepFace. Le prestazioni di ciascun modello sono state misurate in termini di precisione e tassi di errore, concentrandoci in particolare su come classificano individui attraenti e non attraenti.

I nostri risultati hanno indicato che, mentre la precisione di classificazione maschile era relativamente costante, esistevano disparità significative tra le classificazioni femminili basate sull'attrattività percepita. Questo suggerisce potenziali pregiudizi nel modo in cui l'IA interpreta il genere.

#Analizzando i risultati della classificazione di genere

I risultati della nostra analisi hanno rivelato chiare differenze nelle prestazioni dei modelli IA basate sull'attrattività. Ad esempio, DeepFace ha mostrato un notevole calo della precisione nella classificazione delle donne non attraenti, indicando un pregiudizio verso standard di bellezza più socialmente accettati.

Ulteriori analisi hanno evidenziato che le donne non attraenti affrontavano tassi di errore più elevati attraverso vari modelli, suggerendo che le aspettative sociali riguardanti la bellezza influenzano significativamente la precisione della classificazione di genere dell'IA.

#Esaminando le caratteristiche fisiche e le espressioni

Un'esaminazione qualitativa del nostro dataset generato ha rivelato caratteristiche distinte nel modo in cui i volti attraenti e non attraenti erano rappresentati. I volti attraenti in media tendevano a esibire espressioni sorridenti, mentre i volti non attraenti mostrano spesso espressioni più serie.

Il trucco è apparso essere un fattore significativo, con le donne attraenti spesso ritratte con trucco più pronunciato, mentre le loro controparti non attraenti mostravano un trucco più leggero o assente. Questo rafforza gli stereotipi sociali riguardo alla bellezza e all'attrattività.

#Output IA controversi

Durante la generazione del dataset, alcune immagini prodotte da Stable Diffusion hanno sollevato preoccupazioni. Invece di concentrarsi solo sui volti, molti output rappresentavano parti del corpo, enfatizzando spesso caratteristiche come le labbra o il seno per le donne attraenti. Queste tendenze suggeriscono pregiudizi sottostanti nel modo in cui i sistemi IA generano immagini.

#Implicazioni legali

Il quadro giuridico che guida l'IA, in particolare riguardo alla qualità dei dati e alla rappresentanza, è cruciale per mitigare i pregiudizi. L'AI Act e il GDPR sottolineano l'importanza di dati di alta qualità per garantire un trattamento equo e non discriminatorio all'interno dei sistemi IA.

Come indica il nostro studio, i classificatori IA che si basano su dataset pregiudicati possono per inadvertitamente perpetuare stereotipi e disuguaglianze. È fondamentale affrontare questioni di rappresentanza e qualità dei dati per garantire equità nelle tecnologie IA.

#Valutando i rischi della classificazione di genere

I sistemi IA che elaborano dati personali, specificamente quelli utilizzati per la classificazione di genere, presentano rischi per i diritti umani. Sono necessarie linee guida chiare sui rischi associati a questi sistemi per garantire che non portino a discriminazioni o trattamenti ingiusti.

Attualmente, molti sistemi IA sono classificati come ad alto rischio a causa del loro impatto sui diritti individuali. Tuttavia, la nostra analisi suggerisce che le soglie per definire sistemi ad alto rischio possono mancare di chiarezza.

#Conclusione

La nostra esplorazione della percezione di genere nell'IA mette in evidenza l'intricata relazione tra tecnologia e pregiudizi sociali. I risultati dimostrano come i sistemi IA possano riflettere e rafforzare stereotipi esistenti relativi alla bellezza e al genere.

Per affrontare queste questioni, è cruciale adottare un approccio interdisciplinare che integri competenze tecniche con intuizioni dalle scienze sociali. Garantendo che i dati utilizzati nei sistemi IA siano diversificati e rappresentativi, possiamo lavorare verso la costruzione di tecnologie che rispettino l'uguaglianza e i diritti umani.

Mentre progrediamo nello sviluppo dell'IA, comprendere le sfumature della classificazione di genere e le implicazioni dei pregiudizi sarà fondamentale per raggiungere un futuro più inclusivo per tutti gli individui.