Affrontare i pregiudizi nelle immagini generate dall'IA

I modelli di intelligenza artificiale per la generazione di immagini, come Stable Diffusion, vengono utilizzati da tante persone ogni giorno. Però, ci sono sempre più preoccupazioni su come questi modelli possano rinforzare stereotipi razziali e di genere. Questo articolo parla di come studiamo questa questione sviluppando un classificatore che identifica la razza, il genere e l'età dei volti nelle immagini. Abbiamo scoperto che il nostro classificatore funziona molto bene e lo usiamo per analizzare i Pregiudizi nelle immagini create da Stable Diffusion.

#Sviluppo del Classificatore

Per analizzare i pregiudizi, abbiamo creato un classificatore che prevede razza, genere ed età dalle immagini dei volti. Funziona in tre passaggi: primo, rileva il volto; secondo, genera un embedding, che è una rappresentazione numerica del volto; e terzo, classifica il volto in base alla razza, genere e fasce di età. Abbiamo addestrato questo classificatore usando il dataset FairFace, che contiene un gran numero di immagini etichettate con la razza, il genere e l'età delle persone.

FairFace include categorie per diverse razze: Nera, Est Asiatico, Indiano, Latino, Medio Orientale, Sud Est Asiatico e Bianco. Ha anche due categorie di genere: Femmina e Maschio. Per l'età, ci sono più gruppi che vanno dai neonati agli adulti più anziani. Abbiamo semplificato alcune categorie combinando certe razze e gruppi di età per facilitare l'addestramento.

Dopo l'addestramento, abbiamo testato il nostro classificatore su un set di convalida per vedere quanto funzionasse bene. L'abbiamo confrontato con altri modelli di studi precedenti per dimostrare che il nostro classificatore è tra i migliori nel prevedere razza, genere ed età.

#Esaminare i Pregiudizi in Stable Diffusion

Usando il nostro classificatore, abbiamo esaminato come Stable Diffusion si comporta riguardo ai pregiudizi tra diverse razze e generi. Abbiamo generato 10.000 immagini per razza e genere usando un prompt neutro: "una foto di una persona." I risultati hanno mostrato che gli individui bianchi erano la razza più rappresentata, costituendo il 47% delle immagini. Gli individui neri seguivano con il 33%, mentre gli individui asiatici rappresentavano solo il 3% e gli indiani solo il 5%. Questo indica una significativa sotto-rappresentazione di alcuni gruppi razziali.

In termini di genere, i maschi erano sovra-rappresentati nelle immagini, costituendo il 65%. Questi risultati si allineano con studi precedenti che mostrano che molte immagini generate da Stable Diffusion presentano spesso uomini occidentali con pelle chiara.

Per esplorare ulteriormente questi pregiudizi, abbiamo esaminato il dataset su cui Stable Diffusion è stato addestrato, noto come LAION-5B. Abbiamo trovato schemi simili lì, con gli individui bianchi rappresentati anche di più rispetto alle immagini SDXL. Questo suggerisce che i pregiudizi che vediamo in Stable Diffusion non sono solo uno specchio dei dati di addestramento, ma potrebbero essere influenzati dal modello stesso.

#Affrontare i Pregiudizi

Per ridurre i pregiudizi trovati in Stable Diffusion, abbiamo sviluppato una versione fine-tuned chiamata SDXL-Inc. Questo modello mira a garantire che le diverse razze siano rappresentate equamente e che entrambi i generi siano rappresentati in modo uguale. Abbiamo raggiunto questo identificando prima 32 Professioni e categorizzandole in due gruppi per il testing e il fine-tuning.

Abbiamo generato dataset per ogni combinazione di razza e genere all'interno di quelle professioni. Il nostro processo di fine-tuning è stato efficiente, permettendoci di creare modelli individuali su misura per queste combinazioni. Quando abbiamo usato SDXL-Inc per generare immagini, abbiamo trovato che la rappresentazione delle razze era molto più bilanciata rispetto al modello originale di Stable Diffusion. Le differenze tra i gruppi razziali nelle immagini generate sono diventate significativamente più piccole.

#Stereotipi Professionali

Successivamente, abbiamo esaminato come Stable Diffusion ritrae i professionisti tra diverse razze e generi. Abbiamo generato un gran numero di immagini per 32 diverse professioni, ciascuna ritraente un primo piano di una persona in un ruolo specifico. I risultati hanno rivelato forti disparità razziali e di genere.

Ad esempio, in molte professioni di alto status, gli individui bianchi erano i più rappresentati, superando spesso l'80%. Al contrario, le professioni che erano comunemente considerate a basso reddito mostravano una maggiore rappresentanza di individui neri. Questo rinforza gli stereotipi esistenti su razza e status economico nel posto di lavoro.

Guardando alla distribuzione di genere nelle professioni, i maschi costituivano il 90% delle immagini per ruoli come Dottore, Manager e Professore. Al contrario, lavori come Infermiere e Segretaria erano per lo più rappresentati da femmine. Questi trend riflettono opinioni comuni che associano certi generi a specifici lavori.

#Distribuzione di Genere e Età

Abbiamo anche indagato su come l'età sia rappresentata nelle immagini generate da Stable Diffusion. I risultati hanno mostrato che il gruppo di età 20-39 era il più comunemente rappresentato in quasi tutte le professioni. Gli individui più anziani, in particolare quelli di 60 anni e oltre, erano raramente rappresentati, il che mostra che il modello tende a favorire volti più giovani.

Per capire meglio i pregiudizi legati agli attributi, abbiamo esaminato come le diverse razze fossero rappresentate in relazione a tratti come bellezza, intelligenza e povertà. Abbiamo trovato che gli individui bianchi erano spesso rappresentati come belli e intelligenti, mentre alcuni stereotipi collegavano gli individui neri al crimine e quelli medio orientali al terrorismo.

#Soluzioni per la Debiasing

Avendo identificato questi pregiudizi, abbiamo proposto una soluzione conosciuta come SDXL-Inc, che ha ridotto significativamente le differenze nella rappresentazione rispetto al modello originale. Questa soluzione può affrontare efficacemente gli stereotipi tra varie professioni e attributi, garantendo una rappresentazione più diversificata delle immagini.

Abbiamo anche esplorato una seconda soluzione chiamata SDXL-Div, che si concentra sull'aumento della diversità facciale all'interno della stessa razza nelle immagini generate da Stable Diffusion. Abbiamo affinato questo modello usando un dataset ottenuto da Flickr, che includeva immagini di alta qualità di volti con varie caratteristiche. I risultati hanno indicato che SDXL-Div poteva produrre immagini che mostrano maggiore diversità nei tratti facciali all'interno dello stesso gruppo razziale.

#Confronto delle Prestazioni

Per valutare quanto bene le nostre soluzioni abbiano funzionato rispetto ai modelli esistenti, abbiamo condotto diversi test. Abbiamo confrontato SDXL-Inc e SDXL-Div con un altro modello proposto di recente chiamato ITI-GEN. Abbiamo generato immagini usando prompt simili e misurato quanto uniformemente ciascun modello rappresentasse diverse razze e generi.

I risultati hanno mostrato che, mentre ITI-GEN ha ridotto il pregiudizio rispetto al modello originale di Stable Diffusion, SDXL-Inc ha funzionato meglio nel complesso. Ha prodotto una distribuzione più bilanciata di immagini tra le categorie razziali e di genere, indicando la sua efficacia nell'affrontare i pregiudizi.

#Conclusione

In sintesi, il nostro studio evidenzia significativi pregiudizi nelle immagini generate da modelli di testo-immagine come Stable Diffusion. Abbiamo sviluppato un classificatore per misurare questi pregiudizi, rivelando che alcuni gruppi, in particolare donne e individui di razze sotto-rappresentate, sono frequentemente mostrati in ruoli stereotipati.

Le nostre soluzioni, SDXL-Inc e SDXL-Div, mirano a mitigare questi pregiudizi promuovendo una rappresentazione più equa tra generi, razze e professioni. Affinando il modo in cui vengono generate le immagini, possiamo lavorare per una rappresentazione più equa delle persone nei contenuti generati dall'IA.

#Direzioni Future

Il lavoro svolto qui apre la porta a numerosi futuri studi. Raccomandiamo di continuare a indagare sui pregiudizi nei modelli di IA, concentrandosi su come migliorare la rappresentazione in una varietà di contesti. Questo include non solo le caratteristiche facciali, ma anche la rappresentazione di diverse culture e background.

Sviluppare strumenti user-friendly che possano aiutare le persone a creare contenuti più inclusivi sarà anche essenziale. Affrontando queste questioni, possiamo contribuire a garantire che le immagini generate dall'IA riflettano la ricca diversità del mondo reale.

Con l'aumento dell'uso dei modelli di testo-immagine, è cruciale considerare il loro impatto sulla società. Garantire che queste tecnologie non rinforzino stereotipi dannosi è una responsabilità che dobbiamo prendere seriamente. Continuando a rifinire questi modelli e a sfidare i pregiudizi, possiamo creare un futuro in cui i contenuti generati dall'IA siano veramente rappresentativi di tutte le persone.

#Materiali e Risorse

Nel nostro studio, abbiamo utilizzato diversi dataset, come FairFace e LAION-5B, che ci hanno permesso di addestrare e convalidare efficacemente il nostro classificatore. Questi dataset hanno fornito una base per comprendere le dinamiche razziali e di genere presenti nelle immagini generate dall'IA.

Abbiamo anche impiegato tecniche avanzate nel machine learning, inclusi macchine a vettori di supporto e reti neurali convoluzionali, per sviluppare il nostro classificatore. Questo approccio si è rivelato efficace nell'ottenere un alto livello di accuratezza, precisione e richiamo nella previsione di razza, genere ed età.

L'implementazione delle nostre soluzioni di debiasing, SDXL-Inc e SDXL-Div, si è basata su un fine-tuning di modelli esistenti con dataset curati che riflettevano una gamma più ampia di diversità. Questo ci ha permesso di creare immagini che sono più rappresentative tra diversi background e tratti.

La collaborazione tra strumenti, dataset e metodologie è stata fondamentale per svelare pregiudizi e sviluppare soluzioni efficaci per contenuti generati dall'IA più equi. Man mano che andiamo avanti, il nostro focus rimarrà sul migliorare la rappresentazione e affrontare le sfide poste dai pregiudizi nei modelli di IA generativa.