Valutare il bias dell'IA: uno studio sull'antisemitismo

I modelli di linguaggio di grandi dimensioni (LLM) sono usati in tanti campi, ma non sono perfetti e spesso mostrano dei bias contro certi gruppi. I ricercatori misurano questo bias usando dei dataset di riferimento, ma i metodi attuali hanno dei problemi come la scarsa qualità e la mancanza di profondità. Alcuni studi precedenti hanno usato input della comunità per migliorare i dataset di riferimento, ma questo approccio richiede ancora un sacco di lavoro umano. Questo articolo esamina se un LLM, in particolare GPT-3.5-Turbo, può aiutare a creare un dataset che misura il bias, concentrandosi sull'Antisemitismo all'interno della comunità ebraica. I nostri risultati suggeriscono che GPT-3.5-Turbo non performa abbastanza bene da sostituire gli annotatori umani per questo compito delicato.

#Definire il Bias e il Danno

Quando parliamo di bias nell'IA, è essenziale definire cosa intendiamo. In questo articolo, definiamo il bias come trattare un gruppo marginalizzato in modo diverso rispetto a un gruppo dominante, spesso rinforzando Stereotipi negativi già esistenti. Il danno si riferisce a eventi negativi-come danni emotivi o finanziari-che colpiscono gli individui. Misurando il bias negli LLM, possiamo prendere provvedimenti per ridurre questi effetti nocivi.

#Metodi Attuali per Misurare il Bias

Il metodo usuale per misurare il bias negli LLM coinvolge benchmark di frasi accoppiate. Questo significa confrontare due frasi simili-una che mostra uno stereotipo e l'altra che non lo fa. L'obiettivo è vedere quanto è probabile che il modello scelga la frase stereotipata rispetto a quella non stereotipata. Tuttavia, molti benchmark attuali hanno difetti notevoli. Spesso cercano di coprire troppi argomenti senza andare abbastanza nel dettaglio. Ad esempio, mentre potrebbero includere aspetti di razza o genere, possono semplificare eccessivamente queste questioni. Certi bias, come l'antisemitismo, vengono spesso trascurati.

#Benchmark Basati sulla Comunità

Sforzi recenti hanno dimostrato che usare input della comunità può portare a benchmark migliori. Invece di fare affidamento su lavoratori occasionali che potrebbero non avere esperienza reale con bias specifici, i ricercatori hanno raccolto stereotipi direttamente da membri della comunità colpiti tramite sondaggi. Questo metodo ha prodotto dataset di migliore qualità, ma richiede comunque un sacco di sforzo umano per analizzare e annotare le risposte ai sondaggi. Questo processo può essere lungo e faticoso, soprattutto per chi è personalmente colpito dalle questioni in studio.

#Dataset WinoSemitism e la Sua Costruzione

Per creare il dataset WinoSemitism, abbiamo seguito le migliori pratiche esistenti per la progettazione del Sondaggio e la raccolta dei dati. Abbiamo impostato un sondaggio rivolto ai membri della comunità ebraica per raccogliere le loro esperienze con l'antisemitismo. I partecipanti hanno risposto a domande sugli stereotipi, permettendoci di raccogliere una gamma di prospettive da diversi background.

Il sondaggio è durato circa 10 settimane e abbiamo ricevuto risposte da 203 individui. La maggior parte si identificava come bianca e si trovava negli Stati Uniti, con un mix di generi e background religiosi. La maggior parte delle risposte riguardava l'antisemitismo generale piuttosto che stereotipi specifici.

#Punteggio di Bias e Benchmarking

Il dataset WinoSemitism è composto da coppie di frasi che mostrano antisemitismo affiancato a dichiarazioni contro-stereotipiche. Abbiamo sviluppato frasi basate sugli input del sondaggio, assicurandoci che rappresentassero accuratamente gli stereotipi riportati dai partecipanti. L'obiettivo di questo benchmark è vedere quanto spesso modelli specifici applicano stereotipi antisemiti ai Jewish rispetto a quelli non ebrei.

I risultati hanno mostrato un chiaro schema di bias. Tutti i modelli testati hanno mostrato un certo grado di antisemitismo, applicando spesso stereotipi più frequentemente agli individui ebrei che agli altri.

#Il Ruolo di GPT nel Benchmarking del Bias

Per ridurre il carico sugli annotatori umani, abbiamo tentato di usare GPT-3.5-Turbo per estrarre stereotipi dannosi dalle risposte al sondaggio. Ogni risposta è stata elaborata per identificare dichiarazioni che riflettevano i problemi condivisi dai partecipanti. Tuttavia, l'output di GPT ha mostrato problemi significativi.

Quando abbiamo confrontato gli stereotipi estratti da umani con quelli prodotti da GPT, abbiamo trovato molti errori. Un gran numero di predicati estratti dal modello ha mal rappresentato le risposte al sondaggio o ha incluso stereotipi che non erano presenti nei dati originali. Questo solleva preoccupazioni sulla affidabilità dell'uso degli LLM per compiti così delicati.

#Risultati dell'Estrazione dei Predicati

La nostra analisi dei risultati del processo di estrazione di GPT ha rivelato bassi livelli di accuratezza. Il modello ha faticato a catturare il significato delle risposte al sondaggio, e molte delle estrazioni erano vaghe o completamente errate. In particolare, abbiamo notato che il modello spesso produceva stereotipi che contraddicevano ciò che i rispondenti al sondaggio avevano riportato.

Inoltre, abbiamo scoperto che il modello generava frequentemente output ripetitivi, indicando un'incapacità di cogliere le sfumature dei bias in esame. Questo non solo ha minato la qualità dei dati, ma ha anche posto un rischio di perpetuare stereotipi dannosi.

#Confronto tra Dati Umani e Estratti da GPT

Quando abbiamo confrontato i punteggi di bias generati da dataset creati da annotatori umani e quelli creati da GPT, abbiamo osservato che i due non erano allineati. La correlazione tra i due punteggi era debole, il che significa che i benchmark creati dal modello non catturavano efficacemente gli stessi comportamenti di quelli creati dagli umani. Questa disparità potrebbe portare a interpretazioni errate dell'efficacia di certe strategie di mitigazione del bias.

#Sfide e Rischi

Le sfide affrontate nell'uso degli LLM nella costruzione di benchmark di bias sollevano serie preoccupazioni. L'alta percentuale di errori nelle estrazioni da GPT significa che fare affidamento su questo modello potrebbe portare a importanti bias trascurati. Questo potrebbe colpire particolarmente i gruppi marginalizzati, poiché le imprecisioni nei dati potrebbero mascherare le reali esperienze di questi individui.

Il costo psicologico sugli annotatori umani non può essere ignorato. Leggere le risposte ai sondaggi su bias e danno può essere emotivamente pesante, portando al burnout. Usare gli LLM per assistere in questo compito può sembrare allettante, ma i risultati indicano che questo approccio è inadeguato.

#Conclusione

I risultati del nostro studio sottolineano l'importanza del coinvolgimento umano nella creazione di benchmark di equità. Anche se gli LLM come GPT-3.5-Turbo possono offrire qualche assistenza, non possono sostituire la comprensione sfumata che gli annotatori umani apportano. Per compiti delicati che coinvolgono bias sociali, i rischi legati all'uso degli LLM superano i benefici.

Andando avanti, è essenziale continuare a dare priorità all'input e alle esperienze dei membri della comunità nella ricerca di sistemi AI equi. Garantire annotazioni di alta qualità è cruciale per sviluppare benchmark di bias efficaci che riflettano sinceramente le esperienze vissute dai gruppi marginalizzati.