KoBBQ: Un Dataset per il Bias nei Modelli di Linguaggio Coreani

La cultura coreana ha i suoi bias sociali unici che possono differire parecchio da quelli di altri paesi. Per capire meglio questi bias nei modelli linguistici (LM) usati per i task di risposta alle domande, abbiamo sviluppato un nuovo dataset chiamato KoBBQ. Questo dataset è stato creato apposta per riflettere i bias sociali presenti nella società coreana.

#Il bisogno di KoBBQ

I benchmark esistenti per valutare i bias, come il Bias Benchmark for Question Answering (BBQ), sono stati principalmente pensati per la cultura americana. Questo rende difficile usare questi benchmark direttamente in Corea o in altri contesti culturali, dal momento che i bias dipendono molto dai contesti locali. Quindi, serve un benchmark culturalmente rilevante per valutare meglio i bias nei sistemi di risposta alle domande.

#Struttura per l'adattamento culturale

Per creare KoBBQ, abbiamo sviluppato una struttura che segmenta il dataset originale BBQ in tre categorie in base a quanto possano essere adattate alla cultura coreana:

1. Semplicemente-Trasferito: Questi campioni possono essere usati direttamente dopo la traduzione in coreano.
2. Target-Modificato: Questi campioni necessitano di aggiustamenti per concentrarsi su gruppi specifici rilevanti per la cultura coreana.
3. Campione-Rimosso: Questi campioni non sono applicabili alla cultura coreana e vengono esclusi.

In aggiunta, abbiamo introdotto quattro nuove categorie di bias che riflettono le sfumature culturali in Corea.

#Raccolta di dati sui bias sociali

Per garantire che il nostro dataset sia rappresentativo, abbiamo condotto un Sondaggio su larga scala coinvolgendo cittadini coreani. Questo sondaggio mirava a raccogliere informazioni su quali gruppi sono visti come obiettivi di vari bias. Abbiamo identificato gli stereotipi prevalenti nella cultura coreana e usato queste informazioni per convalidare e rifinire il nostro dataset.

Il dataset finale KoBBQ consiste di 268 modelli e un totale di 76.048 esempi, coprendo 12 categorie di Bias Sociale.

#Misurazione di accuratezza e punteggi di bias

Usando KoBBQ, abbiamo testato diversi modelli linguistici all'avanguardia e misurato la loro accuratezza nel rispondere a domande e i loro punteggi di bias. I risultati hanno mostrato differenze significative nel modo in cui questi modelli linguistici mostravano bias, indicando l'importanza di avere un benchmark culturalmente su misura.

#Bias nei modelli linguistici

Il bias sociale si riferisce al trattamento diseguale di diversi gruppi sociali a causa di disuguaglianze storiche e sistemiche. I modelli linguistici possono ereditare questi bias, che si possono vedere nelle loro risposte alle domande. Studi precedenti hanno dimostrato che questi bias spesso riguardano genere, stato socioeconomico e altre categorie.

#Problemi con i dataset esistenti

Molti dei dataset esistenti usati per valutare i modelli linguistici, come BBQ, hanno un forte focus sugli stereotipi americani. Questo presenta sfide quando si cerca di misurare i bias in altre culture, inclusa la Corea. Le differenze nei contesti culturali possono portare a interpretazioni diverse degli stereotipi, rendendo i confronti diretti inaffidabili.

Ad esempio, la percezione dell'uso di droghe è collegata a diversi stati socioeconomici negli Stati Uniti rispetto alla Corea, dove le associazioni possono variare in modo più drastico. Quindi, le traduzioni di questi dataset potrebbero non catturare il vero significato in un Contesto culturale diverso.

#Costruzione di KoBBQ

La creazione di KoBBQ ha coinvolto diversi passaggi:

1. Categorization: Abbiamo ordinato i modelli dal dataset originale BBQ nelle tre categorie menzionate prima.
2. Traduzione: Abbiamo usato traduttori professionisti familiari con la cultura coreana per garantire che le traduzioni fossero contestualmente appropriate.
3. Ricostruzione Demografica: Abbiamo aggiornato le categorie di gruppo per riflettere le demografie e i contesti sociali unici della Corea.
4. Creazione di Nuovi Modelli: Per creare una rappresentazione equa dei bias in Corea, abbiamo realizzato nuovi modelli basati su fonti attendibili e credibili.
5. Validazione tramite Sondaggi: Sondaggi su larga scala sono stati impiegati per verificare la presenza di bias sociali e come si allineano con le percezioni attuali nella società coreana.

#Risultati del sondaggio

Per i sondaggi, abbiamo raccolto un campione demografico diversificato di partecipanti, assicurando una rappresentazione bilanciata di età e genere. Ai rispondenti è stato chiesto se certi stereotipi esistessero nella società e di identificare quali gruppi credevano fossero associati a questi stereotipi.

Questo approccio ci ha permesso non solo di convalidare i bias esistenti, ma anche di scoprire sfumature culturali che potrebbero non essere state riconosciute prima.

#Valutazione dei modelli linguistici

Quando abbiamo analizzato modelli linguistici come Claude, GPT-3.5 e KoAlpaca usando KoBBQ, abbiamo confrontato la loro accuratezza e i punteggi di bias. Questa valutazione ci aiuta a capire quanto bene questi modelli riescono a rispondere a domande, rivelando anche eventuali bias incorporati nelle loro risposte.

Da questa analisi, abbiamo scoperto che i modelli linguistici tendevano ad avere una maggiore accuratezza nei casi in cui il contesto era chiarito. Tuttavia, tendevano anche a riflettere i bias sociali esistenti, sottolineando l'importanza di avere benchmark che rappresentino accuratamente le diverse culture.

#Categorie di Bias

In KoBBQ, abbiamo definito diverse categorie di bias, tra cui:

• Stato di Disabilità: Stereotipi legati a disabilità fisiche o mentali.
• Identità di Genere: Bias e stereotipi associati a diverse identità di genere.
• Aspetto Fisico: Bias basati su come qualcuno appare.
• Razza/Etnia/Nazionalità: Stereotipi legati alla razza o nazionalità di una persona.
• Stato Socio-Economico: Bias legati a reddito o classe.
• Orientamento Sessuale: Stereotipi legati all'orientamento sessuale di un individuo.
• Area di Origine: Stereotipi basati su dove qualcuno è originario all'interno della Corea.
• Struttura Familiare: Bias derivanti da diverse dinamiche familiari.
• Orientamento Politico: Stereotipi associati a credenze politiche.
• Background Educativo: Bias relativi al livello educativo di una persona.

I dati raccolti e analizzati in queste categorie permettono di avere una comprensione completa dei bias presenti nella società coreana.

#Come KoBBQ migliora la misurazione dei bias

KoBBQ contribuisce significativamente alla misurazione dei bias in diversi modi:

1. Sensibilità Culturale: Concentrandosi sui contesti culturali coreani, offre un quadro più chiaro su come i bias si manifestano nel linguaggio usato.
2. Dati Completi: L'inclusione di nuove categorie e una valida convalida tramite sondaggi offrono una visione più ampia sui bias sociali.
3. Struttura per la Ricerca Futuro: I metodi sviluppati per creare KoBBQ possono essere applicati ad altre culture, aprendo la strada a benchmark personalizzati per vari contesti linguistici e culturali.

#Confronto di KoBBQ con altri dataset

Confrontando KoBBQ con versioni tradotte di BBQ e CBBQ, abbiamo trovato differenze significative nelle performance dei modelli. Dataset creati a mano come KoBBQ sono essenziali per misurare accuratamente i bias nei contesti culturali, poiché le traduzioni automatiche spesso non riescono a catturare le sfumature del linguaggio e del significato.

I modelli hanno avuto punteggi diversi su KoBBQ rispetto alle versioni tradotte, mostrando l'importanza dell'adattamento culturale nella misurazione efficace dei bias dei modelli linguistici.

#Sfide e Limitazioni

Nonostante i notevoli progressi fatti con KoBBQ, rimangono delle sfide. La percezione del bias è soggettiva, rendendo difficile sviluppare una misura definitiva di bias che si applichi in modo universale. Inoltre, i bias possono sovrapporsi e manifestarsi in modi complessi che non sono facilmente categorizzabili.

Inoltre, mentre KoBBQ cerca di essere completo, ci sono ancora potenzialmente categorie di bias non esplorate nella società coreana che potrebbero non essere state incluse nel dataset.

#Conclusione

In sintesi, KoBBQ serve come uno strumento importante per valutare i bias nei modelli linguistici nel contesto della società coreana. Creando un dataset che riflette le sfumature culturali e sociali uniche della Corea, offriamo una risorsa preziosa per la ricerca futura sui bias nei modelli linguistici.

Questo lavoro non solo sottolinea l'importanza della sensibilità culturale nella valutazione dei bias, ma apre anche la porta a sforzi simili in altri contesti culturali. Speriamo che KoBBQ aiuti nello sviluppo di modelli linguistici più sicuri e più equi che comprendano meglio le complessità delle dinamiche sociali umane.