Capire il sessismo online attraverso una rilevazione spiegabile

Il Sessismo online è un problema serio che colpisce molte persone, soprattutto donne. Questo tipo di sessismo può rendere gli spazi online insicuri e poco accoglienti. Per combattere questo problema, possiamo usare strumenti automatici per trovare e etichettare contenuti sessisti online. Tuttavia, molti di questi strumenti classificano solo i contenuti come "sessisti" o "non sessisti", il che non coglie le varie forme in cui può manifestarsi il sessismo. Senza spiegazioni chiare, gli utenti potrebbero non capire perché qualcosa è stato etichettato come sessista, il che può portare a confusione e frustrazione.

Per migliorare questa situazione, abbiamo istituito un compito chiamato Rilevazione Spiegabile del Sessismo Online (EDOS). Questo compito mira a fornire un modo più chiaro per rilevare e spiegare casi di sessismo nei Commenti online. Abbiamo tre obiettivi principali:

1. Creare un sistema dettagliato per classificare diversi tipi di contenuti sessisti.
2. Sviluppare un ampio dataset di commenti sui social media etichettati con specifici tipi di sessismo.
3. Fornire strumenti e analisi di base affinché altri possano costruire sistemi migliori per rilevare il sessismo.

#L'importanza della Rilevazione Spiegabile

Il sessismo online danneggia individui e società. Può creare un ambiente tossico, in particolare per le donne. Gli strumenti automatici vengono usati sempre di più per trovare e affrontare questo tipo di contenuti in varie piattaforme online. Tuttavia, molti di questi strumenti forniscono solo classificazioni generali, come "abuso" o "sessismo", senza spiegazioni. Questa mancanza di chiarezza può creare problemi per gli utenti che vengono moderati. Possono sentirsi frustrati o diffidenti perché non capiscono perché qualcosa sia stato segnalato.

Una moderazione efficace ha bisogno di spiegazioni. I moderatori che si affidano a strumenti automatici potrebbero non fidarsi completamente di essi se non comprendono il ragionamento dietro certe etichette. Inoltre, quando i sistemi mancano di etichette chiare, diventa difficile identificare le debolezze, il che è cruciale per migliorare questi strumenti.

Per affrontare queste sfide, abbiamo creato un compito che prevede un sistema di Classificazione chiaro per il sessismo. Il nostro sistema è suddiviso in tre parti, o compiti.

#Compito A: Rilevazione Binaria del Sessismo

Il primo compito è semplice: dobbiamo capire se un commento è sessista o no. Definiamo contenuto sessista come qualsiasi cosa che prenda di mira le donne in base al loro genere o una combinazione di genere e altre identità, come razza o religione.

#Compito B: Categorizzare il Sessismo

Per i contenuti considerati sessisti, il secondo compito li suddivide in quattro diverse categorie. Queste categorie ci aiutano a comprendere la natura del sessismo coinvolto. Questa suddivisione è importante perché il danno causato da diversi tipi di commenti può variare notevolmente.

#Compito C: Dettaglio Fine-Grained

Infine, il terzo compito identifica specifici vettori all'interno delle categorie. Questo significa che guardiamo da vicino quali attitudini o messaggi sessisti sono presenti nei commenti.

#Aspetti Unici del Nostro Compito

Ci sono tre motivi principali per cui il compito EDOS è speciale:

1. Varietà di Dati: Abbiamo raccolto commenti da due piattaforme popolari, Reddit e Gab. In questo modo, possiamo coprire una gamma più ampia di voci ed esperienze rispetto a se avessimo utilizzato solo una piattaforma.

2. Annotazioni di Alta Qualità: Abbiamo assunto solo annotatrici donne, ben addestrate per identificare questi commenti. Questa scelta aiuta a ridurre i bias nell'etichettatura e assicura che chi è maggiormente colpito dal sessismo abbia voce in capitolo su come venga identificato.

3. Struttura Dettagliata: La nostra classificazione è costruita su ricerche solide. Le categorie e i vettori sono pensati per essere significativi, migliorando il modo in cui spieghiamo le previsioni e consentendo un'analisi più complessa.

#Creazione del Dataset

#Scegliere le Piattaforme Giuste

La maggior parte delle ricerche sui danni online si è concentrata principalmente su Twitter, che spesso non riesce a catturare una grande varietà di contenuti sessisti. Per affrontare questa mancanza, abbiamo deciso di utilizzare Gab e Reddit. Gab è conosciuto come una piattaforma "alt-tech" che promuove la libertà di parola e spesso attira individui con opinioni estreme. Reddit, d'altra parte, ha molte comunità basate su temi in cui possono avvenire discussioni. Raccolta di dati da entrambe le piattaforme, possiamo creare un dataset più ricco.

#Processo di Raccolta Dati

Abbiamo raccolto un'enorme quantità di dati da queste piattaforme. In particolare, abbiamo raccolto circa 34 milioni di post disponibili pubblicamente da Gab e 42 milioni di commenti da specifiche comunità di Reddit conosciute per il loro contenuto sessista. In totale, abbiamo creato un pool di 1 milione di voci da cui abbiamo campionato per le etichette.

#Pulizia dei Dati

Prima di etichettare i dati, abbiamo eseguito dei passaggi per pulirli. Questo processo prevedeva:

1. Rimuovere URL e nomi utente per proteggere la privacy.
2. Rimuovere voci vuote e commenti che contenevano solo URL o emoji.
3. Eliminare voci non in inglese e duplicati.

#Tecniche di Campionamento

Trovare contenuti sessisti nel "wild" può essere complicato perché la reale prevalenza potrebbe essere molto bassa. Quindi, abbiamo utilizzato una varietà di metodi per aumentare la presenza di commenti sessisti nei nostri campioni. Questo include la ricerca di parole chiave specifiche e l'uso di modelli di scoring per contenuti tossici per identificare commenti potenzialmente dannosi.

#Processo di Annotazione dei Dati

#Linee Guida per gli Annotatori

Abbiamo fornito ai nostri annotatori linee guida dettagliate su come identificare diversi tipi di sessismo. Volevamo ridurre i bias personali e assicurarci che le nostre etichette fossero coerenti.

#Scelta degli Annotatori

Abbiamo selezionato con cura annotatrici che si identificano come donne per etichettare le voci. Questa scelta aiuta a creare una comprensione più accurata del sessismo dalla prospettiva di chi lo vive.

#Il Processo di Annotazione

Ogni commento è stato etichettato da tre annotatrici diverse. Nei casi in cui le annotatrici non concordavano, un team di esperti ha esaminato i commenti per garantire che fossero applicate le etichette corrette.

#Definizione del Compito

I compiti SemEval consistono in tre parti:

1. Compito A: Classificare se un commento è sessista o meno.
2. Compito B: Se sessista, determinare la categoria specifica a cui appartiene.
3. Compito C: Se categorizzato, identificare quale specifico vettore di sessismo rappresenta.

#Valutazione e Baseline

Per i nostri compiti, abbiamo presentato diversi modelli di baseline per fornire un modo ai partecipanti di misurare le loro prestazioni. La metrica di valutazione che abbiamo usato si chiama Macro-F1 score, che aiuta a tenere conto dello sbilanciamento delle classi.

#Risultati dei Partecipanti

Il compito EDOS ha attratto molti partecipanti, con molti team che hanno presentato i loro modelli e metodi per la revisione. La maggior parte dei partecipanti si è affidata a modelli di linguaggio avanzati per le loro presentazioni. I risultati hanno mostrato che, mentre alcuni modelli hanno performato bene, c'era ancora molto margine di miglioramento in termini di identificazione accurata di tipi di sessismo fine-grained.

#Sfide e Scoperte

#Analisi degli Errori

Abbiamo esaminato gli errori commessi dai modelli con le migliori prestazioni per comprendere meglio dove si potesse migliorare. Abbiamo scoperto che molti errori derivavano da incomprensioni su forme sottili di sessismo.

#Lezioni Apprese

1. La Varietà dei Dati è Importante: La varietà nei nostri dati ha aiutato a far emergere le diverse forme che può assumere il sessismo. Questo può essere una sfida per l'addestramento dei modelli, ma è essenziale per una comprensione complessiva.

2. Difficoltà nella Rilevazione Fine-Grained: Abbiamo scoperto che distinguere tra le varie forme di sessismo è notevolmente più difficile che semplicemente identificare se un commento è sessista.

3. Utilità del Pre-Addestramento Continuato: Usare dati non etichettati in dominio ha aiutato i partecipanti a migliorare le loro prestazioni.

4. Sbilanciamento delle Classi: Il nostro dataset aveva una classificazione binaria più bilanciata, ma mostrava un notevole sbilanciamento di classe nelle categorie più fine.

#Conclusione

Abbiamo creato un nuovo sistema per rilevare il sessismo online che è più sfumato e spiegabile. La tassonomia che abbiamo progettato, insieme al dataset e ai modelli di baseline, mira a fornire una base per strumenti di rilevazione automatizzati migliori. Mentre il problema del sessismo online continua a essere una preoccupazione pressante, il nostro lavoro è un passo verso soluzioni più efficaci che rendano gli spazi online più sicuri per tutti.

#Lavori Futuri

Guardando avanti, incoraggiamo altri a costruire sul nostro lavoro. C'è potenziale per i futuri sistemi di affrontare le lacune che abbiamo identificato e migliorare il modo in cui il sessismo viene rilevato online. L'obiettivo è creare strumenti che siano non solo accurati, ma che offrano anche spiegazioni che aiutino le persone a capire il ragionamento dietro le classificazioni.

Questa ricerca contribuisce a risorse preziose per affrontare il sessismo online e speriamo che porterà a ambienti online più sicuri e rispettosi per tutti gli utenti.