Esaminando il panorama dei dataset di comunicazione d'odio

La comunicazione d'odio online è un problema serio che colpisce molte persone. Le ricerche mostrano che un numero significativo di utenti di internet in vari paesi ha incontrato materiale d'odio online. In risposta, gli esperti hanno sviluppato strumenti automatici che utilizzano tecniche di apprendimento automatico per identificare e ridurre contenuti d'odio su diverse piattaforme. Tuttavia, l'efficacia di questi strumenti dipende molto dalla Qualità dei Dati su cui sono stati addestrati.

Sfortunatamente, ci sono prove che suggeriscono che questi sistemi automatici spesso faticano a rilevare l'odio diretto verso gruppi specifici, e potrebbero anche mostrare pregiudizi contro questi gruppi. Nonostante ciò, abbiamo una comprensione limitata di dove provengano questi pregiudizi. Questo articolo si propone di esaminare e analizzare i dataset utilizzati per addestrare questi strumenti di rilevamento nell'ultimo decennio, concentrandosi sulle identità rappresentate in questi dataset, sia intenzionalmente che involontariamente.

#Comprendere la Comunicazione d'Odio

La comunicazione d'odio può assumere varie forme, tra cui discorsi, immagini o testi scritti che insultano gli individui in base alla loro identità sociale, come razza, genere, religione o orientamento sessuale. La mancanza di una definizione chiara e unificata di cosa costituisce la comunicazione d'odio complica gli sforzi per combatterla.

Per affrontare questo problema, i ricercatori hanno dedicato risorse sostanziali per costruire metodi basati sull'apprendimento automatico. Addestrando questi sistemi su dati etichettati come d'odio o meno, sperano di creare strumenti più accurati per rilevare l'odio online.

#Qualità dei Dati

Il detto "spazzatura dentro, spazzatura fuori" si applica ai modelli di apprendimento automatico, il che significa che le prestazioni di questi modelli sono limitate dalla qualità dei dati di addestramento. Vari fattori influenzano la qualità dei dati, tra cui l'accuratezza delle etichette, l'equilibrio tra le diverse categorie e quanto a fondo i dataset coprono l'argomento.

Nel contesto dei dataset per la comunicazione d'odio, la qualità dei dati può essere suddivisa in due categorie principali: qualità intrinseca, che si concentra su quanto bene il dataset cattura l'intera gamma di comunicazione d'odio, e qualità estrinseca, che considera l'accessibilità e l'usabilità dei dati.

La cura dei dati implica importanti scelte progettuali che possono influenzare la qualità. Le identità dei ricercatori e degli annotatori coinvolti nella creazione di questi dataset possono anche avere un impatto significativo. I loro background, credenze ed esperienze possono plasmare le definizioni che usano e le scelte che fanno riguardo a quali identità includere nei dataset.

#Stato Attuale della Ricerca

Recenti revisioni hanno esaminato l'evoluzione della ricerca sulla comunicazione d'odio, comprese le sue avanzate metodologiche e teoriche. Questo studio amplia quel corpo di lavoro scrutinando le pratiche coinvolte nella cura dei dataset di comunicazione d'odio, in particolare riguardo alla rappresentazione dei bersagli dell'odio.

L'analisi rivela che, mentre il campo sta diventando più diversificato, rimangono significative lacune. Ad esempio, molti dataset si concentrano ancora principalmente su identità comunemente studiate, come razza e genere, trascurando altre come età o immagine corporea.

#Risultati dall'Analisi dei Dati

Per comprendere il panorama attuale dei dataset di comunicazione d'odio e le loro rappresentazioni di varie identità, sono state esplorate diverse domande chiave:

1. Dove si trovano i produttori di questi dataset e quali lingue sono rappresentate?
2. Quali identità sono identificate come bersagli della comunicazione d'odio nella letteratura?
3. Quali identità sono incluse nei dataset, anche se non sono menzionate esplicitamente nella letteratura?

#Distribuzione Geografica dei Ricercatori

La produzione di dataset legati alla comunicazione d'odio è stata geograficamente concentrata, con un numero significativo di contributori basati negli Stati Uniti. Tuttavia, negli ultimi anni, c'è stata una notevole crescita dei contributi da parte di ricercatori in altre regioni.

La presenza di collaborazioni transnazionali sta crescendo, indicando un cambiamento verso un approccio più globale nello studio della comunicazione d'odio. Nonostante questo progresso, la maggior parte dei dataset è ancora prevalentemente in inglese, con relativamente pochi esempi di dataset multilingue.

#Diversità Linguistica nei Dataset

I dataset analizzati coprono una vasta gamma di lingue, anche se l'inglese rimane la più comune. Un numero crescente di dataset in altre lingue è stato introdotto di recente, suggerendo una crescente consapevolezza della necessità di comprendere la comunicazione d'odio in contesti linguistici diversi.

Tuttavia, molte lingue al di fuori dell'inglese hanno ancora meno copertura, il che limita l'efficacia degli strumenti di rilevamento in ambienti multilingue. L'attenzione sui dataset in lingua inglese solleva domande su come il contesto dell'odio vari tra le diverse culture e regioni.

#Identità Bersaglio nella Letteratura

Un esame della letteratura rivela che molti dataset menzionano identità bersaglio specifiche. I bersagli più frequentemente rappresentati includono razza, genere e religione. Tuttavia, bersagli come età, immagine corporea e affiliazione politica sono meno rappresentati.

L'attenzione crescente su una gamma diversificata di bersagli è incoraggiante, poiché suggerisce che i ricercatori stanno iniziando ad affrontare alcune delle lacune precedentemente notate negli studi sulla comunicazione d'odio.

#Bersagli Concettualizzati vs. Operazionali

I bersagli nei dataset possono essere classificati in tre categorie:

1. Bersagli Concettualizzati: Queste sono le identità esplicitamente identificate nelle definizioni fornite dai ricercatori quando discutono della comunicazione d'odio.
2. Bersagli Operazionali: Queste sono le identità che i ricercatori cercano di includere nei loro processi di raccolta e etichettatura dei dati.
3. Bersagli Rilevati: Queste sono identità che appaiono nei dataset, indipendentemente dal fatto che siano state menzionate nelle definizioni originali.

Un'analisi critica di queste categorie rivela che spesso ci sono discrepanze tra di esse. Molti dataset concettualizzano bersagli senza operazionalizzarli completamente, risultando in una mancanza di rappresentazione per certe identità.

#Bersagli Non Corrispondenti nei Dataset

Esaminando un campione di dataset si vede che c'è una discrepanza tra bersagli concettualizzati, operazionali e rilevati. Rilevare questo gap è cruciale perché può portare a classificatori che non sono affidabili nell'identificare il linguaggio d'odio verso identità meno rappresentate.

L'analisi indica che alcuni dataset operazionalizzano più bersagli di quanti ne concettualizzino inizialmente. Questo accade spesso attraverso analisi post hoc, dove i ricercatori etichettano bersagli rilevati durante la loro indagine ma non inclusi inizialmente nelle loro definizioni.

#Raccomandazioni per la Ricerca Futura

In futuro, ci sono diversi passi che i ricercatori possono intraprendere per migliorare la qualità dei dataset sulla comunicazione d'odio:

1. Migliorare l'Inclusione dei Bersagli: I ricercatori dovrebbero assicurarsi che sia i bersagli concettualizzati che quelli operazionali siano chiaramente definiti e documentati durante il processo di creazione del dataset.
2. Concentrarsi su Identità Sottorappresentate: Si dovrebbe prestare particolare attenzione alle identità che vengono meno frequentemente incluse nei dataset, come età e immagine corporea.
3. Migliorare la Trasparenza: I ricercatori dovrebbero essere espliciti riguardo a quali bersagli sono inclusi nei loro dataset, comprese quelle che potrebbero essere state rilevate ma non intenzionalmente incluse.
4. Pratiche Standardizzate: Implementare pratiche standardizzate per documentare e segnalare i bersagli può aiutare a migliorare la qualità e l'usabilità dei dataset.

#Conclusione

La revisione dei dataset di comunicazione d'odio evidenzia sia progressi che lacune nel campo. Anche se ci sono state tendenze positive verso una maggiore diversità nelle identità rappresentate nei dataset, rimangono sfide significative. La concentrazione della produzione di dataset in determinate aree geografiche e lingue, così come la continua sottorappresentazione di identità specifiche, deve essere affrontata.

Concentrandosi su pratiche inclusive nella creazione e documentazione dei dataset, i ricercatori possono lavorare per migliorare l'efficacia dei sistemi di apprendimento automatico progettati per rilevare e contrastare la comunicazione d'odio. I futuri sforzi dovrebbero mirare a migliorare la qualità dei dataset per riflettere meglio le complessità della comunicazione d'odio across diverse identità sociali e contesti culturali.