Analizzare il linguaggio d'odio tramite l'argomentazione

I modelli linguistici di grandi dimensioni (LLMs) vengono sempre più utilizzati in vari ambiti, come chatbot e strumenti di completamento del testo. Man mano che il loro utilizzo cresce, diventa importante analizzare i testi in modo più dettagliato, specialmente in contesti come i social media dove può verificarsi discorso dannoso. Questo articolo si concentra su come possiamo valutare l'odio esaminando gli argomenti presenti in questi testi.

Il discorso d'odio può essere dannoso per gli individui e per la società. Spesso rafforza stereotipi nocivi e può portare alla disumanizzazione. La sfida è trovare modi efficaci per identificare, analizzare e rispondere al discorso d'odio senza violare i diritti di espressione.

#Argomentazione nei Testi

L'argomentazione implica presentare motivi per supportare un'affermazione o una Conclusione. Nel discorso d'odio, gli argomenti spesso prendono di mira gruppi specifici, associandoli a tratti o azioni negative. Riconoscere questi argomenti è fondamentale per capire come opera il discorso d'odio e come contrastarlo.

Per studiare il discorso d'odio in modo efficace, abbiamo creato un sistema per annotare e classificare gli argomenti presenti sui social media. Questo sistema aiuta i ricercatori a identificare i vari componenti degli argomenti nei tweet che esprimono odio.

#Il Corpus Hateval e la Sua Annotazione

Abbiamo lavorato con un dataset chiamato Hateval corpus, che contiene esempi di discorso d'odio nei tweet. Il nostro obiettivo era migliorare questo dataset aggiungendo informazioni sugli argomenti all'interno di questi tweet. Abbiamo utilizzato un metodo basato sulla Tavola Periodica degli Argomenti per categorizzare i diversi componenti degli argomenti presenti nei tweet.

Attraverso questo processo, abbiamo scoperto che alcuni componenti degli argomenti potevano essere identificati con precisione, mentre altri erano più complessi. Abbiamo anche analizzato i modelli di disaccordo tra i diversi annotatori per definire meglio le categorie di argomenti.

#Metodologia

#Processo di Annotazione

Il nostro processo di annotazione prevedeva più fasi. Prima di tutto, abbiamo definito cosa rende un tweet argomentativo. Abbiamo stabilito che un tweet è considerato argomentativo se presenta sia una conclusione che una premessa.

Successivamente, ci siamo concentrati su elementi specifici del discorso d'odio, come il Collettivo mirato e le Proprietà negative associate a quel gruppo. Abbiamo etichettato i tweet in base a questi elementi e identificato le Giustificazioni date per le conclusioni tratte.

#Identificazione dei Componenti

I componenti che abbiamo identificato includevano:

1. Collettivo: Il gruppo preso di mira nel discorso d'odio.
2. Proprietà: L'attributo o l'azione negativa associata al collettivo.
3. Giustificazione: Le ragioni fornite per supportare la conclusione.
4. Conclusione: Il punto principale espresso nel tweet.

Il nostro obiettivo era creare un insieme chiaro di linee guida affinché diversi annotatori potessero concordare sulle etichette applicate a ogni tweet.

#Accordo Tra Annotatori

Per garantire l'affidabilità delle nostre annotazioni, abbiamo valutato l'accordo tra i diversi annotatori. Questo passaggio era cruciale perché indicava quanto fosse coerente il nostro processo di etichettatura.

Abbiamo misurato l'accordo su vari componenti e abbiamo trovato che, nel complesso, gli annotatori hanno raggiunto un livello sostanziale di accordo nella maggior parte delle categorie. Tuttavia, alcuni componenti, come il pivot, hanno mostrato un accordo inferiore. Questo ha evidenziato aree in cui era necessario affinare ulteriormente il nostro approccio.

#Identificazione Automatica degli Argomenti

Con i dati annotati, abbiamo esplorato come i LLMs potessero identificare automaticamente i componenti argomentativi. Abbiamo perfezionato diversi modelli, come RoBERTa e BERTweet, utilizzando il nostro dataset.

#Analisi delle Prestazioni

Abbiamo testato i modelli su vari compiti:

• Distinguere tra tweet argomentativi e non argomentativi
• Identificare componenti come collettivi, proprietà e giustificazioni
• Classificare i tipi di conclusioni e giustificazioni

In generale, i modelli hanno ottenuto buone prestazioni nel riconoscere se un tweet fosse argomentativo. Tuttavia, hanno avuto difficoltà con componenti più complessi, in particolare quelli che richiedono comprensione del contesto e delle sfumature.

#Risultati e Discussione

I risultati hanno mostrato che alcuni aspetti argomentativi potevano essere identificati in modo affidabile dai LLMs, specialmente gli elementi strutturali di base. Le giustificazioni e le conclusioni si sono rivelate più facili da etichettare con precisione rispetto ai collettivi e alle proprietà.

I risultati hanno anche rivelato che più grande era il dataset utilizzato per addestrare i modelli, migliore era la performance. Questo suggerisce che raccogliere più esempi di discorso d'odio può migliorare l'affidabilità dei sistemi di rilevamento automatico.

#Limitazioni dello Studio

Sebbene lo studio abbia prodotto intuizioni preziose, ha anche svelato delle limitazioni. Ad esempio, i modelli automatici spesso hanno male identificato componenti quando le relazioni tra di essi non erano chiaramente espresse. Inoltre, i modelli hanno avuto difficoltà a gestire il linguaggio complesso usato nei tweet.

#Lavoro Futuro

In futuro, ci sono diverse strade per il miglioramento. Un focus sarà il perfezionamento delle definizioni e categorie degli argomenti per aumentare l'accordo tra annotatori. Un altro passo importante sarà l'espansione del dataset annotato, specialmente per i tweet in spagnolo, per migliorare la diversità e la rappresentatività dei nostri risultati.

Abbiamo anche in programma di esplorare metodi per generare contro-narrazioni in risposta al discorso d'odio, sfruttando l'analisi argomentativa dei tweet. Questo potrebbe portare allo sviluppo di strumenti più efficaci per affrontare il discorso dannoso in tempo reale.

#Considerazioni Etiche

Nel condurre questa ricerca, abbiamo riconosciuto la responsabilità coinvolta nella gestione di contenuti che possono essere offensivi o dannosi. Abbiamo adottato misure per garantire che il team di ricerca fosse ben supportato e formato per gestire qualsiasi disagio emotivo che potesse sorgere dall'esposizione al discorso d'odio.

#Conclusione

In conclusione, il nostro lavoro evidenzia l'importanza di analizzare la struttura argomentativa del discorso d'odio sui social media. Comprendendo meglio come sono costruiti gli argomenti in questi testi tossici, possiamo sviluppare strategie più efficaci per la rilevazione e la risposta. Le intuizioni ottenute da questa ricerca contribuiranno allo sforzo continuo di combattere il discorso d'odio, mantenendo nel contempo la necessità di libertà di espressione negli spazi digitali.