Ostilità online verso i politici britannici: un'analisi approfondita
Analizzando l'aumento dell'ostilità sui social media verso i deputati britannici.
Mugdha Pandya, Mali Jin, Kalina Bontcheva, Diana Maynard
― 7 leggere min
Indice
- Il Dataset
- Perché è Importante?
- Ricerche Precedenti
- Metodologia
- Raccolta Dati
- Processo di Campionamento
- Processo di Annotazione
- Analisi dei Tweet
- Pattern Linguistici
- Analisi dei Temi
- Identificazione dell'Ostilità
- Risultati
- Risultati del Rilevamento dell'Ostilità
- Tendenze nell'Ostilità
- Importanza del Contesto
- Conclusione
- Fonte originale
- Link di riferimento
Negli ultimi anni, i social media sono diventati una piattaforma popolare per i politici nel Regno Unito per interagire con il pubblico. Usano siti come X (ex Twitter) per coinvolgere i cittadini, rispondendo a domande e ricevendo feedback. Tuttavia, questa apertura può portare a attenzioni indesiderate. I politici spesso affrontano una marea di commenti ostili diretti sia ai loro ruoli professionali che alle loro Identità personali, rendendo i social media una spada a doppio taglio.
Questa Ostilità può danneggiare i politici e la fiducia del pubblico nel governo. Alcuni commenti sono così gravi da poter incitare alla violenza nel mondo reale. Pertanto, comprendere e affrontare questo problema è fondamentale per mantenere un discorso Politico sano.
Il Dataset
Per affrontare il problema dell'ostilità nei commenti online rivolti ai politici, i ricercatori hanno creato un dataset contenente 3.320 tweet raccolti in un periodo di due anni. Questi tweet sono stati attentamente esaminati e classificati per il loro grado di ostilità nei confronti dei membri del Parlamento del Regno Unito (MP). Inoltre, il dataset include dettagli sulle caratteristiche identitarie degli obiettivi, come razza, genere e religione.
Questo dataset non è solo una raccolta di tweet casuali. Ha lo scopo di mettere in evidenza il linguaggio unico e i problemi che emergono nelle discussioni politiche nel Regno Unito, che possono essere molto diversi da quelli di altri paesi. Ad esempio, questioni come la Brexit sono particolarmente rilevanti nel Regno Unito, e questo dataset lo riflette.
Perché è Importante?
La necessità di questo tipo di dataset nasce dal linguaggio specifico usato nell'ostilità politica. I modelli esistenti per rilevare l'ostilità generale spesso falliscono quando vengono applicati a contesti politici. Perdono le sfumature del linguaggio e del sentimento pubblico legato ai problemi politici, rendendo essenziale avere un approccio più mirato.
Senza questo sforzo mirato, la fiducia pubblica nelle istituzioni politiche potrebbe continuare a erodersi. Quindi, creare e analizzare questo dataset non solo aiuta a classificare i tweet ostili, ma apre anche porte per future ricerche per capire l'abuso online in un contesto politico.
Ricerche Precedenti
Prima che questo dataset fosse creato, studi precedenti avevano esaminato l'ostilità verso i politici, ma spesso in modo generico. Molti di questi studi si concentravano su incidenti o tendenze specifiche piuttosto che fornire un'analisi completa del linguaggio e dei problemi identitari in gioco.
La ricerca ha evidenziato che le politiche femminili e quelle provenienti da contesti minoritari tendono a subire più ostilità rispetto ai loro colleghi. Strumenti come l'analisi del sentiment sono stati utilizzati per valutare il sentimento negativo online, ma non sempre sono efficaci nel campo politico.
I dataset esistenti spesso mancavano di etichette per identificare la naturalezza specifica dell'ostilità. Alcuni dataset si concentravano solo su un tipo di abuso, come l'islamofobia, mentre altri includevano un'ampia gamma di discorsi di odio, ma non prestavano attenzione alle caratteristiche identitarie.
Metodologia
Raccolta Dati
I ricercatori hanno utilizzato l'API Streaming di X per raccogliere tweet relativi agli MP nel corso di due anni. Hanno monitorato sia i tweet originali degli MP che le successive risposte e retweet. Questo approccio estensivo ha portato a oltre 30 milioni di tweet. Tuttavia, poiché questo numero era opprimente, i ricercatori hanno dovuto campionare un sottoinsieme più piccolo e gestibile per un'analisi dettagliata.
Processo di Campionamento
Per garantire diversità, i ricercatori hanno scelto tweet da 18 MP che rappresentano diverse identità e partiti politici. Hanno bilanciato il campione per includere sia gruppi di identità minoritari che maggioritari. Il campionamento si è concentrato anche su vari periodi temporali per catturare diversi contesti ed eventi.
In totale, 3.330 tweet sono stati raccolti per etichettatura manuale. I tweet sono stati categorizzati in base all'ostilità, permettendo ai ricercatori di creare un quadro più chiaro del panorama dell'abuso online diretto agli MP.
Processo di Annotazione
I ricercatori hanno formulato linee guida per aiutare gli annotatori a classificare i tweet in modo efficace. Una serie di sessioni di formazione ha garantito che tutti coinvolti comprendessero le definizioni e i criteri per identificare l'ostilità in modo accurato. Gli annotatori hanno lavorato in team e sono stati incoraggiati a consultare risorse esterne quando si trovavano di fronte a linguaggio sconosciuto.
Tre diversi annotatori hanno etichettato ciascun tweet, fornendo un certo livello di affidabilità al dataset. Questo processo di annotazione multipla ha aiutato a minimizzare gli errori e garantire che le etichette fossero il più accurate possibile.
Analisi dei Tweet
Pattern Linguistici
Per capire il linguaggio utilizzato nei tweet ostili, i ricercatori hanno condotto un'analisi linguistica. Hanno scoperto che i tweet ostili contenevano spesso termini e frasi negative mirate a screditare i politici. Parole come "bugiardo", "corrotto" e "malvagio" erano notevolmente comuni tra i commenti ostili.
D'altra parte, i tweet non ostili tendevano a presentare frasi positive. Invece di insulti, questi tweet spesso esprimevano gratitudine o feedback costruttivo, usando un linguaggio che rispettava le norme sociali.
Analisi dei Temi
I ricercatori hanno anche esplorato i temi associati sia ai tweet ostili che a quelli non ostili. Hanno identificato che molti tweet erano legati a eventi politici attuali, come la Brexit o la gestione della sanità durante la pandemia. Questa connessione tra eventi attuali e ostilità online sottolinea come alcune questioni possano esacerbare la rabbia pubblica verso i politici.
Identificazione dell'Ostilità
I ricercatori hanno utilizzato il dataset per addestrare modelli per rilevare l'ostilità nei tweet. Questo ha implicato due compiti principali: prima, identificare se un tweet era ostile o meno, e secondo, categorizzare il tipo di ostilità in base a caratteristiche identitarie come razza, genere o religione.
Sono stati testati più modelli per vedere quale performs better nell'identificare sia l'ostilità binaria (ostile vs. non ostile) che i tipi di ostilità multi-classe.
Risultati
Risultati del Rilevamento dell'Ostilità
Analizzando le prestazioni dei modelli, i ricercatori hanno scoperto che alcuni modelli, come RoBERTa-Hate, hanno performato particolarmente bene nel rilevare l'ostilità, raggiungendo un alto punteggio macro F1. È diventato chiaro che i modelli addestrati sul dataset usando punteggi di fiducia hanno ottenuto risultati migliori rispetto a quelli addestrati su dataset precedenti.
Tendenze nell'Ostilità
Una tendenza notevole trovata nei dati è che i politici provenienti da specifici contesti identitari, come le donne e quelle di razze o religioni minoritarie, spesso ricevono un volume maggiore di ostilità. Questo evidenzia l'intersezione di varie identità, dove la combinazione di razza, genere e religione può amplificare la quantità di abusi subiti dai politici.
Importanza del Contesto
La ricerca ha dimostrato anche che il contesto in cui un tweet è stato inviato ha giocato un ruolo significativo nel determinare il linguaggio utilizzato. L'ostilità spesso raggiungeva picchi attorno a eventi politici significativi, rivelando la stretta relazione tra commento sociale e politica.
Conclusione
La creazione di questo dataset è un passo verso una migliore comprensione e identificazione dell'ostilità online rivolta ai politici del Regno Unito. Sottolinea la necessità di strumenti specializzati per affrontare efficacemente questo problema in un contesto politico.
Concentrandosi sul linguaggio e sulle caratteristiche identitarie coinvolte nei commenti ostili, i ricercatori possono ottenere informazioni vitali che aprono la strada a future ricerche mirate a ridurre l'abuso online.
Man mano che i social media continuano a evolversi, anche i nostri approcci per interagire con il pubblico e affrontare i sentimenti ostili che possono emergere devono adattarsi.
Ora, se solo gli MP potessero avere una pelle spessa, un senso dell'umorismo e magari uno scudo digitale, potrebbero davvero sopravvivere al maelstrom dei commenti online!
Fonte originale
Titolo: Hostility Detection in UK Politics: A Dataset on Online Abuse Targeting MPs
Estratto: Numerous politicians use social media platforms, particularly X, to engage with their constituents. This interaction allows constituents to pose questions and offer feedback but also exposes politicians to a barrage of hostile responses, especially given the anonymity afforded by social media. They are typically targeted in relation to their governmental role, but the comments also tend to attack their personal identity. This can discredit politicians and reduce public trust in the government. It can also incite anger and disrespect, leading to offline harm and violence. While numerous models exist for detecting hostility in general, they lack the specificity required for political contexts. Furthermore, addressing hostility towards politicians demands tailored approaches due to the distinct language and issues inherent to each country (e.g., Brexit for the UK). To bridge this gap, we construct a dataset of 3,320 English tweets spanning a two-year period manually annotated for hostility towards UK MPs. Our dataset also captures the targeted identity characteristics (race, gender, religion, none) in hostile tweets. We perform linguistic and topical analyses to delve into the unique content of the UK political data. Finally, we evaluate the performance of pre-trained language models and large language models on binary hostility detection and multi-class targeted identity type classification tasks. Our study offers valuable data and insights for future research on the prevalence and nature of politics-related hostility specific to the UK.
Autori: Mugdha Pandya, Mali Jin, Kalina Bontcheva, Diana Maynard
Ultimo aggiornamento: 2024-12-05 00:00:00
Lingua: English
URL di origine: https://arxiv.org/abs/2412.04046
Fonte PDF: https://arxiv.org/pdf/2412.04046
Licenza: https://creativecommons.org/licenses/by/4.0/
Modifiche: Questa sintesi è stata creata con l'assistenza di AI e potrebbe presentare delle imprecisioni. Per informazioni accurate, consultare i documenti originali collegati qui.
Si ringrazia arxiv per l'utilizzo della sua interoperabilità ad accesso aperto.
Link di riferimento
- https://zenodo.org/records/10809695
- https://anonymous.4open.science/r/ohtukmp-21D8
- https://huggingface.co/cardiffnlp/twitter-roberta-base-hate-latest
- https://huggingface.co/meta-llama/Meta-Llama-3-8B
- https://platform.openai.com/docs/models/gpt-3-5-turbo
- https://developer.twitter.com/en/docs/twitter-api/tweets/lookup/api-reference/get-tweets-id