Simple Science

Scienza all'avanguardia spiegata semplicemente

# Informatica# Calcolo e linguaggio# Reti sociali e informative

Classificare le Teorie del Complotto negli Spazi Online

Un nuovo sistema per identificare e classificare le teorie del complotto online.

― 7 leggere min


Classificare leClassificare lecospirazioni onlinedel complotto online.Nuovi metodi per affrontare le teorie
Indice

Le teorie del complotto sono diventate sempre più comuni nelle conversazioni online, soprattutto sui social media. Mentre alcune discussioni cercano di sostenere queste teorie, altre cercano di contrastarle. Capire le dinamiche di queste conversazioni è fondamentale, dato che le teorie del complotto possono avere conseguenze significative nel mondo reale, come influenzare la salute pubblica e minare la fiducia nelle istituzioni.

Identificare e classificare le teorie del complotto online è complicato a causa della loro natura complessa. I metodi tradizionali hanno limitazioni, che spesso portano a errori di Classificazione. Questo lavoro si propone di creare un sistema completo per classificare le discussioni relative alle teorie del complotto, concentrandosi su come gli autori esprimono le loro convinzioni.

L'importanza di identificare le teorie del complotto

Le teorie del complotto possono sembrare innocue ma possono portare a conseguenze gravi. Possono diffondere disinformazione e creare scetticismo su questioni importanti, come la salute pubblica e i processi democratici. La pandemia di COVID-19 ha evidenziato i pericoli delle teorie del complotto, mostrando come possano portare a rischi per la salute e disordini civili.

Quindi, è fondamentale differenziare tra discussioni che supportano e discussioni che smontano queste teorie. Identificare accuratamente tali contenuti può aiutare i ricercatori e i decisori politici a capire come le teorie del complotto evolvono e si diffondono nelle comunità online.

Problemi con gli approcci attuali

Molti studi esistenti si sono affidati a metodi basilari per identificare le teorie del complotto, limitando la loro efficacia. Ad esempio, alcuni approcci classificano tutti i post nei forum relativi ai complotti come complottisti, portando a molti falsi positivi. Altri metodi possono concentrarsi su parole chiave specifiche, trascurando sfumature importanti o perdendo completamente contenuti rilevanti.

Tecniche di apprendimento automatico sono state utilizzate per automatizzare il processo di identificazione, ma spesso si concentrano su argomenti ristretti e mancano di criteri chiari per definire i contenuti complottisti. Questo rende difficile confrontare i risultati tra diversi studi.

Un nuovo approccio alla classificazione

Per affrontare le carenze dei metodi precedenti, questo lavoro stabilisce un nuovo schema di classificazione per le teorie del complotto. La definizione proposta è: "Una teoria del complotto è un insieme di Narrazioni progettate per accusare uno o più agenti di compiere azioni specifiche ritenute lavorare per un obiettivo segreto e dannoso." Questa definizione evidenzia tre elementi chiave: l'agente (chi si crede sia coinvolto), l'azione (cosa si accusa di fare) e l'obiettivo (il presunto obiettivo nascosto).

Questo nuovo approccio considera vari aspetti delle narrazioni complottiste, incluso come gli autori esprimono le loro convinzioni, se promuovono o smontano una teoria, e come fanno riferimento a complotti noti. Concentrandosi su questi elementi, il sistema di classificazione offre una comprensione più sfumata delle discussioni complottiste online.

Metodologia

Raccolta dei dati

I dati per questo studio provengono dai forum relativi ai complotti più attivi su Reddit. I ricercatori hanno identificato subreddit popolari dedicati alle teorie del complotto e hanno raccolto post per diversi anni. Il periodo selezionato consente un'analisi ricca delle discussioni online e della loro evoluzione durante quel periodo.

La raccolta dei dati ha anche considerato la rimozione di post brevi o eliminati. Questo processo di filtraggio garantisce che l'analisi si concentri su contenuti sostanziali rilevanti per le domande di ricerca.

Stabilire la verità di base

Per convalidare il sistema di classificazione, un team di annotatori formati ha valutato un campione di post da subreddit selezionati. Questi codificatori hanno ricevuto linee guida per garantire che comprendessero il contesto e le complessità delle teorie del complotto. Hanno categoricamente classificato i post come complottisti (di supporto) o non complottisti (di smontaggio o neutrali).

I codificatori hanno seguito un rigoroso processo di formazione, sviluppando la loro capacità di riconoscere diversi elementi narrativi nei post. Il loro obiettivo era costruire un dataset affidabile da cui il sistema di classificazione potesse apprendere.

Classificatori di apprendimento automatico

Utilizzando i dati annotati dagli esseri umani, sono stati addestrati diversi classificatori di apprendimento automatico per identificare automaticamente le teorie del complotto. I ricercatori hanno esplorato vari modelli, inclusi metodi tradizionali di apprendimento automatico e tecniche di deep learning più avanzate che utilizzano modelli di linguaggio di grandi dimensioni.

Confrontando le prestazioni di questi classificatori, i ricercatori miravano a determinare quali modelli fossero più efficaci nell'identificare contenuti complottisti.

Valutazione delle prestazioni di GPT

Oltre ai classificatori tradizionali, i ricercatori hanno anche testato il modello Generative Pre-trained Transformer (GPT) per vedere quanto bene potesse classificare le teorie del complotto online. Questo modello è noto per la sua comprensione contestuale e la sua espressività.

Sono state impiegate diverse strategie di prompting per valutare le capacità di classificazione di GPT. I ricercatori hanno trovato sia punti di forza che debolezze nelle sue prestazioni, rivelando che mentre poteva identificare teorie del complotto ben note, faticava con narrazioni più sfumate o emergenti.

Risultati chiave

Prevalenza delle teorie del complotto

L'analisi ha rivelato che solo circa un terzo dei post nei forum Reddit esaminati è stato classificato come di supporto alle teorie del complotto. Questa scoperta sfida le assunzioni comunemente ritenute sulla prevalenza dei contenuti complottisti in tali comunità online. Comprendere la reale proporzione delle discussioni relative ai complotti può informare le strategie per affrontare la disinformazione.

Impegno con le narrazioni complottiste

I post che sostenevano teorie del complotto tendevano a ricevere più commenti e punteggi karma più alti, indicando un maggiore coinvolgimento. Questo suggerisce che i contenuti che promuovono teorie del complotto sono più propensi a prosperare all'interno di queste piattaforme online a causa dell'aumento delle interazioni degli utenti.

Confronto dei modelli di classificazione

Lo studio ha confrontato le prestazioni di diversi metodi di apprendimento automatico, con alcuni modelli, come RoBERTa, che mostrano risultati superiori. Sebbene GPT abbia mostrato capacità forti, ha anche dimostrato notevoli difetti nel ragionamento, in particolare quando si trattava di classificare teorie del complotto più complesse o meno conosciute.

Discussione

Identificare le teorie del complotto nelle discussioni online presenta sfide significative. Questo lavoro ha stabilito uno schema di classificazione completo che offre approfondimenti sulle complessità delle narrazioni complottiste. Concentrandosi sulle prospettive degli autori e sugli elementi narrativi, il nuovo approccio migliora i metodi precedenti.

I risultati evidenziano la necessità di strategie di moderazione dei contenuti più sfumate sulle piattaforme social. Man mano che le teorie del complotto continuano a proliferare, comprendere come vengono discusse online può aiutare a mitigare il loro potenziale danno.

Limitazioni

Nonostante i suoi punti di forza, lo studio ha limitazioni. Poiché le discussioni online possono essere ambigue, interpretare accuratamente le intenzioni degli autori è spesso difficile. La variabilità nel modo in cui i codificatori interpretano i post potrebbe introdurre soggettività nel processo di annotazione. Gli studi futuri potrebbero beneficiare della raffinazione dei criteri di classificazione e dell'espansione dei dataset di addestramento.

Considerazioni etiche

Raccogliere dati da piattaforme online solleva questioni etiche, soprattutto riguardo alla privacy degli utenti e al potenziale per conseguenze indesiderate. Questa ricerca ha rispettato le linee guida progettate per proteggere l'anonimato degli utenti e ha cercato di evitare di promuovere teorie del complotto sotto il pretesto di analisi.

Conclusione

La classificazione delle teorie del complotto nelle discussioni online è un'area critica di studio, specialmente data la rapida ascesa della disinformazione e delle sue implicazioni nel mondo reale. Sviluppando un sistema di classificazione completo e sfruttando tecniche di apprendimento automatico, questa ricerca contribuisce a una migliore comprensione di come operano le teorie del complotto negli ambienti online.

Il lavoro futuro dovrebbe continuare a perfezionare questi metodi ed esplorare le loro applicazioni in altri contesti, lavorando verso un quadro più accurato del discorso online e dei suoi effetti su convinzioni e comportamenti.

Fonte originale

Titolo: Classifying Conspiratorial Narratives At Scale: False Alarms and Erroneous Connections

Estratto: Online discussions frequently involve conspiracy theories, which can contribute to the proliferation of belief in them. However, not all discussions surrounding conspiracy theories promote them, as some are intended to debunk them. Existing research has relied on simple proxies or focused on a constrained set of signals to identify conspiracy theories, which limits our understanding of conspiratorial discussions across different topics and online communities. This work establishes a general scheme for classifying discussions related to conspiracy theories based on authors' perspectives on the conspiracy belief, which can be expressed explicitly through narrative elements, such as the agent, action, or objective, or implicitly through references to known theories, such as chemtrails or the New World Order. We leverage human-labeled ground truth to train a BERT-based model for classifying online CTs, which we then compared to the Generative Pre-trained Transformer machine (GPT) for detecting online conspiratorial content. Despite GPT's known strengths in its expressiveness and contextual understanding, our study revealed significant flaws in its logical reasoning, while also demonstrating comparable strengths from our classifiers. We present the first large-scale classification study using posts from the most active conspiracy-related Reddit forums and find that only one-third of the posts are classified as positive. This research sheds light on the potential applications of large language models in tasks demanding nuanced contextual comprehension.

Autori: Ahmad Diab, Rr. Nefriana, Yu-Ru Lin

Ultimo aggiornamento: 2024-03-29 00:00:00

Lingua: English

URL di origine: https://arxiv.org/abs/2404.00141

Fonte PDF: https://arxiv.org/pdf/2404.00141

Licenza: https://creativecommons.org/licenses/by-sa/4.0/

Modifiche: Questa sintesi è stata creata con l'assistenza di AI e potrebbe presentare delle imprecisioni. Per informazioni accurate, consultare i documenti originali collegati qui.

Si ringrazia arxiv per l'utilizzo della sua interoperabilità ad accesso aperto.

Articoli simili