Esaminare le affermazioni sulle elezioni sui social media

I social media sono una grande piattaforma per discutere di politica, specialmente durante le elezioni. La gente condivide opinioni sui candidati e sui processi di voto, ma questo apre anche la porta alla disinformazione. Attori malintenzionati possono sfruttare questa opportunità per diffondere informazioni false che possono danneggiare la fiducia nelle elezioni. Con l'aumento di modelli linguistici avanzati, è più facile che mai per questi attori creare contenuti fuorvianti che possono sembrare proprio come quelli che pubblicano gli utenti reali. Questo solleva serie preoccupazioni sulla affidabilità delle informazioni trovate sui social media.

Per affrontare questo problema, i ricercatori hanno sviluppato un sistema per categorizzare le affermazioni fatte durante le elezioni sui social media. Questo sistema aiuta a suddividere le affermazioni in gruppi specifici in base a temi come Giurisdizione, attrezzature elettorali, processi e tipo di affermazioni fatte. È stato creato un nuovo dataset, contenente 9.900 tweet etichettati come scritti da esseri umani o generati da intelligenza artificiale (IA). Per i tweet generati dall'IA, viene annotato il modello specifico utilizzato per crearli.

Il dataset include un insieme più piccolo di 1.550 tweet che sono stati annotati utilizzando il nuovo sistema di categorizzazione per evidenziare diversi aspetti delle affermazioni legate alle elezioni. La ricerca esplora quanto bene i modelli linguistici possano identificare queste categorie e se gli esseri umani o le macchine siano migliori nel distinguere i post scritti da umani e quelli generati dall'IA.

Il modo in cui la gente parla di politica è cambiato drasticamente con i social media, che permettono ai candidati e alle organizzazioni politiche di parlare direttamente con gli elettori. Piattaforme come X (precedentemente nota come Twitter) sono diventate canali chiave per condividere informazioni, comprese le affermazioni di frode elettorale. Affermazioni false possono seriamente influenzare il processo elettorale e la fiducia che la gente ha nel sistema elettorale.

Man mano che i modelli linguistici diventano più sofisticati, possono creare testi che spesso rispecchiano la scrittura umana. Tuttavia, questi modelli a volte possono generare informazioni che non sono vere, portando a confusione e disinformazione. La combinazione di potenti modelli linguistici e della vasta portata dei social media crea un rischio per la diffusione di affermazioni false durante i cicli elettorali.

Questa ricerca si concentra sulla creazione di una tassonomia-un sistema di classificazione-che consenta una migliore comprensione delle affermazioni legate alle elezioni sui social media. La tassonomia evidenzia vari aspetti di queste affermazioni, come da dove provengono e di cosa trattano, rendendo più facile analizzare e identificare informazioni potenzialmente false nelle elezioni future.

#Contesto e Motivazione

Le elezioni sono cruciali per la democrazia, ma la diffusione di informazioni false sui social media rappresenta una seria minaccia per la loro correttezza e integrità. Negli Stati Uniti, l'Infrastruttura elettorale è considerata critica per la sicurezza nazionale e le minacce a essa possono danneggiare la fiducia pubblica e indebolire le istituzioni democratiche.

La disinformazione può essere diretta contro specifici candidati, funzionari elettorali o attrezzature di voto, portando a un calo della fiducia tra gli elettori. L'obiettivo di questa ricerca è fornire strumenti per aiutare a identificare e comprendere i diversi tipi di affermazioni fatte sulle elezioni, specialmente nel contesto delle prossime elezioni presidenziali.

Le elezioni americane sono uniche per la loro natura decentralizzata. Con quasi 10.000 giurisdizioni elettorali, nessun altro paese ha un sistema elettorale così stratificato in cui enti locali e statali detengono un potere significativo sull'amministrazione delle elezioni. Gli elettori negli Stati Uniti spesso hanno più opportunità di votare su diversi concorsi rispetto alle persone in altri paesi. Questa complessità significa che ci sono molti sistemi e tecnologie diversi coinvolti nel condurre elezioni, il che rende difficile valutare con precisione le affermazioni fatte su di esse.

Inoltre, gli Stati Uniti abbracciano la libertà di espressione, consentendo agli individui di esprimere liberamente le proprie opinioni. Questo crea un mix di informazioni affidabili e inaffidabili che gli elettori devono setacciare. Piattaforme come X consentono discussioni in tempo reale sulle elezioni, rendendo fondamentale capire come la disinformazione possa influenzare le percezioni e le scelte degli elettori durante le elezioni.

#Lavori Correlati

Diversi studi hanno esaminato modi per verificare automaticamente le affermazioni e rilevare la disinformazione. Sono stati proposti diversi flussi di lavoro per controllare la validità delle dichiarazioni fatte online, e sono stati creati diversi dataset per aiutare a comprendere e verificare le affermazioni. Tuttavia, pochissimi dataset mirano specificamente a comprendere le affermazioni fatte sulle elezioni, spingendo alla necessità di nuovi strumenti e dataset per la ricerca.

I dataset esistenti hanno affrontato la disinformazione in vari contesti, ma nessuno di essi si è concentrato sulle affermazioni elettorali, specialmente sulla distinzione tra contenuti scritti da umani e quelli generati dall'IA. Questo gap nella ricerca motiva la creazione di un nuovo dataset e l'implementazione del sistema di categorizzazione.

#La Tassonomia delle Affermazioni Elettorali

La nuova tassonomia è stata sviluppata per categorizzare le affermazioni elettorali sui social media in base agli aspetti più comuni trovati nelle discussioni. Esperti nell'amministrazione elettorale hanno aiutato a convalidare la tassonomia, assicurandosi che possa essere compresa ampiamente da diversi pubblici, da accademici a funzionari elettorali.

La tassonomia categorizza le affermazioni in diversi attributi, tra cui:

1. Giurisdizione: Questo copre il livello di governo responsabile per lo svolgimento delle elezioni, che può includere contee, stati o elezioni federali.

2. Infrastruttura: Questo si focalizza sugli strumenti e sui processi utilizzati per condurre le elezioni, suddivisi in:

   • Attrezzature: Diversi dispositivi e sistemi di voto, come macchine elettroniche o schede cartacee.
   • Processi: Attività come la registrazione degli elettori o il conteggio dei voti.

3. Affermazione di Frode: Questo esamina le accuse riguardanti frode elettorale, che possono includere affermazioni di corruzione o voto illegale.

Questo approccio strutturato mira a creare un set di standard per la ricerca futura e fornire dati di addestramento preziosi per iniziative di apprendimento automatico nel contesto delle affermazioni elettorali.

#Il Dataset

Il nuovo dataset contiene 9.900 tweet, ognuno etichettato per mostrare se sono stati generati da umani o da IA. Un totale di 1.550 di questi tweet sono stati annotati utilizzando la nuova tassonomia proposta per comprendere meglio la natura delle affermazioni.

#Raccolta Dati

Per raccogliere la parte generata da umani del dataset, i ricercatori hanno estratto da un dataset esistente di tweet relativi alle elezioni presidenziali statunitensi del 2020. Sono state utilizzate parole chiave relative agli argomenti elettorali per filtrare i tweet pertinenti, assicurandosi di concentrarsi su affermazioni specifiche riguardanti il processo elettorale.

Per i tweet generati dall'IA, sono stati utilizzati modelli linguistici per creare tweet sintetici che imitano la scrittura umana basandosi su affermazioni e argomenti predefiniti. Questo approccio mirava a produrre tweet che si adattassero alle categorie stabilite riflettendo il discorso elettorale.

#Caratterizzazione delle Affermazioni

Sono stati condotti sondaggi per vedere quanto bene diversi modelli linguistici potessero estrarre le caratteristiche delle affermazioni elettorali. Sono stati valutati diversi modelli per la loro capacità di identificare gli attributi della tassonomia presenti nei tweet.

#Prestazioni dei Modelli Linguistici

La ricerca ha trovato che, sebbene i modelli linguistici abbiano performato bene in molti compiti di elaborazione del linguaggio naturale, hanno mostrato una capacità moderata quando si trattava di comprendere affermazioni specifiche in questo contesto. Diversi modelli hanno mostrato risultati variabili, con alcuni che raggiungono prestazioni migliori di altri nell'identificare informazioni giurisdizionali, tipi di attrezzature e processi.

I modelli hanno spesso avuto difficoltà con riferimenti impliciti a determinate informazioni nei tweet, indicando che, pur potendo generare testo coerente, potrebbero non catturare accuratamente le sfumature delle affermazioni sulle elezioni.

#Attribuzione dell'Autore

La ricerca ha anche esaminato quanto efficacemente le macchine potessero distinguere se un tweet fosse stato scritto da un umano o generato da IA. I ricercatori hanno impiegato vari modelli di apprendimento automatico per classificare i tweet in base alla loro autorevolezza, sia essa umana o di uno dei modelli linguistici specifici.

#Modelli di Classificazione

Diverse classi di modelli sono stati testati, come Random Forest, BERT e RoBERTa, per valutare la loro efficacia nel distinguere tra contenuti scritti da umani e quelli generati da IA. I modelli trasformatori hanno generalmente performato meglio, indicando che potevano identificare più accuratamente schemi e frasi comunemente associate a diversi autori.

#Test di Turing

Per valutare ulteriormente quanto i contenuti generati dall'IA possano imitare la scrittura umana, è stato implementato un test di Turing. Annotatori umani sono stati invitati a identificare se i tweet fossero stati generati da una persona o da un'IA. I risultati hanno mostrato che gli umani erano in grado di identificare accuratamente la fonte dei tweet solo nel 36% dei casi, evidenziando quanto l'IA possa imitare da vicino la scrittura umana.

#Risultati e Discussione

I risultati complessivi puntano all'efficacia della tassonomia e del dataset per comprendere le affermazioni elettorali sui social media. Nonostante le capacità dei modelli linguistici, estrarre informazioni specifiche dai tweet rimane una sfida, in particolare con riferimenti sfumati o impliciti. La capacità delle macchine di classificare l'autorevolezza è più riuscita rispetto ai tentativi umani, indicando che l'IA può riconoscere efficacemente le differenze stilistiche nella scrittura.

La ricerca sottolinea la necessità di strumenti e metodi per combattere la disinformazione nei contesti elettorali, specialmente man mano che l'IA continua a progredire e a produrre contenuti che sembrano credibili. Il lavoro futuro mira ad espandere queste scoperte annotando più dati, affinando il sistema di categorizzazione e esplorando modi migliori per incorporare l'IA nei processi di verifica dei fatti.

#Conclusione e Lavoro Futuro

È stata introdotta una nuova tassonomia per categorizzare le affermazioni legate alle elezioni sui social media, insieme a un nuovo dataset adattato a questo problema. Le intuizioni ottenute da questa ricerca rivelano una prestazione moderata dei modelli linguistici quando vengono richiesti di caratterizzare affermazioni specifiche e dimostrano abilità superiori dei modelli di apprendimento automatico rispetto ai tentativi umani di identificare le fonti dei tweet.

Le direzioni future prevedono di espandere il dataset, migliorare le prestazioni dei modelli attraverso tecniche avanzate e estendere la ricerca per affrontare aspetti più ampi della disinformazione oltre alle sole affermazioni elettorali. Concentrandosi su come identificare e verificare efficacemente le affermazioni, questa ricerca mira a contribuire all'integrità e all'affidabilità dei processi elettorali nell'era dei social media e dei contenuti generati dall'IA.