Valutare la credibilità degli utenti nei social network

I social network online come Facebook e Twitter sono delle piattaforme giganti dove le notizie, sia vere che false, si diffondono in un lampo. Molti utenti condividono contenuti dannosi senza nemmeno rendersene conto. Questo include notizie false e voci, specialmente in settori come la politica e il business. Per questo motivo, molti ricercatori stanno cercando modi per valutare quanto siano affidabili gli utenti su queste reti.

Attualmente, la maggior parte dei metodi per controllare se un utente è credibile li classifica solo come reali o falsi. Tuttavia, nella vita reale, è meglio guardare a diversi livelli di credibilità invece di limitarci a due. Molti utenti, che potrebbero non voler diffondere informazioni false, possono comunque condividere contenuti dannosi. Ecco perché è importante valutare la credibilità degli utenti su più livelli invece di etichettarli semplicemente come falsi o genuini.

Un altro problema dei metodi esistenti è che spesso usano solo un numero ridotto di fattori importanti per determinare la credibilità. Questo ne limita l'efficacia. Per affrontare questi problemi, dobbiamo prima raccogliere i dati giusti che ci permettano di misurare la credibilità degli utenti su più livelli.

Per colmare questa lacuna, abbiamo creato un nuovo modello chiamato MultiCred. Questo modello valuta la credibilità degli utenti basandosi su un'ampia gamma di caratteristiche, che provengono dai loro profili, tweet e commenti. MultiCred sfrutta modelli linguistici avanzati per analizzare i dati testuali e utilizza l'apprendimento profondo per valutare le caratteristiche non testuali.

Abbiamo condotto test approfonditi e abbiamo scoperto che MultiCred funziona significativamente meglio rispetto ai metodi precedenti nella misurazione accurata della credibilità degli utenti.

L'ascesa rapida dei social network online li ha resi un luogo ideale per condividere notizie. Purtroppo, questo ha anche portato alla diffusione di informazioni false e comportamenti che possono danneggiare gli utenti. Quando le persone condividono informazioni non verificate, questo può portare a conseguenze serie. Perciò, è cruciale avere un metodo solido per valutare la credibilità degli utenti.

Attualmente, molti metodi per valutare la credibilità degli utenti utilizzano una varietà di caratteristiche. Alcuni si concentrano su Caratteristiche testuali, mentre altri usano caratteristiche non testuali, e molti combinano entrambe. I metodi migliori spesso usano strumenti di machine learning e deep learning per analizzare queste caratteristiche e determinare la credibilità.

Sfortunatamente, molti metodi esistenti considerano solo un numero limitato di caratteristiche, il che può danneggiarne le prestazioni. La maggior parte classifica anche gli utenti solo come falsi o reali. Tuttavia, molti utenti genuini potrebbero inconsapevolmente contribuire alla condivisione di informazioni fuorvianti o link dannosi. Classificando gli utenti in diversi livelli di credibilità, possiamo fornire un quadro più chiaro dei comportamenti degli utenti sui social network.

Inoltre, non è ancora disponibile un dataset adatto per valutare la credibilità degli utenti su più livelli. Poiché non siamo riusciti a trovare un dataset appropriato, abbiamo deciso di crearne uno nostro raccogliendo dati da Twitter.

Il nostro primo passo è stato creare un modo per raccogliere questi dati, puntando a un sistema di classificazione che consenta più livelli di credibilità. Abbiamo utilizzato la piattaforma Twitter per raccogliere queste informazioni.

Successivamente, abbiamo costruito un modello per valutare la credibilità degli utenti. Il nostro metodo, MultiCred, classifica ogni utente in uno dei diversi livelli di credibilità, utilizzando un ricco set di caratteristiche basate sui loro profili, contenuti pubblicati e feedback da parte degli altri. Dato che le caratteristiche che abbiamo usato sono piuttosto diverse, abbiamo applicato diversi metodi per analizzare e processare ciascun tipo di caratteristica.

Per garantire che il nostro modello fosse efficace, lo abbiamo testato sul dataset che abbiamo raccolto. I risultati mostrano che MultiCred è molto migliore nella valutazione della credibilità degli utenti su più livelli rispetto ai metodi esistenti.

#Lavori Correlati

Negli ultimi dieci anni, i social network hanno guadagnato enormi popolarità in tutto il mondo. Tuttavia, i ricercatori credono che non tutti gli account utente siano legittimi; molti sono falsi e esistono per scopi specifici. I ricercatori hanno utilizzato varie tecniche avanzate per individuare questi account falsi. In generale, i metodi per rilevare account falsi possono rientrare in tre categorie principali: quelli che si concentrano sulle caratteristiche del profilo, quelli che si concentrano sui contenuti testuali e quelli che mescolano entrambi i tipi.

#Metodi Basati sulle Caratteristiche del Profilo Utente

Alcuni ricercatori hanno esplorato le caratteristiche del profilo utente per identificare account falsi. Ad esempio, hanno scoperto che il numero medio di follower può indicare se un profilo è falso. Hanno scoperto che se un utente ha più di un certo numero di follower, il suo account è probabilmente reale. Inoltre, hanno notato che gli account falsi hanno spesso alcune caratteristiche comuni come fasce di età specifiche e immagini del profilo generiche.

Altri hanno sviluppato sistemi che analizzano le emozioni espresse nei post degli utenti per determinare l'autenticità. Hanno notato che i profili falsi di solito fanno ricorso a emozioni più negative nei loro post rispetto agli utenti genuini.

Un altro approccio ha coinvolto l'analisi dei dati provenienti da account politici. I ricercatori hanno raccolto informazioni dai profili social dei politici per rilevare account falsi e bot politici. Alcuni modelli usano tecniche avanzate di machine learning per confrontare le immagini del profilo e identificare la legittimità.

#Metodi Basati su Caratteristiche Testuali

Altri metodi si concentrano esclusivamente sull'analisi del testo. Alcuni sistemi hanno creato blacklist basate sull'estrazione di parole chiave per mirare agli account falsi senza richiedere ulteriori informazioni sul profilo. Altri hanno utilizzato l'elaborazione del linguaggio naturale per distinguere tra utenti umani e account automatizzati.

In contesti legati alla salute, alcuni ricercatori hanno raccolto milioni di tweet per separare esperti genuini da spammer. Usando un approccio basato sui link, hanno categorizzato gli utenti in base alla loro credibilità.

Inoltre, alcuni sistemi hanno analizzato account compromessi in base alla cronologia dei tweet per determinare se sono a rischio di essere falsi o malintenzionati.

#Metodi che Combinano Caratteristiche Testuali e Non Testuali

Un numero significativo di metodi utilizza una combinazione di entrambi i tipi di caratteristiche. Alcuni hanno esaminato caratteristiche generali come parole sospette e immagini del profilo predefinite per classificare gli account come spam o meno.

Altri hanno creato modelli che mescolano caratteristiche grafiche e basate sui contenuti per separare gli account spam da quelli reali. Alcuni ricercatori hanno raccolto un ampio dataset da Twitter per basarsi su caratteristiche statistiche specifiche per identificare gli spammer rispetto agli utenti regolari.

#Raccolta del Dataset

La maggior parte dei dataset disponibili su notizie false e compiti di identificazione degli utenti presenta generalmente due etichette: falso o reale. Alcuni usano tre o cinque etichette, ma si concentrano principalmente sulla classificazione binaria. Questo significa che molte potenziali caratteristiche che potrebbero migliorare le loro prestazioni mancano.

Per superare queste limitazioni, abbiamo sviluppato il nostro dataset. Ci siamo concentrati sulla raccolta di dati da Twitter, etichettando gli account utente in base ai punteggi di un'organizzazione che esamina i siti di notizie. Il processo di scoring coinvolge revisori esperti che esaminano i contenuti delle notizie in base a diversi criteri. Ogni account utente riceve un punteggio compreso tra 0 e 100, con punteggi più bassi che indicano una minore credibilità.

La raccolta dei dati è iniziata identificando siti di notizie credibili revisionati da questa organizzazione. Abbiamo poi controllato se questi siti avevano account Twitter e ottenuto i loro nomi utente. Dopo di che, abbiamo raccolto informazioni sugli utenti tramite l'API di Twitter in diverse fasi, raccogliendo dettagli relativi ai profili utente, ai tweet e ai commenti.

#Metodo Proposto

Il nostro metodo per valutare la credibilità incorpora diversi passaggi. Per prima cosa, abbiamo dovuto analizzare i dati e selezionare le caratteristiche giuste per il nostro modello. Abbiamo utilizzato una varietà di caratteristiche raccolte dai profili utente, dai tweet e dai commenti.

#Caratteristiche Non Testuali

Per le caratteristiche non testuali, le abbiamo utilizzate nella loro forma grezza senza alcun algoritmo di selezione. Abbiamo solo applicato la normalizzazione per garantire che i punti dati fossero allineati su una scala comparabile.

#Caratteristiche Testuali

Per le caratteristiche testuali, abbiamo convertito ciascun testo in vettori numerici. Questo processo ha comportato diversi passaggi di preprocessing come la conversione del testo in minuscolo, la rimozione di link e hashtag e l'eliminazione di stop word comuni.

Per vettorizzare i testi dei tweet, abbiamo impiegato modelli linguistici avanzati che generano rappresentazioni numeriche dei testi. La sfida è gestire i dati ad alta dimensione che risultano da questa vettorizzazione. Per risolvere questo problema, abbiamo utilizzato tecniche di riduzione dimensionale che aiutano a semplificare la complessità dei nostri dati mantenendo informazioni essenziali.

Il nostro modello include anche i commenti degli utenti, che vengono analizzati per il sentiment. Abbiamo utilizzato un modello di analisi del sentiment per categorizzare i commenti in base a varie emozioni. L'obiettivo qui è catturare le opinioni che altri utenti hanno su un determinato utente, che possono servire come caratteristiche significative per valutare la credibilità.

Una volta preparati i testi e le caratteristiche non testuali, le abbiamo combinate in un singolo vettore che rappresenta ciascun utente. Questo significa che abbiamo creato un vettore profilo per ogni utente, incorporando entrambi i tipi di caratteristiche.

#Affrontare l'Imbalance di Classe

Quando abbiamo raccolto i dati, abbiamo notato che le classi degli utenti erano sbilanciate. Alcune classi avevano molte più esemplari di altre, il che potrebbe portare a prestazioni distorte dal nostro modello. Per affrontare questo, abbiamo utilizzato un metodo chiamato SMOTE. Questa tecnica aiuta a creare più esempi per le classi sottorappresentate generando nuovi punti dati artificiali basati sui dati esistenti.

#Fase di Classificazione e Addestramento

Dopo aver preparato le caratteristiche, era il momento di concentrarsi sulla classificazione. Possiamo utilizzare vari algoritmi di machine learning, ma abbiamo deciso di usare una rete neurale multilivello per questo compito.

Durante l'addestramento, abbiamo diviso il nostro dataset in parti per addestramento, test e validazione. Il processo di addestramento ha coinvolto l'inserimento di batch di punti dati nella rete neurale e l'aggiustamento dei parametri per l'ottimizzazione.

#Risultati Empirici

Per misurare quanto bene funzionasse il nostro modello MultiCred, l'abbiamo confrontato con i metodi esistenti. Sono state utilizzate varie metriche di valutazione come recall, precisione e F1-score per valutare le prestazioni.

I risultati hanno mostrato che MultiCred supera significativamente i metodi esistenti in tutte le impostazioni testate. Il vantaggio di MultiCred deriva principalmente dal considerare un'ampia varietà di caratteristiche. Incorpora opinioni degli utenti e rappresentazioni dei tweet nel vettore finale dell'utente, il che porta a una maggiore precisione nelle valutazioni.

Una scoperta interessante è stata che, anche se le prestazioni in generale diminuivano all'aumentare del numero di classi, MultiCred ha comunque mantenuto un vantaggio su altri metodi. Questo indica che il nostro modello riesce a riflettere la credibilità degli utenti in modo più accurato considerando più livelli.

#Conclusione e Lavori Futuri

In sintesi, abbiamo affrontato l'importante questione della valutazione della credibilità degli utenti a diversi livelli sui social network. Raccogliendo dati appropriati e sviluppando il modello MultiCred, possiamo categorizzare gli utenti basandoci su un set diversificato di caratteristiche, risultando in una visione più sfumata della credibilità online.

In futuro, intendiamo esplorare più tipi di caratteristiche che non abbiamo incluso in questa ricerca, come contenuti multimediali e grafi sociali, che potrebbero fornire insight ancora più approfonditi sulle attività degli utenti.