MetaTroll: Un Nuovo Modello per Rilevare i Troll
MetaTroll si adatta in fretta alle nuove campagne di influenza sui social media.
― 5 leggere min
Indice
- La Necessità di un Nuovo Approccio
- Cos'è il Meta-apprendimento?
- La Soluzione: MetaTroll
- Caratteristiche Principali di MetaTroll
- Come Funziona MetaTroll
- Test di Performance
- Apprendimento Continuo
- Riconoscimento Multilingue e Multimodale
- Confronto con Altri Modelli
- Conclusione
- Fonte originale
- Link di riferimento
I troll sponsorizzati dallo stato sono diventati una parte significativa delle campagne di influenza sui social media. Questi troll vengono utilizzati per diffondere disinformazione e influenzare l'opinione pubblica. Riuscire a rilevare automaticamente questi troll è fondamentale per affrontare la disinformazione su larga scala. I metodi tradizionali di rilevamento dei troll si basano su dati di campagne note, il che significa che fanno fatica con nuove campagne che presentano sfide diverse.
La Necessità di un Nuovo Approccio
I modelli attuali sono addestrati su dati esistenti e non sono molto efficaci quando sorgono nuove campagne di influenza. Spesso richiedono una grande quantità di dati etichettati per funzionare bene. Tuttavia, quando i troll sponsorizzati dallo stato cambiano tattiche o obiettivi, questi modelli non riescono ad aiutare. Questa ricerca introduce un nuovo modello chiamato MetaTroll, che utilizza un concetto noto come Meta-apprendimento per adattarsi rapidamente a nuove campagne con pochi esempi.
Cos'è il Meta-apprendimento?
Il meta-apprendimento è un metodo dove la conoscenza di compiti precedenti aiuta ad apprendere nuovi compiti in modo più efficiente. Nel contesto del rilevamento dei troll, significa che una volta che un modello è addestrato su campagne di troll note, può adattarsi rapidamente a nuove, anche con solo pochi esempi. Tuttavia, c'è una sfida nota come oblio catastrofico, dove il modello dimentica ciò che ha appreso sulle campagne precedenti quando apprende quelle nuove.
La Soluzione: MetaTroll
MetaTroll punta a risolvere il problema dell'oblio catastrofico utilizzando strategie di apprendimento specifiche. Introduce adattatori transformer che memorizzano la conoscenza su diverse campagne. Questo consente al modello di ricordare come riconoscere i troll delle campagne precedenti mentre apprende anche a rilevarne di nuove. È efficiente e non ha bisogno di enormi quantità di dati etichettati per adattarsi.
Caratteristiche Principali di MetaTroll
Apprendimento Few-shot: Questo modello può imparare a identificare i troll con solo pochi esempi etichettati. Ad esempio, potrebbe adattarsi a una nuova campagna con solo cinque o dieci esempi.
Adattatori Specifici per Campagna: Ogni campagna ha il suo adattatore che ricorda le caratteristiche di quella campagna. Questo impedisce al modello di perdere la capacità di rilevare troll delle campagne precedenti.
Capacità multilingue: MetaTroll può gestire più lingue, rendendolo versatile in diverse realtà dei social media nel mondo.
Rilevamento Multimodale: Il modello può anche analizzare immagini insieme al testo, permettendogli di essere più efficace nel rilevare troll che usano contenuti visivi.
Come Funziona MetaTroll
Fasi di Addestramento
MetaTroll passa attraverso tre fasi principali di addestramento.
Prima Fase: Il modello è inizialmente affinato usando un dataset noto per categorizzare i post degli utenti come troll o non troll. Questo addestramento di base aiuta a impostare le basi per ulteriori adattamenti.
Seconda Fase: Il modello incorpora adattatori abbastanza generali da applicare a più campagne. In questa fase, l'attenzione è rivolta ad apprendere buone impostazioni iniziali per questi adattatori senza cambiare il modello centrale.
Terza Fase: Infine, MetaTroll introduce adattatori specifici per campagna. Questi adattatori apprendono dalle fasi di addestramento precedenti mentre sono distinti per ogni nuova campagna. Questo metodo garantisce che il modello non dimentichi come riconoscere i troll delle campagne più vecchie mentre si adatta a quelle nuove.
Implementazione del Rilevamento
Quando si tratta di rilevamento reale, se MetaTroll incontra una nuova campagna, utilizza l'addestramento delle tre fasi precedenti. Si adatta rapidamente all'adattatore e al classificatore specifico per la campagna usando pochissimi esempi dalla nuova campagna.
Test di Performance
MetaTroll è stato testato usando un dataset sostanzioso derivato da veri account social media legati ad attività sponsorizzate dallo stato. I risultati di questi test mostrano che MetaTroll supera notevolmente i modelli esistenti quando si tratta di identificare i troll, specialmente in situazioni di apprendimento few-shot.
Apprendimento Continuo
Uno degli aspetti vitali di MetaTroll è la sua capacità di apprendimento continuo. Man mano che emergono nuove campagne, il modello può adattarsi senza dimenticare le caratteristiche delle campagne più vecchie. Questa qualità è critica in un ambiente dinamico come i social media, dove le strategie di campagna cambiano frequentemente.
Riconoscimento Multilingue e Multimodale
MetaTroll estende anche la sua funzionalità per riconoscere diverse lingue e analizzare immagini. Il modello può elaborare testi in varie lingue, rendendolo efficace in diverse regioni. Aggiungendo l'analisi delle immagini, può esaminare post contenenti foto o meme, che vengono spesso utilizzati nelle campagne sui social media.
Confronto con Altri Modelli
Nei test, MetaTroll è stato confrontato con diversi modelli di base, inclusi modelli tradizionali e approcci avanzati di meta-apprendimento. I risultati hanno costantemente dimostrato che MetaTroll offre una migliore precisione nel rilevare i troll. Mentre alcuni modelli esistenti mostravano modesti miglioramenti con più esempi, MetaTroll ha mantenuto forti prestazioni con meno casi etichettati, dimostrando la sua efficienza.
Conclusione
MetaTroll rappresenta un passo significativo avanti nelle strategie di rilevamento dei troll. Utilizzando un approccio di apprendimento few-shot insieme a adattatori specifici per campagna, può adattarsi rapidamente a nuove sfide mantenendo le sue capacità dalle attività precedenti. Le sue caratteristiche permettono di affrontare efficacemente il crescente problema della disinformazione. La capacità combinata di elaborare più lingue e analizzare immagini aumenta la sua utilità nella lotta contro pratiche ingannevoli sui social media.
In generale, MetaTroll è una soluzione innovativa che può adattarsi a tattiche in cambiamento da parte di troll sponsorizzati dallo stato, dimostrando l'importanza della flessibilità e dell'apprendimento nella tecnologia progettata per combattere la disinformazione.
Titolo: MetaTroll: Few-shot Detection of State-Sponsored Trolls with Transformer Adapters
Estratto: State-sponsored trolls are the main actors of influence campaigns on social media and automatic troll detection is important to combat misinformation at scale. Existing troll detection models are developed based on training data for known campaigns (e.g.\ the influence campaign by Russia's Internet Research Agency on the 2016 US Election), and they fall short when dealing with {\em novel} campaigns with new targets. We propose MetaTroll, a text-based troll detection model based on the meta-learning framework that enables high portability and parameter-efficient adaptation to new campaigns using only a handful of labelled samples for few-shot transfer. We introduce \textit{campaign-specific} transformer adapters to MetaTroll to ``memorise'' campaign-specific knowledge so as to tackle catastrophic forgetting, where a model ``forgets'' how to detect trolls from older campaigns due to continual adaptation. Our experiments demonstrate that MetaTroll substantially outperforms baselines and state-of-the-art few-shot text classification models. Lastly, we explore simple approaches to extend MetaTroll to multilingual and multimodal detection. Source code for MetaTroll is available at: https://github.com/ltian678/metatroll-code.git.
Autori: Lin Tian, Xiuzhen Zhang, Jey Han Lau
Ultimo aggiornamento: 2023-03-13 00:00:00
Lingua: English
URL di origine: https://arxiv.org/abs/2303.07354
Fonte PDF: https://arxiv.org/pdf/2303.07354
Licenza: https://creativecommons.org/licenses/by/4.0/
Modifiche: Questa sintesi è stata creata con l'assistenza di AI e potrebbe presentare delle imprecisioni. Per informazioni accurate, consultare i documenti originali collegati qui.
Si ringrazia arxiv per l'utilizzo della sua interoperabilità ad accesso aperto.
Link di riferimento
- https://www.acm.org/publications/taps/whitelist-of-latex-packages
- https://github.com/ltian678/metatroll-code.git
- https://dl.acm.org/ccs
- https://www.adelaide.edu.au/newsroom/news/list/2021/12/09/understanding-mass-influence-activities-is-critical
- https://www.theguardian.com/technology/2021/aug/18/facebook-fazze-russian-trolls-anti-vaxx-misinformation
- https://blog.twitter.com/en_us/topics/company/2018/enabling-further-research-of-information-operations-on-twitter
- https://blog.twitter.com/en_us/topics/company/2019/further_research_information_operations
- https://www.overleaf.com/project
- https://github.com/JaidedAI/EasyOCR
- https://transparency.twitter.com/en/reports/information-operations.html
- https://developer.twitter.com/en/support/twitter-api/academic-research
- https://huggingface.co/docs/transformers/model_doc/bert
- https://adapterhub.ml/
- https://gpt3demo.com/apps/openai-gpt-3-playground
- https://github.com/tristandeleu/pytorch-meta/tree/master/examples/maml
- https://github.com/deepmind/neural-processes
- https://github.com/orobix/Prototypical-Networks-for-Few-shot-Learning-PyTorch
- https://github.com/thunlp/HATT-Proto
- https://github.com/YujiaBao/Distributional-Signatures
- https://docs.adapterhub.ml/classes/models/xlmroberta.html
- https://github.com/huggingface
- https://huggingface.co/bert-base-cased
- https://huggingface.co/xlm-roberta-base
- https://github.com/adapter-hub/adapter-transformers
- https://pytorch.org/vision/main/models/generated/torchvision.models.resnet18.html
- https://blog.twitter.com/en_us/topics/company/2019/information-ops-on-twitter
- https://twitter.com/TwitterSafety/status/1238208545721638912?s=20
- https://blog.twitter.com/en_us/topics/company/2020/disclosing-removed-networks-to-our-archive-of-state-linked-information
- https://blog.twitter.com/en_us/topics/company/2021/disclosing-networks-of-state-linked-information-operations
- https://blog.twitter.com/en_us/topics/company/2021/disclosing-state-linked-information-operations-we-ve-removed