MetaTroll: Un Nuevo Modelo para la Detección de Trolls
MetaTroll se adapta rápido a nuevas campañas de influencia en redes sociales.
― 6 minilectura
Tabla de contenidos
Los trolls patrocinados por el estado se han vuelto una parte significativa de las campañas de influencia en redes sociales. Estos trolls se utilizan para difundir información errónea y manipular la opinión pública. Detectar estos trolls automáticamente es crucial para abordar la desinformación a gran escala. Los métodos tradicionales de detección de trolls dependen de datos de campañas conocidas, lo que significa que luchan con nuevas campañas que presentan diferentes desafíos.
La Necesidad de un Nuevo Enfoque
Los modelos actuales están entrenados con datos existentes y no son muy efectivos cuando surgen nuevas campañas de influencia. A menudo requieren una gran cantidad de datos etiquetados para funcionar bien. Sin embargo, cuando los trolls patrocinados por el estado cambian de táctica o de objetivos, estos modelos no ayudan. Esta investigación presenta un nuevo modelo llamado MetaTroll, que utiliza un concepto conocido como Meta-aprendizaje para adaptarse rápidamente a nuevas campañas con ejemplos mínimos.
¿Qué es el Meta-aprendizaje?
El meta-aprendizaje es un método donde el conocimiento de tareas anteriores ayuda a aprender nuevas tareas de manera más eficiente. En el contexto de la detección de trolls, significa que una vez que un modelo se entrena en campañas de trolls conocidas, puede adaptarse rápidamente a nuevas, incluso con solo unos pocos ejemplos. Sin embargo, hay un desafío conocido como olvido catastrófico, donde el modelo olvida lo que aprendió sobre campañas anteriores cuando aprende sobre nuevas.
La Solución: MetaTroll
MetaTroll busca abordar el problema del olvido catastrófico utilizando estrategias de aprendizaje específicas. Introduce adaptadores de transformadores que almacenan conocimiento sobre diferentes campañas. Esto permite que el modelo recuerde cómo reconocer trolls de campañas anteriores mientras también aprende a detectar nuevos. Es eficiente y no necesita grandes cantidades de datos etiquetados para adaptarse.
Características Clave de MetaTroll
Aprendizaje con Pocos Ejemplos: Este modelo puede aprender a identificar trolls con solo un puñado de ejemplos etiquetados. Por ejemplo, podría adaptarse a una nueva campaña con solo cinco o diez ejemplos.
Adaptadores Específicos de Campaña: Cada campaña tiene su propio adaptador que recuerda las características de esa campaña. Esto evita que el modelo pierda su capacidad de detectar trolls de campañas anteriores.
Capacidad Multilingüe: MetaTroll puede manejar múltiples idiomas, lo que lo hace versátil en diferentes paisajes de redes sociales en todo el mundo.
Detección Multimodal: El modelo también puede analizar imágenes junto con texto, lo que le permite ser más efectivo en detectar trolls que usan contenido visual.
Cómo Funciona MetaTroll
Fases de Entrenamiento
MetaTroll pasa por tres etapas de entrenamiento principales.
Primera Etapa: El modelo se ajusta inicialmente usando un conjunto de datos conocido para clasificar publicaciones de usuarios como trolls o no trolls. Este entrenamiento básico ayuda a establecer la base para una mayor adaptación.
Segunda Etapa: El modelo incorpora adaptadores que son lo suficientemente generales para aplicarse en múltiples campañas. En esta etapa, el enfoque está en aprender buenos ajustes iniciales para estos adaptadores sin cambiar el modelo central.
Tercera Etapa: Finalmente, MetaTroll introduce adaptadores específicos de campaña. Estos adaptadores aprenden de las etapas de entrenamiento anteriores mientras son distintos para cada nueva campaña. Este método asegura que el modelo no olvide cómo reconocer trolls de campañas más antiguas mientras se adapta a nuevas.
Implementando la Detección
Cuando se trata de la detección real, si MetaTroll encuentra una nueva campaña, utiliza el entrenamiento de las tres etapas anteriores. Se adapta rápidamente el adaptador específico de la campaña y el clasificador usando muy pocos ejemplos de la nueva campaña.
Pruebas de Rendimiento
MetaTroll ha sido probado usando un conjunto de datos sustancial derivado de cuentas de redes sociales reales vinculadas a actividades patrocinadas por el estado. Los resultados de estas pruebas muestran que MetaTroll supera significativamente a los modelos existentes cuando se trata de identificar trolls, especialmente en situaciones de aprendizaje con pocos ejemplos.
Aprendizaje Continuo
Uno de los aspectos vitales de MetaTroll es su capacidad para el aprendizaje continuo. A medida que surgen nuevas campañas, el modelo puede ajustarse sin olvidar las características de las campañas anteriores. Esta cualidad es crítica en un entorno dinámico como el de las redes sociales, donde las estrategias de campaña cambian frecuentemente.
Reconocimiento Multilingüe y Multimodal
MetaTroll también extiende su funcionalidad para reconocer diferentes idiomas y analizar imágenes. El modelo puede procesar texto en varios idiomas, haciéndolo efectivo en diferentes regiones. Al añadir análisis de imágenes, puede examinar publicaciones que contengan fotos o memes, que a menudo se utilizan en campañas de redes sociales.
Comparando con Otros Modelos
En las pruebas, MetaTroll se comparó con varios modelos estándar, incluyendo los tradicionales y enfoques avanzados de meta-aprendizaje. Los resultados demostraron consistentemente que MetaTroll ofrecía mejor precisión en la detección de trolls. Mientras que algunos modelos existentes mostraron mejoras modestas con más ejemplos, MetaTroll mantuvo un fuerte rendimiento con menos casos etiquetados, demostrando su eficiencia.
Conclusión
MetaTroll representa un avance significativo en las estrategias de detección de trolls. Al utilizar un enfoque de aprendizaje con pocos ejemplos junto con adaptadores específicos de campaña, puede adaptarse rápidamente a nuevos desafíos mientras retiene sus capacidades de tareas anteriores. Sus características le permiten abordar el creciente problema de la desinformación de manera efectiva. La capacidad combinada de procesar múltiples idiomas y analizar imágenes mejora su utilidad en la lucha contra las prácticas engañosas en redes sociales.
En general, MetaTroll es una solución innovadora que puede adaptarse a las tácticas cambiantes de los trolls patrocinados por el estado, demostrando la importancia de la flexibilidad y el aprendizaje en la tecnología diseñada para combatir la desinformación.
Título: MetaTroll: Few-shot Detection of State-Sponsored Trolls with Transformer Adapters
Resumen: State-sponsored trolls are the main actors of influence campaigns on social media and automatic troll detection is important to combat misinformation at scale. Existing troll detection models are developed based on training data for known campaigns (e.g.\ the influence campaign by Russia's Internet Research Agency on the 2016 US Election), and they fall short when dealing with {\em novel} campaigns with new targets. We propose MetaTroll, a text-based troll detection model based on the meta-learning framework that enables high portability and parameter-efficient adaptation to new campaigns using only a handful of labelled samples for few-shot transfer. We introduce \textit{campaign-specific} transformer adapters to MetaTroll to ``memorise'' campaign-specific knowledge so as to tackle catastrophic forgetting, where a model ``forgets'' how to detect trolls from older campaigns due to continual adaptation. Our experiments demonstrate that MetaTroll substantially outperforms baselines and state-of-the-art few-shot text classification models. Lastly, we explore simple approaches to extend MetaTroll to multilingual and multimodal detection. Source code for MetaTroll is available at: https://github.com/ltian678/metatroll-code.git.
Autores: Lin Tian, Xiuzhen Zhang, Jey Han Lau
Última actualización: 2023-03-13 00:00:00
Idioma: English
Fuente URL: https://arxiv.org/abs/2303.07354
Fuente PDF: https://arxiv.org/pdf/2303.07354
Licencia: https://creativecommons.org/licenses/by/4.0/
Cambios: Este resumen se ha elaborado con la ayuda de AI y puede contener imprecisiones. Para obtener información precisa, consulte los documentos originales enlazados aquí.
Gracias a arxiv por el uso de su interoperabilidad de acceso abierto.
Enlaces de referencia
- https://www.acm.org/publications/taps/whitelist-of-latex-packages
- https://github.com/ltian678/metatroll-code.git
- https://dl.acm.org/ccs
- https://www.adelaide.edu.au/newsroom/news/list/2021/12/09/understanding-mass-influence-activities-is-critical
- https://www.theguardian.com/technology/2021/aug/18/facebook-fazze-russian-trolls-anti-vaxx-misinformation
- https://blog.twitter.com/en_us/topics/company/2018/enabling-further-research-of-information-operations-on-twitter
- https://blog.twitter.com/en_us/topics/company/2019/further_research_information_operations
- https://www.overleaf.com/project
- https://github.com/JaidedAI/EasyOCR
- https://transparency.twitter.com/en/reports/information-operations.html
- https://developer.twitter.com/en/support/twitter-api/academic-research
- https://huggingface.co/docs/transformers/model_doc/bert
- https://adapterhub.ml/
- https://gpt3demo.com/apps/openai-gpt-3-playground
- https://github.com/tristandeleu/pytorch-meta/tree/master/examples/maml
- https://github.com/deepmind/neural-processes
- https://github.com/orobix/Prototypical-Networks-for-Few-shot-Learning-PyTorch
- https://github.com/thunlp/HATT-Proto
- https://github.com/YujiaBao/Distributional-Signatures
- https://docs.adapterhub.ml/classes/models/xlmroberta.html
- https://github.com/huggingface
- https://huggingface.co/bert-base-cased
- https://huggingface.co/xlm-roberta-base
- https://github.com/adapter-hub/adapter-transformers
- https://pytorch.org/vision/main/models/generated/torchvision.models.resnet18.html
- https://blog.twitter.com/en_us/topics/company/2019/information-ops-on-twitter
- https://twitter.com/TwitterSafety/status/1238208545721638912?s=20
- https://blog.twitter.com/en_us/topics/company/2020/disclosing-removed-networks-to-our-archive-of-state-linked-information
- https://blog.twitter.com/en_us/topics/company/2021/disclosing-networks-of-state-linked-information-operations
- https://blog.twitter.com/en_us/topics/company/2021/disclosing-state-linked-information-operations-we-ve-removed