Detectando Teorías de Conspiración en Telegram

El crecimiento de las Teorías de conspiración (TCs) durante la pandemia de COVID-19 resalta la necesidad de encontrar formas efectivas para identificarlas en espacios online. Las teorías de conspiración pueden propagarse rápidamente e influir negativamente en las opiniones de la gente. Por eso, este artículo examina métodos para detectar teorías de conspiración en mensajes en alemán en Telegram. Comparamos dos enfoques principales: ajustar modelos existentes y usar modelos basados en indicaciones.

#Antecedentes

Los espacios online, especialmente las plataformas de redes sociales, son áreas clave donde prosperan las teorías de conspiración. Estas teorías a menudo prometen respuestas simples durante momentos complicados, como una pandemia. Pueden dañar la confianza pública en las instituciones y llevar al discurso de odio y la violencia. Muchas herramientas de detección existentes se centran en el inglés y se basan en búsquedas de palabras clave, lo que puede perder el panorama completo. Nuestro objetivo es mejorar los métodos de detección para contenido en alemán, ya que ha sido menos estudiado.

#Propósito del Estudio

Nuestra meta es crear mejores herramientas para detectar teorías de conspiración en mensajes en alemán en Telegram. Queremos ver si los modelos diseñados para inglés se pueden adaptar al alemán y si los métodos basados en indicaciones pueden desempeñarse tan bien como los enfoques tradicionales de ajuste. También evaluaremos la efectividad de estos modelos en diferentes momentos y contextos.

#Metodología

#Recolección de datos

Usamos un conjunto de datos llamado TelCovACT, que incluye alrededor de 3,663 mensajes de canales de Telegram en alemán conocidos por difundir teorías de conspiración durante la pandemia. Estos mensajes se recolectaron sin depender de palabras clave para filtrar el contenido. Este método nos permite captar una gama más amplia de narrativas conspirativas que pueden no incluir las palabras comunes usadas para identificar tales mensajes.

#Enfoques de Modelos

Nos enfocamos en dos tipos principales de modelos:

1. Ajuste Supervisado: Esto implica entrenar modelos de lenguaje existentes, como BERT, con nuestro conjunto de datos recolectado. Ajustamos parámetros y usamos un enfoque bien estructurado para mejorar su desempeño en la identificación de teorías de conspiración.

2. Modelos Basados en Indicaciones: También probamos modelos generativos como GPT-3.5, GPT-4 y Llama 2. Estos modelos pueden clasificar textos basados en indicaciones, que requieren poca o ninguna capacitación adicional. Usan el texto de entrada para determinar si apoya teorías de conspiración.

#Preguntas de Investigación

Buscamos responder a cuatro preguntas principales:

1. ¿Pueden los modelos ajustados lograr resultados similares a los de los modelos en inglés?
2. ¿Qué tan bien se adaptan estos modelos a cambios en el contexto y tiempo?
3. ¿Pueden los modelos basados en indicaciones igualar o superar el desempeño de los modelos ajustados?
4. ¿Cómo afectan diferentes configuraciones de entrada el desempeño del modelo?

#Resultados y Hallazgos

#Resultados de Ajuste

El modelo TelConGBERT, nuestro modelo BERT ajustado, logró un alto puntaje F1 promediado macro de 0.85. Este puntaje indica una fuerte capacidad para identificar teorías de conspiración, especialmente cuando el modelo fue entrenado usando un conjunto de datos que no dependía de filtrado por palabras clave. Cuando probamos el modelo con datos más nuevos, mantuvo un desempeño moderado a bueno.

#Resultados del Modelo Basado en Indicaciones

Entre los modelos basados en indicaciones, GPT-4 se destacó como el más efectivo, logrando un puntaje F1 de 0.79 en un entorno de cero disparos. Esto indica que pudo identificar teorías de conspiración sin entrenamiento previo en ejemplos específicos. GPT-3.5 y Llama 2 también produjeron resultados, pero no fueron tan robustos como los de GPT-4.

#Comparación de Enfoques

Tanto los modelos ajustados como los modelos basados en indicaciones mostraron promesas. En algunos casos, lograron niveles similares de precisión. Sin embargo, hubo un desacuerdo significativo en las predicciones entre los modelos en el 15% de los datos de prueba, lo que indica que se necesita una evaluación adicional para mejorar la consistencia.

#Implicaciones de los Hallazgos

Los hallazgos sugieren que ambos enfoques tienen valor en la detección de teorías de conspiración. Ajustar modelos existentes como TelConGBERT proporciona resultados confiables, mientras que métodos basados en indicaciones como GPT-4 muestran promesas de flexibilidad y adaptabilidad. Esta flexibilidad es crucial en un paisaje informativo que cambia rápidamente, como se vio durante la pandemia.

#Importancia del Contexto

El estudio ilustra cómo el contexto y la presencia de componentes narrativos clave pueden afectar la detección de teorías de conspiración. Las narrativas complejas con muchos elementos son más fáciles de clasificar para los modelos en comparación con las narrativas fragmentadas, que tienden a confundir los esfuerzos de detección.

#Aplicaciones Prácticas

Los resultados tienen implicaciones prácticas para organizaciones que monitorean la comunicación online. Usar modelos como TelConGBERT podría ayudar a rastrear teorías de conspiración de manera más efectiva, ayudando en la lucha contra la desinformación. El análisis de grandes conjuntos de datos de varios canales de Telegram indicó que una parte significativa de los mensajes contenía teorías de conspiración.

#Monitoreo de Canales

En nuestro análisis, más del 11% de los mensajes de 215 canales públicos de Telegram fueron identificados como conteniendo teorías de conspiración. Esto se traduce en una cantidad sustancial de contenido potencialmente dañino que puede influir en la opinión pública.

#Desafíos en la Detección

A pesar de los resultados prometedores, hay desafíos en la detección de teorías de conspiración. La complejidad inherente de estas narrativas las hace difíciles de clasificar. Los modelos pueden tener problemas, especialmente con información fragmentada que carece de completitud. Esta complejidad refleja la dificultad que también enfrentan los anotadores humanos al categorizar estos mensajes.

#Trabajo Futuro

Para mejorar estos hallazgos, futuras investigaciones pueden explorar la expansión del conjunto de datos y probar modelos adicionales. Colaboraciones con organizaciones que monitorean contenido online dañino podrían mejorar la adaptabilidad de estos modelos a escenarios del mundo real. Técnicas de muestreo y anotaciones más refinadas también pueden proporcionar datos más claros para el entrenamiento.

#Consideraciones Éticas

A medida que trabajamos en mejorar los métodos de detección, es esencial considerar las implicaciones éticas de la automatización en la moderación de contenido. Clasificaciones incorrectas pueden llevar a consecuencias negativas, como penalizar el discurso legítimo o no abordar contenido dañino. Es crucial equilibrar los beneficios de la automatización con la necesidad de una detección precisa y responsable.

#Conclusión

Este estudio demuestra el potencial para una mejor detección de teorías de conspiración en textos en alemán usando tanto métodos de ajuste como basados en indicaciones. Los hallazgos confirman que modelos de lenguaje sofisticados se pueden aplicar efectivamente en este contexto, proporcionando herramientas vitales para gestionar la desinformación. A medida que seguimos refinando estos enfoques, el enfoque debe seguir siendo mejorar su aplicabilidad y confiabilidad en situaciones del mundo real.

La investigación y el desarrollo continuos en este campo contribuirán no solo a una mejor comprensión de las teorías de conspiración, sino también al desarrollo de soluciones que pueden abordar su propagación en plataformas de redes sociales.