Clasificando Teorías de Conspiración en Espacios Online
Un nuevo sistema para identificar y clasificar teorías de conspiración en línea.
― 8 minilectura
Tabla de contenidos
- La importancia de identificar teorías de conspiración
- Problemas con los enfoques actuales
- Un nuevo enfoque para la Clasificación
- Metodología
- Recolección de datos
- Estableciendo la verdad fundamental
- Clasificadores de aprendizaje automático
- Evaluando el rendimiento de GPT
- Hallazgos clave
- Prevalencia de teorías de conspiración
- Interacción con narrativas conspirativas
- Comparación de modelos de clasificación
- Discusión
- Limitaciones
- Consideraciones éticas
- Conclusión
- Fuente original
- Enlaces de referencia
Las teorías de Conspiración se han vuelto cada vez más comunes en las conversaciones en línea, especialmente en las redes sociales. Mientras que algunas charlas buscan apoyar estas teorías, otras intentan contrarrestarlas. Entender la dinámica de estas conversaciones es esencial, ya que las teorías de conspiración pueden tener implicaciones significativas en el mundo real, como afectar la salud pública y socavar la confianza en las instituciones.
Identificar y clasificar las teorías de conspiración en línea es un reto debido a su naturaleza compleja. Los métodos tradicionales tienen limitaciones, lo que a menudo resulta en clasificaciones erróneas. Este trabajo tiene como objetivo crear un sistema integral para clasificar las discusiones relacionadas con las teorías de conspiración, centrándose en cómo los autores expresan sus creencias.
La importancia de identificar teorías de conspiración
Las teorías de conspiración pueden parecer inofensivas, pero pueden llevar a consecuencias serias. Pueden difundir desinformación y generar escepticismo sobre temas importantes, como la salud pública y los procesos democráticos. La pandemia de COVID-19 ha resaltado los peligros de las teorías de conspiración, mostrando cómo pueden conducir a riesgos para la salud y disturbios civiles.
Por lo tanto, es crucial diferenciar entre discusiones que apoyan y las que desmantelan estas teorías. Identificar con precisión dicho contenido puede ayudar a investigadores y responsables de políticas a entender cómo evolucionan y se difunden las teorías de conspiración en las comunidades en línea.
Problemas con los enfoques actuales
Muchos estudios existentes se han basado en métodos básicos para identificar teorías de conspiración, limitando su efectividad. Por ejemplo, algunos enfoques clasifican todas las publicaciones en foros relacionados con conspiraciones como conspirativas, lo que resulta en muchos falsos positivos. Otros métodos pueden centrarse en palabras clave específicas, lo que puede pasar por alto matices importantes o incluso perder contenido relevante por completo.
Se han empleado técnicas de aprendizaje automático para automatizar el proceso de identificación, pero a menudo se enfocan en temas estrechos y carecen de criterios claros para definir el contenido conspirativo. Esto dificulta la comparación de resultados entre diferentes estudios.
Clasificación
Un nuevo enfoque para laPara abordar las limitaciones de los métodos anteriores, este trabajo establece un nuevo esquema de clasificación para teorías de conspiración. La definición propuesta es: "Una teoría de conspiración es un conjunto de Narrativas diseñadas para acusar a uno o más agentes de cometer acciones específicas que se cree que trabajan hacia un objetivo secreto y dañino." Esta definición resalta tres elementos clave: el agente (quien se cree que está involucrado), la acción (de qué se les acusa) y el objetivo (el supuesto objetivo oculto).
Este nuevo enfoque considera varios aspectos de las narrativas conspirativas, incluyendo cómo los autores expresan sus creencias, si promueven o desmantelan una teoría y cómo hacen referencia a conspiraciones conocidas. Al centrarse en estos elementos, el sistema de clasificación ofrece una comprensión más matizada de las discusiones conspirativas en línea.
Metodología
Recolección de datos
Los datos para este estudio provienen de los foros relacionados con teorías de conspiración más activos en Reddit. Los investigadores identificaron subreddits populares dedicados a teorías de conspiración y recolectaron publicaciones durante varios años. El intervalo de tiempo seleccionado permite un análisis rico de las discusiones en línea y su evolución durante ese período.
La recolección de datos también consideró la eliminación de publicaciones cortas o eliminadas. Este proceso de filtrado asegura que el análisis se centre en contenido sustantivo relevante para las preguntas de investigación.
Estableciendo la verdad fundamental
Para validar el sistema de clasificación, un equipo de anotadores entrenados evaluó una muestra de publicaciones de subreddits seleccionados. Estos codificadores recibieron directrices para asegurarse de que entendieran el contexto y las complejidades de las teorías de conspiración. Categorizaron las publicaciones como conspirativas (de Apoyo) o no conspirativas (desmantelando o neutrales).
Los codificadores pasaron por un riguroso proceso de capacitación, desarrollando su capacidad para reconocer diferentes elementos narrativos en las publicaciones. Su objetivo era construir un conjunto de datos confiable del cual el sistema de clasificación pudiera aprender.
Clasificadores de aprendizaje automático
Usando los datos anotados por humanos, se entrenaron varios clasificadores de aprendizaje automático para identificar teorías de conspiración de manera automática. Los investigadores exploraron varios modelos, incluidos métodos de aprendizaje automático tradicionales y técnicas de aprendizaje profundo más avanzadas que utilizan modelos de lenguaje grandes.
Al comparar el rendimiento de estos clasificadores, los investigadores intentaron determinar qué modelos eran los más efectivos para identificar contenido conspirativo.
Evaluando el rendimiento de GPT
Además de los clasificadores tradicionales, los investigadores también probaron el modelo Generative Pre-trained Transformer (GPT) para ver qué tan bien podía clasificar teorías de conspiración en línea. Este modelo es conocido por su comprensión contextual y expresividad.
Se emplearon diferentes estrategias de aviso para evaluar las habilidades de clasificación de GPT. Los investigadores encontraron tanto fortalezas como debilidades en su rendimiento, revelando que, aunque podía identificar teorías de conspiración bien conocidas, tenía dificultades con narrativas más matizadas o emergentes.
Hallazgos clave
Prevalencia de teorías de conspiración
El análisis reveló que solo alrededor de un tercio de las publicaciones en los foros de Reddit examinados fueron clasificadas como de apoyo a teorías de conspiración. Este hallazgo desafía suposiciones comúnmente sostenidas sobre la prevalencia de contenido conspirativo en dichas comunidades en línea. Entender la proporción real de discusiones relacionadas con conspiraciones puede informar estrategias para abordar la desinformación.
Interacción con narrativas conspirativas
Las publicaciones que apoyaban teorías de conspiración tendían a recibir más comentarios y puntajes de karma más altos, lo que indica una mayor interacción. Esto sugiere que el contenido que promueve teorías de conspiración tiene más probabilidades de prosperar dentro de estas plataformas en línea debido a un aumento en las interacciones de los usuarios.
Comparación de modelos de clasificación
El estudio comparó el rendimiento de diferentes métodos de aprendizaje automático, y algunos modelos, como RoBERTa, mostraron resultados superiores. Si bien GPT exhibió capacidades fuertes, también demostró fallas significativas en el razonamiento, particularmente al clasificar teorías de conspiración más complejas o menos conocidas.
Discusión
Identificar teorías de conspiración en discusiones en línea presenta desafíos significativos. Este trabajo estableció un esquema de clasificación integral que ofrece perspectivas sobre las complejidades de las narrativas conspirativas. Al centrarse en las perspectivas de los autores y los elementos narrativos, el nuevo enfoque mejora los métodos anteriores.
Los hallazgos destacan la necesidad de estrategias de moderación de contenido matizadas en las plataformas de redes sociales. A medida que las teorías de conspiración continúan proliferando, entender cómo se discuten en línea puede ayudar a mitigar su posible daño.
Limitaciones
A pesar de sus fortalezas, el estudio tiene limitaciones. Dado que las discusiones en línea pueden ser ambiguas, interpretar con precisión las intenciones de los autores a menudo es difícil. La variabilidad en cómo los codificadores interpretan las publicaciones podría introducir subjetividad en el proceso de anotación. Los estudios futuros podrían beneficiarse de refinar los criterios de clasificación y expandir los conjuntos de datos de entrenamiento.
Consideraciones éticas
Recopilar datos de plataformas en línea plantea preguntas éticas, especialmente en lo que respecta a la privacidad de los usuarios y la posibilidad de consecuencias no deseadas. Esta investigación se adhirió a directrices diseñadas para proteger la anonimidad de los usuarios y buscó evitar promover teorías de conspiración bajo el disfraz de análisis.
Conclusión
La clasificación de teorías de conspiración en discusiones en línea es un área de estudio crítica, especialmente dado el rápido aumento de la desinformación y sus implicaciones en el mundo real. Al desarrollar un sistema de clasificación integral y aprovechar técnicas de aprendizaje automático, esta investigación contribuye a una mejor comprensión de cómo operan las teorías de conspiración en entornos en línea.
El trabajo futuro debería continuar refinando estos métodos y explorar sus aplicaciones en otros contextos, trabajando hacia una imagen más precisa del discurso en línea y sus efectos en las creencias y el comportamiento.
Título: Classifying Conspiratorial Narratives At Scale: False Alarms and Erroneous Connections
Resumen: Online discussions frequently involve conspiracy theories, which can contribute to the proliferation of belief in them. However, not all discussions surrounding conspiracy theories promote them, as some are intended to debunk them. Existing research has relied on simple proxies or focused on a constrained set of signals to identify conspiracy theories, which limits our understanding of conspiratorial discussions across different topics and online communities. This work establishes a general scheme for classifying discussions related to conspiracy theories based on authors' perspectives on the conspiracy belief, which can be expressed explicitly through narrative elements, such as the agent, action, or objective, or implicitly through references to known theories, such as chemtrails or the New World Order. We leverage human-labeled ground truth to train a BERT-based model for classifying online CTs, which we then compared to the Generative Pre-trained Transformer machine (GPT) for detecting online conspiratorial content. Despite GPT's known strengths in its expressiveness and contextual understanding, our study revealed significant flaws in its logical reasoning, while also demonstrating comparable strengths from our classifiers. We present the first large-scale classification study using posts from the most active conspiracy-related Reddit forums and find that only one-third of the posts are classified as positive. This research sheds light on the potential applications of large language models in tasks demanding nuanced contextual comprehension.
Autores: Ahmad Diab, Rr. Nefriana, Yu-Ru Lin
Última actualización: 2024-03-29 00:00:00
Idioma: English
Fuente URL: https://arxiv.org/abs/2404.00141
Fuente PDF: https://arxiv.org/pdf/2404.00141
Licencia: https://creativecommons.org/licenses/by-sa/4.0/
Cambios: Este resumen se ha elaborado con la ayuda de AI y puede contener imprecisiones. Para obtener información precisa, consulte los documentos originales enlazados aquí.
Gracias a arxiv por el uso de su interoperabilidad de acceso abierto.
Enlaces de referencia
- https://github.com/picsolab/Conspiratorial-Narratives-At-Scale
- https://www.factcheck.org/2018/06/conspiracy-theory-follows-call-for-space-force/
- https://files.pushshift.io/
- https://www.biomedcentral.com/info/authors/
- https://www.miktex.org
- https://www.biomedcentral.com
- https://www.biomedcentral.com/info/authors%%
- https://www.redditinc.com/policies/data-api-terms
- https://www.reddit.com/r/pushshift/comments/13w6j20/advancing_communityled_moderation_an_update_on/
- https://support.reddithelp.com/hc/en-us/articles/14945211791892#h_01H69EJB9GRHCMPZMKFQTNQKY0