Entendiendo las afirmaciones no respaldadas a través de la predicción narrativa

En nuestra vida diaria, a menudo nos encontramos con afirmaciones que no están respaldadas y son difíciles de verificar. Estas afirmaciones pueden moldear nuestras opiniones y puntos de vista sobre varios temas. Sin embargo, puede ser complicado clasificar y dar sentido a estas afirmaciones, especialmente cuando las discusiones son extensas y caóticas. Este artículo se centra en cómo podemos entender y clasificar mejor estas afirmaciones no soportadas a través de un nuevo enfoque llamado Predicción Narrativa.

#La Importancia de la Predicción Narrativa

La capacidad de identificar Narrativas en discusiones públicas, especialmente en línea, es esencial. Esta habilidad ayuda a evaluar la validez de diferentes afirmaciones. Las plataformas en línea se han convertido en puntos calientes para debates sobre varios temas, pero a menudo carecen de Argumentos claros. Al identificar las narrativas específicas dentro de estas discusiones, los verificadores de hechos pueden evaluar más efectivamente la precisión de las afirmaciones y argumentos.

#Definiendo Narrativas, Afirmaciones y Argumentos

Para desarrollar nuestra comprensión, primero definimos qué entendemos por narrativas, afirmaciones y argumentos:

• Narrativa: Una narrativa es una declaración clara sobre un tema específico, reflejando el punto de vista de un individuo. Puede o no estar respaldada por evidencia.
• Afirmación: Una afirmación es simplemente una declaración o proposición que no tiene evidencia de apoyo.
• Argumento: Un argumento es una afirmación que está respaldada por evidencia y razonamiento. Su propósito es justificar un punto de vista específico.

Por ejemplo, la declaración "Clonar humanos es poco ético" es una afirmación, mientras que un argumento incluiría evidencia que respalde esta afirmación, como preocupaciones éticas relacionadas con la clonación.

#El Reto de las Afirmaciones No Soportadas

Muchas afirmaciones no tienen suficiente evidencia para ser consideradas argumentos, lo que las hace difíciles de verificar. Necesitamos identificar afirmaciones no soportadas para entender mejor el discurso público. Esta tarea, que llamamos Predicción Narrativa, tiene como objetivo clasificar estas afirmaciones en un conjunto de narrativas reconocibles.

#Crowdsourcing de Datos para Análisis

Para apoyar nuestra investigación, recopilamos un gran conjunto de datos que consta de más de 120,000 argumentos, afirmaciones y comentarios de diversas fuentes en línea. Estos ejemplos están categorizados en temas controvertidos y están anotados con etiquetas narrativas para facilitar el análisis.

#El Papel de los Modelos de Lenguaje Grande

Exploramos cómo los modelos de lenguaje grande (LLMs) pueden ayudar a sintetizar afirmaciones. Al usar un método llamado Aprendizaje en Contexto, encontramos que las afirmaciones generadas con evidencia de apoyo ayudan a mejorar el rendimiento de los modelos de clasificación narrativa. Este descubrimiento sugiere que los LLMs pueden inferir posturas y aspectos basados en un número limitado de ejemplos de entrenamiento.

#Metodología Detrás de la Identificación Narrativa

En nuestra metodología, diferenciamos narrativas de afirmaciones y argumentos al considerar atributos adicionales como temas, posturas, aspectos y evidencia. Por ejemplo, el tema de la clonación puede involucrar narrativas sobre implicaciones éticas o avances científicos.

#Importancia de la Evidencia

La evidencia es crucial para evaluar la credibilidad de una declaración. Cuando una afirmación está respaldada por evidencia, se transforma en un argumento más sólido. Por otro lado, una declaración que carece de evidencia sigue siendo una simple afirmación.

#Introduciendo la Hipótesis del Loro

La Hipótesis del Loro postula que en cualquier debate en redes sociales, surge un número limitado de narrativas distintas a partir de las contribuciones de los usuarios. Las personas a menudo expresan sus opiniones de formas variadas y embellecidas, sin embargo, estas expresiones pueden destilarse en un conjunto finito de narrativas reconocibles. Este enfoque nos ayuda a simplificar la evaluación de discusiones complejas en una tarea de clasificación.

#El Proceso de Predicción Narrativa

El objetivo de la Predicción Narrativa es analizar tweets, identificar sus narrativas y clasificarlas en consecuencia. Cada tweet puede implicar múltiples narrativas, pero buscamos asignar solo una narrativa clara para mantener la claridad.

#Recopilación y Anotación de Datos

Para anotar nuestro conjunto de datos de manera efectiva, usamos Amazon Mechanical Turk. El primer paso implicó un pretest para asegurarnos de que los anotadores entendieran las diferencias entre afirmaciones y argumentos. Tras el pretest, los anotadores clasificaron los tweets según las narrativas que seguían.

#Características del Conjunto de Datos

Creamos dos conjuntos de datos: Twitter-Narratives-9 (TN9) y una versión aumentada del UKP-Corpus. Estos conjuntos de datos permiten el entrenamiento y la evaluación de técnicas de predicción narrativa.

#Técnicas para una Predicción Mejorada

Propusimos un marco conocido como Prompt, Condition, and Generate (PCG). Este marco utiliza LLMs para mejorar la predicción narrativa generando ejemplos sintéticos basados en posturas y aspectos identificados.

#Evaluación de la Predicción Narrativa

Para evaluar nuestro modelo de predicción narrativa, comparamos su rendimiento con las líneas base existentes. Empleamos diversas métricas, incluidos los puntajes Rouge-L F1, para cuantificar la calidad de las narrativas predichas.

#Hallazgos y Discusión

Nuestros hallazgos indican que el uso de tweets sintéticos generados a través de LLMs mejora significativamente el rendimiento de la predicción narrativa. El estudio también destaca los desafíos enfrentados en la predicción de posturas y aspectos, especialmente con temas polarizados.

#Direcciones Futuras

En el futuro, esperamos perfeccionar nuestros métodos y explorar técnicas de ensamblaje para la predicción narrativa. Nuestro enfoque puede adaptarse para incluir múltiples temas y narrativas, permitiendo un análisis más completo.

#Conclusión

Al desarrollar una definición clara de narrativas y utilizar técnicas avanzadas para la clasificación, podemos analizar mejor el discurso público. El trabajo en torno a la Predicción Narrativa es un paso hacia la mejora de nuestra capacidad para entender y evaluar afirmaciones no soportadas en el paisaje en rápida evolución de las discusiones en línea.