Abordando la desinformación en vietnamita con ViWikiFC

La Verificación de hechos es súper importante hoy en día porque hay mucha información falsa circulando por internet. Este problema afecta a gente en todos los idiomas y países, pero la mayoría de los estudios se han centrado en idiomas más grandes como el inglés y el chino. Hay una necesidad de abordar la verificación de hechos en idiomas como el vietnamita, que a menudo no tienen suficientes recursos para este trabajo.

Para ayudar con esto, creamos ViWikiFC, la primera gran colección de datos de verificación de hechos para Wikipedia en vietnamita. Esta colección tiene más de 20,000 afirmaciones hechas al transformar oraciones de artículos de Wikipedia en afirmaciones que pueden ser verificadas por verdad. Miramos esta colección de diferentes maneras, verificando nuevas palabras, estructura de oraciones y cuán a menudo aparecen nuevas palabras. También hicimos pruebas sobre cómo encontrar evidencia y predecir si las afirmaciones son verdaderas o falsas.

#El Problema de la Desinformación

La propagación de información falsa se ha convertido en un gran problema, especialmente en las redes sociales. Sin reglas estrictas para compartir información, la gente puede ser fácilmente engañada. Esto puede llevar a conflictos y confusiones. Para reducir el impacto de la desinformación, organizaciones como PolityFact y FactCheck.org han intervenido para verificar afirmaciones checando varias fuentes. Sin embargo, revisar los hechos manualmente puede llevar mucho tiempo, ya que implica buscar en muchas fuentes para encontrar evidencia relevante.

#El Desafío de la Verificación Automática de Hechos

La verificación automática de hechos es una tarea compleja. Se puede dividir en cuatro pasos principales:

1. Detección de Afirmaciones: Identificar qué necesita ser verificado.
2. Recuperación de Evidencia: Encontrar evidencia que apoye o contradiga la afirmación.
3. Predicción de Veredicto: Decidir si la afirmación es verdadera o no basada en la evidencia.
4. Justificación: Proporcionar una explicación clara de por qué la afirmación es apoyada o refutada.

Aunque ha habido investigación sobre cómo mejorar los sistemas de verificación de hechos, todavía faltan muchos métodos y recursos para el vietnamita. Esta brecha hace que sea importante crear herramientas y Conjuntos de datos que puedan ayudar con la verificación de hechos en el idioma vietnamita.

#La Importancia del Conjunto de Datos ViWikiFC

Para apoyar la investigación en verificación de hechos para el idioma vietnamita, desarrollamos ViWikiFC. Este conjunto de datos incluye más de 20,000 afirmaciones basadas en evidencia encontrada en Wikipedia. Las afirmaciones están etiquetadas como APOYA, REFUTA o NO HAY SUFICIENTE INFORMACIÓN (NEI). Esta variedad ayuda a los investigadores a manejar situaciones de la vida real de manera más efectiva.

Antes de crear este conjunto de datos, establecimos pautas claras y entrenamos a hablantes nativos de vietnamita para anotar los datos con precisión. Este entrenamiento asegura que las afirmaciones generadas sean consistentes y confiables.

#Experimentos con el Conjunto de Datos

Hicimos dos experimentos principales: recuperación de evidencia y predicción de veredicto. En la tarea de recuperación de evidencia, tomamos una afirmación y buscamos en un conjunto de documentos para encontrar la evidencia más relevante. Usamos métodos como TF-IDF y BM25 para hacer coincidir palabras y frases, junto con Vietnamese-SBERT para una comprensión más profunda del significado de las oraciones.

Para la predicción del veredicto, aplicamos diferentes modelos de redes neuronales para evaluar si una afirmación es verdadera o falsa basada en la evidencia. También probamos modelos de lenguaje de última generación diseñados para el vietnamita. Estos modelos mostraron un buen rendimiento pero aún enfrentaron desafíos con nuestro conjunto de datos.

#Contribuciones Clave

1. Creación de un Nuevo Corpus: Introdujimos ViWikiFC, el primer conjunto de datos para la verificación de hechos en vietnamita, que contiene más de 20,000 afirmaciones.
2. Análisis Experimental: Realizamos varias pruebas para evaluar las tareas de recuperación de evidencia y predicción de veredicto, ayudando a mostrar los desafíos del conjunto de datos.
3. Análisis Lingüístico: Exploramos los aspectos lingüísticos del conjunto de datos, como la frecuencia de nuevas palabras y la estructura de las oraciones, para entender mejor la naturaleza de la verificación de hechos en vietnamita.

#Trabajo Relacionado en Verificación de Hechos

Se han creado otros conjuntos de datos de verificación de hechos a lo largo de los años, como el corpus de Politifact y el conjunto de datos FEVER. Estas colecciones han establecido las bases para la investigación actual en la verificación de afirmaciones, pero a menudo se centran solo en idiomas más grandes. Nuestro trabajo es significativo porque busca llenar el vacío para el vietnamita y otros idiomas con pocos recursos.

#Construcción del Corpus ViWikiFC

El proceso de creación del conjunto de datos ViWikiFC involucró varios pasos:

1. Reclutamiento de Anotadores: Contratamos a 30 hablantes nativos de vietnamita con buena formación educativa.
2. Entrenamiento: Los anotadores pasaron por un estricto proceso de capacitación para asegurarse de que entendieran cómo crear afirmaciones precisas basadas en evidencia.
3. Selección de Evidencia: Usamos Wikipedia para recopilar evidencia, enfocándonos en una amplia gama de temas.
4. Generación de Afirmaciones: Los anotadores crearon afirmaciones basadas en la evidencia, asegurando una diversidad de expresiones.
5. Validación: Establecimos un proceso para validar las afirmaciones en cuanto a consistencia y precisión.

#Pautas y Herramientas para Anotadores

Para apoyar a nuestros anotadores, proporcionamos una herramienta que permitía la fácil entrada de afirmaciones. La herramienta fue diseñada para asegurar que las afirmaciones siguieran reglas estrictas, ayudando a mantener altos estándares durante el proceso de anotación. Los anotadores tenían que crear afirmaciones con distinciones claras basadas en la evidencia, evitar dialectos regionales y asegurar una gramática adecuada.

#Selección de Evidencia de Wikipedia

Elegimos Wikipedia como nuestra fuente principal de evidencia debido a su amplia cobertura de varios temas. Ofrece una rica base de datos de información, lo que facilita la creación de un corpus integral. Reunimos más de 3,800 oraciones de evidencia de numerosos artículos de Wikipedia, asegurando que tuviéramos un conjunto de datos diverso.

#Proceso de Generación de Afirmaciones

En nuestro conjunto de datos, incluimos tres tipos de afirmaciones:

1. APOYA: Afirmaciones que son verdaderas basadas en la evidencia.
2. REFUTA: Afirmaciones que son falsas basadas en evidencia.
3. NO HAY SUFICIENTE INFORMACIÓN (NEI): Afirmaciones que no se pueden determinar como verdaderas o falsas basadas en la evidencia proporcionada.

Nuestros anotadores tenían que escribir múltiples afirmaciones para cada pieza de evidencia, asegurando una rica variedad de posibles afirmaciones para probar.

#Validación del Corpus

Para mantener un conjunto de datos de alta calidad, establecimos un proceso de validación que involucraba revisiones tanto de anotadores como de autores. Esto nos permitió asegurar que las afirmaciones eran precisas y seguían las pautas que habíamos establecido.

#Análisis del Corpus

Analizamos el conjunto de datos desde varios ángulos, observando estadísticas generales, longitud de oraciones y tasas de nuevas palabras. Este análisis nos ayuda a entender los desafíos que enfrentan los modelos al trabajar con este corpus.

#Distribución de Longitud y Características

En promedio, las oraciones de las afirmaciones eran más cortas que las oraciones de la evidencia, lo que era de esperarse. Esta diferencia de longitud refleja la forma en que se transmite la información; las afirmaciones suelen ser concisas, mientras que la evidencia proporciona más detalles. La afirmación más corta tenía cuatro palabras, mientras que la más larga alcanzó 113 palabras.

#Tasa de Nuevas Palabras en Afirmaciones

Medimos con qué frecuencia aparecían nuevas palabras en las afirmaciones en comparación con la evidencia. Este análisis muestra que las afirmaciones relacionadas con REFUTA usaban menos palabras nuevas. En contraste, las afirmaciones NEI tenían la tasa más alta de nuevas palabras. Esto indica que los anotadores tuvieron cuidado al usar términos familiares al redactar afirmaciones para mantener la precisión.

#Análisis de Dependencias en Afirmaciones

Revisamos con qué frecuencia las afirmaciones usaban nuevas dependencias en comparación con la evidencia. Una alta tasa de nuevas dependencias sugiere que las afirmaciones fueron construidas creativamente a partir de la evidencia. Los tres tipos de afirmaciones mostraron un número considerable de nuevas dependencias, indicando estructuras de oraciones diversas.

#Análisis de Tasa de n-Gram

Calculamos cuán similares eran las afirmaciones y la evidencia revisando n-grams compartidos. Las afirmaciones NEI tuvieron la tasa más alta de nuevos n-grams, reforzando la idea de que usaron información adicional más allá de la que estaba en la evidencia.

#Reglas de Generación de Datos

Analizamos las reglas que usaron los anotadores para crear afirmaciones. Estas reglas guiaron la forma en que se construyeron las afirmaciones, asegurando una mezcla de estructuras de oraciones y expresiones. Notablemente, hubo diferencias en cómo los anotadores abordaron las afirmaciones APOYA y REFUTA.

#Evaluación de Modelos

Para evaluar qué tan bien funcionaron los modelos con nuestro conjunto de datos, definimos dos tareas clave: recuperación de evidencia y predicción de veredicto. Cada tarea se probó en un conjunto de desarrollo, y los resultados se evaluaron en un conjunto de prueba separado.

#Modelos de Recuperación de Evidencia

Probamos modelos como BM25 y SBERT para recuperar evidencia. BM25 superó consistentemente a otros modelos, mostrando que métodos más simples aún pueden ser muy efectivos. Aunque SBERT captura significados contextuales, no funcionó tan bien como BM25 en nuestras pruebas.

#Modelos de Predicción de Veredicto

Para predecir si una afirmación es verdadera o falsa, usamos varios modelos, incluyendo PhoBERT e InfoXLM. Estos modelos mostraron un fuerte rendimiento al analizar relaciones complejas en el lenguaje, pero aún tenían limitaciones al tratar con nuestro conjunto de datos.

#Desarrollo del Pipeline

Para crear un sistema funcional, combinamos los mejores modelos de ambas tareas en un pipeline integral. Este pipeline tiene como objetivo mejorar la precisión en la tarea general de verificación de hechos y es esencial para lograr un mejor rendimiento en aplicaciones del mundo real.

#Desafíos con el Conjunto de Datos

A pesar de los avances, nuestros resultados destacan desafíos significativos dentro del conjunto de datos ViWikiFC. La estricta precisión del 67% indica que los modelos existentes deben mejorar para manejar efectivamente las tareas de verificación de hechos en vietnamita. Esto sirve como un recordatorio de la continua necesidad de investigación y desarrollo en el campo.

#Direcciones Futuras en la Verificación de Hechos en Vietnamita

Mirando hacia el futuro, planeamos mejorar la verificación de hechos en vietnamita expandiendo y mejorando nuestro conjunto de datos. Esto incluye buscar fuentes de información más confiables y explorar otros tipos de datos más allá del texto, como imágenes y tablas. También buscamos mejorar capacidades en áreas como detección de noticias falsas y comprensión lectora de máquinas.

#Conclusión

El conjunto de datos ViWikiFC representa un paso importante en la investigación de verificación de hechos en vietnamita. Al abordar la brecha para idiomas con pocos recursos, esperamos contribuir a la batalla continua contra la desinformación. El trabajo presentado en este documento anima a realizar más esfuerzos para mejorar las técnicas de verificación de hechos para el vietnamita y lenguas similares, allanando el camino para una comprensión más clara de la integridad de la información en la era digital.