Evaluando Contranarrativas Contra el Discurso de Odio

En los últimos años, el aumento del discurso de odio y la desinformación en línea ha mostrado la necesidad urgente de formas de crear narrativas contrapuestas que desafíen efectivamente estos mensajes dañinos. Aunque se ha investigado sobre la creación automática de estas narrativas, los métodos usados para evaluar su calidad a menudo no coinciden con lo que la gente realmente piensa sobre ellas. Este artículo presenta un nuevo método que utiliza modelos de lenguaje avanzados para evaluar mejor la efectividad de estas narrativas en relación con el juicio humano.

#Entendiendo las Narrativas Contrapuestas

Las narrativas contrapuestas son respuestas destinadas a desafiar y negar declaraciones perjudiciales. Son herramientas esenciales en la lucha contra el discurso de odio, ya que pueden ayudar a cambiar la opinión pública y reducir el impacto que estos mensajes negativos tienen en la sociedad. Sin embargo, a menudo no hay una respuesta clara sobre qué hace que una narrativa contrapuesta sea efectiva, lo que complica el proceso de evaluarlas.

#Problemas con los Métodos de Evaluación Actuales

Los métodos actuales para evaluar la calidad de las narrativas contrapuestas suelen depender de evaluaciones manuales o Métricas automatizadas. Las evaluaciones manuales pueden ser intensivas en recursos y subjetivas, ya que dependen de jueces humanos que pueden tener diferentes opiniones sobre qué constituye una "buena" narrativa contrapuesta. Por otro lado, los métodos automatizados a menudo utilizan métricas estándar de otras tareas de generación de texto, que pueden no captar completamente las sutilezas necesarias para evaluar narrativas contrapuestas.

Por ejemplo, métricas como BLEU, ROUGE y BERTScore miden la similitud con textos de referencia, pero no miden directamente qué tan bien una respuesta contrarresta el discurso de odio. Como resultado, estos métodos existentes a menudo no reflejan con precisión las preferencias humanas en la evaluación.

#Un Nuevo Enfoque Usando Modelos de Lenguaje Grandes

Para abordar estos problemas, este trabajo propone un nuevo método que aprovecha modelos de lenguaje grandes (LLMs) como evaluadores. Al usar LLMs para evaluar la calidad de las narrativas contrapuestas, podemos buscar una mayor correlación con el juicio humano. El método propuesto evalúa narrativas contrapuestas generadas en un formato de comparación por pares. Esto significa que cada narrativa contrapuesta generada se compara directamente con otra, permitiéndonos determinar cuál es mejor sin necesidad de textos de referencia arbitrarios.

#Cómo Funciona la Nueva Evaluación

El método de evaluación propuesto implica un formato estilo torneo. Cada narrativa contrapuesta se prueba contra otra en una serie de comparaciones. El resultado de estas comparaciones se utiliza luego para clasificar las narrativas contrapuestas según su desempeño. Este enfoque simplifica la tarea subjetiva de evaluar narrativas contrapuestas en una serie de decisiones binarias, esencialmente decidiendo cuál de las dos opciones es mejor.

Además, el estudio investiga la capacidad de los LLMs para generar narrativas contrapuestas cero-shot, lo que significa que pueden crear respuestas incluso sin formación previa en ejemplos específicos de discurso de odio. Esto podría hacer que el proceso de generación sea más rápido y potencialmente más versátil.

#Comparando Diferentes Modelos

En la investigación, se examinan tres tipos diferentes de modelos basados en la misma arquitectura: un modelo base, un modelo ajustado por instrucciones y un modelo alineado con chat. El objetivo es entender qué modelo funciona mejor en la generación de narrativas contrapuestas efectivas. Las respuestas de cada modelo se evalúan en función de sus fortalezas y debilidades para abordar el discurso de odio.

#Los Conjuntos de datos Utilizados

El estudio utiliza dos conjuntos de datos para la evaluación: el conjunto de datos CONAN y el conjunto de datos Multi-Target CONAN. El conjunto de datos CONAN incluye narrativas contrapuestas generadas por expertos para el discurso de odio relacionado con la islamofobia en múltiples idiomas. El conjunto de datos Multi-Target CONAN amplía el enfoque a diferentes demografías, incluyendo mujeres y personas con discapacidades.

Al probar los modelos en estos conjuntos de datos, el estudio busca evaluar no solo la efectividad de las narrativas contrapuestas generadas, sino también cómo diferentes modelos responden a varios tipos de discurso de odio.

#Métricas de Evaluación

El método de evaluación incorpora tanto métricas basadas en referencias como métricas libres de referencias. Las métricas basadas en referencias dependen de métodos de puntuación tradicionales como BLEU y ROUGE, mientras que las métricas libres de referencias se centran en la unicidad y diversidad de las narrativas contrapuestas generadas.

El uso de Modelos de Jueces, que están específicamente entrenados para evaluar las salidas de los LLMs, ayuda a proporcionar una evaluación más confiable y consciente del contexto. El Modelo de Jueces compara las narrativas contrapuestas entre sí, permitiendo una medida más significativa de su efectividad.

#Resultados del Estudio

Los resultados iniciales indican que usar LLMs para la evaluación muestra promesa en términos de mayor correlación con la evaluación humana en comparación con métricas tradicionales. El estudio revela que los modelos alineados con chat tienden a funcionar mejor que los modelos base e incluso que los ajustados por instrucciones al generar narrativas contrapuestas en un escenario cero-shot.

Ajustar finamente los modelos con narrativas contrapuestas generadas previamente puede mejorar el desempeño, pero se observa que el desempeño de los modelos alineados con chat puede disminuir después del ajuste fino en comparación con los modelos base, que muestran mejoras tras el ajuste.

#Evaluación Manual y Acuerdo entre Evaluadores

Para agregar otra capa de detalle, los investigadores también realizaron evaluaciones manuales junto con sus medidas automatizadas. Esto incluyó pedir a evaluadores humanos que evaluaran las narrativas contrapuestas en función de criterios como relevancia, especificidad y coherencia. El estudio midió el acuerdo entre evaluadores (IAA) para asegurar que los evaluadores fueran consistentes en sus evaluaciones.

#Desafíos y Limitaciones

A pesar de los avances logrados en este estudio, quedan algunos desafíos. Un problema significativo es la inclusión de información falsa en las narrativas contrapuestas. La evaluación actualmente no tiene en cuenta si el contenido presentado en las narrativas contrapuestas es factualmente preciso. Esta falta de consideración por la veracidad podría llevar al surgimiento de narrativas contrapuestas que están bien elaboradas técnicamente pero son engañosas.

Además, el tamaño limitado de los conjuntos de datos presenta sus propios desafíos. La presencia de entradas duplicadas en el corpus puede influir en el rendimiento del modelo y sesgar los resultados. Esto requiere una mayor investigación, tal vez con conjuntos de datos más grandes y diversos en trabajos futuros.

#Direcciones Futuras

Mirando hacia adelante, la investigación sugiere varias vías para mejorar. Ampliar el análisis a otros idiomas podría proporcionar información valiosa sobre cómo se generan y evalúan las narrativas contrapuestas en diferentes contextos culturales. También hay potencial en explorar nuevos métodos, como la Generación Aumentada por Recuperación (RAG), para mejorar la precisión y confiabilidad de las narrativas contrapuestas generadas.

#Conclusión

El uso de modelos de lenguaje grandes para evaluar narrativas contrapuestas presenta una nueva dirección prometedora en la lucha contra el discurso de odio. Al desarrollar una metodología que se correlaciona más estrechamente con la evaluación humana, esta investigación busca crear un marco que pueda guiar mejor la generación de narrativas contrapuestas efectivas en el futuro. A medida que la desinformación y el discurso de odio siguen siendo problemas urgentes en el discurso en línea, encontrar formas efectivas de desafiar estas narrativas sigue siendo un objetivo importante.