Abordando la detección de discurso de odio en diferentes idiomas

El Discurso de odio en las redes sociales es un problema que va en aumento. Incluye comentarios dañinos que atacan a las personas basándose en su raza, religión, género y otras características personales. Esto puede perjudicar a las comunidades en línea y provocar violencia grave. Por eso, es muy importante encontrar la manera de detectar y manejar el discurso de odio.

En los últimos años, los investigadores han estado buscando formas de encontrar automáticamente el discurso de odio en línea. La mayoría de la atención se ha centrado en el inglés y en culturas de países occidentales. Sin embargo, hay un montón de contenido odioso en otros idiomas, especialmente en aquellos con menos recursos. Esto dificulta el desarrollo de herramientas ya que a menudo hay pocos datos disponibles para entrenar modelos en esos idiomas.

Para abordar este problema, presentamos un método basado en el Meta-aprendizaje, que nos permite entrenar modelos de una manera que les ayuda a aprender rápidamente, incluso con datos limitados. Este método permite la detección del discurso de odio en varios idiomas sin necesidad de grandes cantidades de Datos de Entrenamiento en esos idiomas específicos.

#Motivación

El discurso de odio se ha convertido en una gran preocupación a nivel mundial. Puede dañar la estructura de las redes sociales y conducir a violencia en el mundo real. Por eso, los investigadores y las empresas de tecnología están interesados en encontrar soluciones efectivas para detectar el discurso de odio de manera temprana y automática.

Muchos métodos actuales dependen de grandes modelos de lenguaje que son buenos en varias tareas relacionadas con el lenguaje. Estos modelos también han mostrado promesas en la detección del discurso de odio. Sin embargo, se enfocan principalmente en el inglés y no son tan efectivos para otros idiomas, especialmente aquellos con menos recursos. En tales casos, se vuelve complicado entrenar clasificadores supervisados debido a la falta de ejemplos suficientes.

Para los idiomas que no tienen muchos datos, es esencial desarrollar modelos que puedan adaptarse rápidamente con muestras de entrenamiento limitadas. Esto puede implicar usar datos de un idioma con más recursos para ayudar a entender y clasificar el discurso de odio en un idioma con menos recursos. Algunos estudios existentes han intentado este enfoque ajustando modelos multilingües.

Lamentablemente, todavía hay una falta de investigación en la detección del discurso de odio multilingüe. Existen pocos métodos para aplicar efectivamente estos modelos a la complicada tarea de identificar el discurso de odio en varios idiomas. Los métodos existentes a menudo enfrentan dificultades al cambiar de dominios o idiomas, ya que las suposiciones subyacentes pueden no mantenerse en diferentes contextos.

#Objetivos de la Investigación

Este documento tiene como objetivo abordar los desafíos de detectar el discurso de odio en múltiples idiomas mientras se superan las limitaciones de los enfoques actuales. Presentamos un marco que permite una detección efectiva del discurso de odio en idiomas con datos limitados. Nuestro método se centra en maximizar los recursos disponibles incorporando datos de idiomas relacionados, mejorando así el rendimiento general.

Para llevar esto a la práctica, empleamos una estrategia de meta-aprendizaje, que entrena modelos para adaptarse rápidamente a nuevas tareas, como detectar discurso de odio en otro idioma. En particular, utilizamos una técnica llamada meta-aprendizaje agnóstico al modelo (MAML), que está diseñada para ayudar a los modelos a aprender a aprender de manera eficiente.

Al usar este marco, nuestro enfoque nos permite construir clasificadores que pueden adaptarse rápidamente a nuevos idiomas, incluso si hay pocos o ningún dato disponible. También nos enfocamos en mejorar la capacidad de generalización de nuestro modelo a través de diferentes dominios utilizando una función de pérdida adaptada. Esto hace que nuestro sistema sea más robusto y efectivo, incluso al manejar discurso de odio en diversos idiomas.

#Método Propuesto

Nuestro método consiste en un marco de meta-aprendizaje que ayuda a detectar el discurso de odio en idiomas de bajos recursos. Los aspectos innovadores de nuestro enfoque giran en torno a utilizar datos de idiomas auxiliares para mejorar las capacidades de detección en el Idioma objetivo, que puede no tener muchos datos de entrenamiento.

#Paso 1: Datos de Entrenamiento

Para entrenar nuestro modelo, necesitamos reunir datos de múltiples idiomas. Tendremos un idioma fuente (con abundantes datos), un idioma auxiliar (para proporcionar contexto adicional) y un idioma objetivo (donde la detección de discurso de odio es el objetivo principal). Por ejemplo, podríamos entrenar nuestro modelo usando datos del inglés (fuente) y español (auxiliar) para ayudar a detectar el discurso de odio en hindi (objetivo).

Este enfoque multilingüe nos permite crear un conjunto de muestras de entrenamiento, que luego podemos dividir en conjuntos de soporte y consulta. El conjunto de soporte ayuda en las etapas iniciales de entrenamiento, mientras que el conjunto de consulta se utiliza para evaluar qué tan bien ha aprendido el modelo.

#Paso 2: Creación de Tareas

En nuestro método, creamos varias tareas para que nuestro modelo aprenda. Cada tarea incluye muestras de los conjuntos de soporte y consulta. Este enfoque estructurado ayuda al modelo a entrenarse de manera efectiva al enfocarse en aspectos específicos de la detección del discurso de odio.

El proceso se repite varias veces, permitiendo que el modelo aprenda de diferentes combinaciones de idiomas en varias tareas. Esto ayuda a construir una base sólida tanto para los idiomas auxiliares como para el objetivo.

#Paso 3: Algoritmo de Meta-Aprendizaje

El corazón de nuestro marco es el algoritmo de meta-aprendizaje. Cuando se aplica a la detección del discurso de odio, permite que el modelo aprenda a adaptarse rápidamente a diferentes idiomas y dominios.

Inicialmente, el modelo se entrena utilizando datos abundantes del idioma fuente. Después de esta etapa, se ajusta para comprender mejor el idioma auxiliar antes de ser finalmente adaptado al idioma objetivo. El modelo aprende efectivamente dónde enfocar su atención cuando se le presentan datos nuevos.

#Paso 4: Procedimiento de Autoentrenamiento

En casos donde no hay datos etiquetados disponibles para el idioma objetivo, implementamos un procedimiento de autoentrenamiento. Esto implica hacer predicciones sobre datos no etiquetados y generar "etiquetas plateadas" basadas en la confianza del modelo. Estas etiquetas se utilizan luego para entrenar aún más al modelo.

Repetimos este proceso de manera iterativa, permitiendo que el modelo refine su comprensión y mejore su rendimiento con el tiempo. Este enfoque de autoentrenamiento es particularmente útil en situaciones de escasez extrema de datos, asegurando que el modelo aún pueda lograr capacidades sólidas de detección del discurso de odio.

#Experimentos

Para verificar la efectividad de nuestro método propuesto, realizamos experimentos en varios conjuntos de datos públicos de discurso de odio multilingüe. Estos conjuntos de datos cubren una variedad de idiomas de bajos recursos, lo que nos permite probar a fondo nuestro enfoque.

#Descripción del Conjunto de Datos

• Founta-EN: Un gran conjunto de datos en inglés que contiene tweets etiquetados como normales, spam, abusivos y odiosos. Nos enfocamos en tweets abusivos y odiosos para nuestro estudio.
• HatEval19: Un conjunto de datos multilingüe que incluye tweets en inglés y español dirigidos a inmigrantes y mujeres.
• HASOC20: Un corpus que comprende tweets en inglés, alemán e hindi, etiquetados para discurso de odio.
• HaSpeedDe20: Un conjunto de datos italiano centrado en el discurso de odio contra inmigrantes, romaníes y musulmanes, derivado de tweets y noticias.
• SemEval20: Un conjunto de datos en cinco idiomas (inglés, árabe, danés, griego y turco), creado a partir de varias plataformas de redes sociales.

#Configuración del Experimento

Establecimos tres configuraciones de entrenamiento diferentes para nuestros experimentos:

1. Zero-shot: Sin ajuste fino en el idioma objetivo.
2. Adaptación de dominio: Entrenamiento en idiomas auxiliares mientras se prueba en un idioma reservado.
3. Ajuste fino completo: Usando todas las muestras de entrenamiento disponibles de todos los idiomas.

Nuestros resultados mostrarán qué tan bien se desempeña nuestro método en diferentes configuraciones en comparación con otros métodos de referencia.

#Resultados y Análisis

#Rendimiento Zero-shot

En nuestros experimentos zero-shot, evaluamos qué tan bien puede predecir nuestro método el discurso de odio en el idioma objetivo sin entrenamiento previo en ese idioma específico. Los resultados muestran que nuestro enfoque supera consistentemente a los modelos de referencia, sugiriendo una fuerte capacidad para generalizar entre idiomas utilizando datos de fuentes auxiliares.

#Adaptación de Dominio

Para los experimentos de adaptación de dominio, medimos el impacto de entrenar en varios idiomas de las mismas familias lingüísticas. Los resultados muestran que nuestro método proporciona un rendimiento superior, especialmente cuando los datos de entrenamiento varían. Al aprovechar los idiomas auxiliares, podemos lograr mejores resultados que con métodos de ajuste fino tradicionales.

#Ajuste Fino Completo

En el escenario de ajuste fino completo, evaluamos cómo se desempeña nuestro método cuando se utilizan todos los datos de entrenamiento. Nuestro marco sigue mostrando resultados mejorados en comparación con el ajuste fino estándar, especialmente a medida que aumenta la cantidad de datos de entrenamiento. Esto destaca el potencial de nuestro enfoque de meta-aprendizaje para escalar de manera efectiva a través de múltiples idiomas y dominios.

#Conclusión

En resumen, nuestro método propuesto proporciona un enfoque valioso para detectar el discurso de odio en varios idiomas de bajos recursos. Al aprovechar el meta-aprendizaje y los datos de idiomas auxiliares, creamos un marco que supera los métodos existentes.

Nuestros resultados indican que el meta-entrenamiento puede mejorar significativamente las capacidades cruzadas entre idiomas, facilitando la adaptación a nuevos idiomas y dominios mientras se reduce la dependencia de amplios datos de entrenamiento. De aquí en adelante, tenemos la intención de ampliar nuestro trabajo para cubrir la detección de discurso de odio multiclase e investigar otras tareas relacionadas, asegurando que nuestro enfoque siga evolucionando para abordar los desafíos que plantea el discurso de odio en las redes sociales.