Evaluando NLI para la detección de discurso de odio en diferentes idiomas

El Discurso de odio es un lenguaje dañino que apunta a individuos o grupos basados en sus atributos, como raza, religión, género u orientación sexual. Es un problema global, pero la mayoría de la investigación y herramientas para detectar discurso de odio se han centrado en el inglés. Esto deja a muchos idiomas desatendidos, ya que a menudo no hay suficientes datos etiquetados disponibles para un entrenamiento efectivo.

Crear conjuntos de datos etiquetados para detectar discurso de odio puede ser lento y caro. También puede haber efectos psicológicos en quienes realizan el etiquetado. Aunque el número de conjuntos de datos para idiomas no ingleses está aumentando, muchos idiomas aún carecen de suficientes recursos. Así que hay una gran necesidad de métodos que puedan detectar discurso de odio de manera efectiva en idiomas que tienen datos etiquetados limitados.

Trabajos recientes han mostrado que los modelos basados en Inferencia de Lenguaje Natural (NLI) pueden funcionar como clasificaciones fuertes en situaciones donde hay pocos datos de entrenamiento. Los modelos NLI funcionan bien en escenarios de cero disparos y pocos disparos, lo que significa que pueden trabajar de manera efectiva incluso cuando no se entrenan específicamente en una tarea determinada.

#Propósito del Estudio

Este estudio tiene como objetivo evaluar la efectividad del Ajuste fino de NLI para detectar discurso de odio en idiomas distintos al inglés, especialmente en casos donde hay solo una pequeña cantidad de datos etiquetados. Queremos determinar si usar NLI puede mejorar la detección en estos escenarios y ofrecer recomendaciones prácticas para esfuerzos futuros.

Vamos a evaluar nuestros hallazgos probando modelos NLI en cinco idiomas: árabe, hindi, italiano, portugués y español.

#Metodología

Los métodos utilizados en este estudio implican algunos pasos clave:

1. Enfoques de ajuste fino: Comparamos diferentes estrategias de entrenamiento. Estas incluyen ajuste fino estándar directamente en el idioma objetivo, usar datos de discurso de odio en inglés para ayudar en el entrenamiento, e introducir NLI como un paso adicional en el proceso de entrenamiento.

2. Preparación de datos: Para evaluar los modelos de detección, compilamos conjuntos de datos de inglés y de los idiomas objetivo. Utilizamos conjuntos de datos existentes y aplicamos ciertos procesos de limpieza para asegurar la consistencia de los datos.

3. Métricas de Evaluación: Nos enfocamos en una puntuación promedio macro para evaluar el rendimiento. Esto ayuda a tener en cuenta cualquier desequilibrio en los conjuntos de datos, asegurando que el rendimiento no esté sesgado por una mayor cantidad de ejemplos de no discurso de odio.

4. Diseño de experimentos: Implementamos varios experimentos usando cantidades variables de datos de entrenamiento, incluyendo cero, 20, 200 y 2000 ejemplos.

#Hallazgos

Nuestros experimentos revelaron varios hallazgos importantes sobre la efectividad del ajuste fino de NLI para la detección de discurso de odio:

1. Rendimiento en configuraciones de cero disparos y pocos disparos: El ajuste fino de NLI mostró consistentemente mejoras significativas sobre el entrenamiento solo en el idioma objetivo. Esto fue especialmente cierto en escenarios donde los ejemplos etiquetados eran escasos.

2. Beneficios del ajuste fino intermedio: Aunque el ajuste fino de NLI fue efectivo, los resultados indicaron que el ajuste fino estándar intermedio usando datos en inglés aún superó a NLI en muchos casos. Sin embargo, en situaciones donde los datos de entrenamiento no coincidían con el escenario de prueba, el ajuste fino de NLI a veces podía sobresalir.

3. Ingeniería de hipótesis: Exploramos el uso de la ingeniería de hipótesis, que implica crear hipótesis específicas relacionadas con el texto de entrada para guiar las predicciones del modelo. Esta técnica mostró potencial para mejorar el rendimiento, particularmente cuando había conocimiento del dominio sobre los datos.

4. Recomendaciones generales: Basándonos en nuestros hallazgos, proponemos varias recomendaciones:

   • Cuando hay algunos datos etiquetados disponibles, usar un ajuste fino estándar en datos en inglés suele ser beneficioso.
   • En casos de datos de entrenamiento en inglés limitados, el ajuste fino de NLI puede ser una alternativa fuerte.
   • Si hay conocimiento específico sobre el dominio objetivo pero no hay datos en inglés coincidentes, la ingeniería de hipótesis puede ayudar a lograr un mejor rendimiento.

#Desafíos y Direcciones Futuras

A pesar de los resultados positivos observados, hay desafíos que aún necesitan atención:

1. Brechas de dominio: Los conjuntos de datos utilizados para el entrenamiento de NLI a menudo provienen de diferentes contextos, lo que puede crear brechas que limitan la efectividad. El trabajo futuro podría involucrar mezclar fases de ajuste fino para reducir estas brechas.

2. Capacidad del modelo: El rendimiento de los modelos puede variar según el tamaño y la estructura. Modelos más grandes y potentes podrían ofrecer mejores resultados, especialmente en tareas complejas como NLI.

3. Variaciones culturales: El lenguaje y los contextos culturales difieren enormemente. Se necesita más investigación para adaptar los modelos a capturar matices en diferentes idiomas y culturas de manera efectiva.

4. Cobertura lingüística más amplia: Aunque este estudio se centró en cinco idiomas, muchos otros podrían beneficiarse de estos métodos. La investigación futura debería apuntar a probar el ajuste fino de NLI en idiomas más diversos.

#Conclusión

Nuestra investigación destaca el potencial de la inferencia de lenguaje natural como una herramienta útil para la detección de discurso de odio en idiomas con datos etiquetados limitados. Al explorar diferentes métodos y estrategias de entrenamiento, hemos sentado las bases para una detección más efectiva de discurso de odio en varios idiomas. Al hacer estos métodos más accesibles, podemos ayudar a crear un entorno en línea más seguro para todas las comunidades lingüísticas.