Abordando la discriminación regional en las redes sociales de Vietnam

La discriminación regional es un problema serio en Vietnam y a menudo se ve en las redes sociales. Aunque muchas personas inteligentes han analizado el discurso de odio en vietnamita, no se han centrado mucho en la discriminación regional. Es como intentar arreglar un coche sin revisar el motor. Este documento habla de un nuevo sistema que ayuda a detectar cuando la gente publica comentarios Discriminatorios basados en de dónde es alguien.

#La Gran Imagen

Después de años de conflictos y divisiones, la discriminación regional ha ido en aumento en Vietnam. La gente a menudo juzga a otros por su origen, lo que puede llevar a divisiones y sentimientos heridos. Es como tener dos equipos de fútbol rivales, no logran ponerse de acuerdo.

Las redes sociales se han convertido en una espada de doble filo. Mientras conectan a las personas, también dan una plataforma para difundir negatividad. En diciembre de 2023, un programa de noticias popular destacó el impacto de la discriminación regional en las redes sociales en Vietnam. Enfatizaron cómo este comportamiento podría dañar la unidad nacional.

#Por Qué Esto Importa

Vivimos en una época donde las redes sociales están en todos lados. Pueden unir a las personas o separarlas. Los comentarios negativos pueden no solo herir a las personas; también pueden ampliar las divisiones comunitarias. Es como intentar hacer un sándwich sin pan, simplemente no funciona.

Este estudio tiene como objetivo construir un sistema que ayude a identificar y procesar estos comentarios discriminatorios en tiempo real. Al hacerlo, podemos recopilar datos para mejorar nuestra comprensión de la situación y tal vez incluso prevenirla.

#Trabajos Relacionados

Hay otros estudios, especialmente mirando el discurso de odio en vietnamita. A menudo incluyen procesamiento de datos cuidadoso como cambiar todo a minúsculas y eliminar enlaces innecesarios. Es un poco como limpiar tu habitación desordenada antes de invitar a amigos. Un buen ejemplo aquí es el modelo PhoBERT-CNN que combina diferentes técnicas para analizar texto.

Estos enfoques nos dan un punto de partida pero también destacan las brechas en las aplicaciones prácticas. En lugar de solo crear modelos, necesitamos encontrar formas de aplicarlos en el mundo real, particularmente en redes sociales.

#Recolección de Datos

Hemos desarrollado nuestro propio conjunto de datos llamado ViRDC, que incluye alrededor de 17,000 comentarios recolectados de redes sociales. El objetivo es estudiar cómo las personas expresan la discriminación regional en línea. Este conjunto de datos es nuestra caja de tesoros de información y nos ayudará a entender el lenguaje usado en estos contextos.

Los comentarios se clasifican en tres categorías:

1. Otros: Comentarios que no son realmente significativos.
2. Discriminatorios: Comentarios que insultan o menosprecian a las personas en función de su origen.
3. Solidarios: Comentarios que defienden a las personas de la discriminación o muestran respeto por diferentes culturas.

Esta división ayuda a capturar los diferentes tonos y mensajes presentes en las interacciones en línea.

#Preprocesamiento de Datos

Antes de poder analizar los datos, primero tenemos que limpiarlos. Esto significa preparar el texto en bruto para que sea más fácil de digerir para los modelos. Es un poco como picar verduras antes de lanzarlas a una ensalada.

Esto es lo que hacemos:

• Convertimos todo a minúsculas para que "Hola" y "hola" se vean como lo mismo.
• Eliminamos enlaces, etiquetas e íconos porque solo añaden ruido.
• Eliminamos espacios extra o caracteres repetidos para mantener todo ordenado.
• Quitamos la puntuación, que a menudo puede confundir a nuestros modelos.
• Normalizamos la codificación para las palabras vietnamitas para asegurar consistencia.
• Detectamos y decodificamos frases adolescentes o jerga para asegurarnos de que entendemos el significado correcto.
• Equilibramos las tres etiquetas para asegurar que nuestro modelo funcione bien en todas las categorías.

Después de todo ese trabajo, terminamos con un conjunto de datos limpio listo para entrenar nuestros modelos.

#Construyendo el Modelo

Luego viene la parte divertida: construir los modelos que ayudarán a clasificar los comentarios. Probamos varios enfoques y aquí están algunos de los principales:

1. Bosque Aleatorio: Este método construye muchos árboles de decisión y combina sus resultados. Es como preguntar a un grupo de amigos su opinión y optar por la mayoría. El Bosque Aleatorio es genial porque puede manejar varios tipos de datos y no se confunde fácilmente.

2. Regresión Logística Multinomial: Esta técnica examina muchos resultados posibles y nos ayuda a calcular las probabilidades de cada uno. Es perfecta para nuestros problemas multiclase.

3. Naive Bayes Multinomial: Este modelo asume que las palabras en un comentario actúan de forma independiente, lo que lo convierte en una opción sólida para la clasificación de texto. Es como tener un grupo de amigos eligiendo sus ingredientes favoritos para una pizza: todos tienen su gusto, pero todos contribuyen a la pizza final.

4. Modelos de Aprendizaje por Transferencia: Estos modelos, como PhoBERT, utilizan conocimientos previos para abordar nuevos desafíos. Imagina a un estudiante que aprende matemáticas en un país y luego se muda a otro: no empieza de cero. Puede aplicar lo que ya sabe.

Al mezclar estos modelos, buscamos crear un sistema que pueda detectar comentarios discriminatorios con precisión.

#Realizando Experimentos

Una vez que construimos nuestros modelos, tuvimos que ver qué tan bien funcionaban. Los pusimos a prueba y nos enfocamos en dos puntajes principales: precisión y F1-macro. Mientras que la precisión nos dice cuántos comentarios fueron etiquetados correctamente, el puntaje F1-macro nos ayuda a entender qué tan bien funciona el modelo en diferentes categorías.

Es como jugar un videojuego y revisar no solo tu puntuación general, sino también qué tan bien te fue en diferentes niveles.

#Resultados y Hallazgos

Después de las pruebas, descubrimos que el Bosque Aleatorio superó a los otros modelos. Es muy eficaz para encontrar patrones en los comentarios, ayudándole a diferenciar entre las etiquetas "Discriminación" y "Otros". Sin embargo, a veces tiene dificultades con comentarios que no muestran claramente lenguaje discriminatorio.

Por ejemplo, oraciones que pueden sonar mal pero no están destinadas a discriminar pueden confundir al modelo. Errores de ortografía, frases torcidas o palabras comunes que aparecen en diferentes contextos también presentan desafíos.

#Procesamiento en Tiempo Real

Una de las características más geniales de nuestro sistema es que puede procesar datos en tiempo real, gracias a la tecnología de streaming. Esto significa que en lugar de esperar a tener un gran lote de comentarios para analizar, podemos examinar cada uno a medida que llega. Es un poco como ver tu programa favorito en vivo y poder reaccionar de inmediato.

Usamos herramientas como Apache Kafka y Apache Spark Streaming para manejar este flujo de información. Así es como funciona:

1. Recolección de Datos: Recolectamos comentarios de plataformas de redes sociales como Facebook y TikTok.

2. Procesamiento: Los comentarios pasan por Kafka, donde se clasifican y se envían a ser procesados.

3. Clasificación: El modelo de mejor rendimiento analiza cada comentario y lo categoriza en función de nuestras etiquetas predefinidas.

4. Almacenamiento: Los resultados se guardan en un formato que es fácil de visualizar y entender.

¡Incluso creamos una interfaz fácil de usar para mostrar los resultados, completa con tablas y gráficos!

#Conclusión y Trabajo Futuro

En resumen, hemos desarrollado con éxito un sistema para detectar comentarios discriminatorios regionales en las redes sociales vietnamitas. Al crear el conjunto de datos ViRDC y experimentar con varios modelos de aprendizaje automático, hemos ensamblado una forma confiable de analizar y procesar estos comentarios en tiempo real.

Pero no nos detenemos aquí. Nuestros planes futuros incluyen integrar modelos avanzados de procesamiento de lenguaje natural para abordar diferentes tipos de discriminación. También queremos mejorar nuestro proceso de etiquetado y explorar métodos de aprendizaje profundo para un mejor rendimiento.

En última instancia, nuestro objetivo es crear un sistema que sea fácil de usar y funcione bien con las plataformas de redes sociales existentes. Creemos que este esfuerzo ayudará a promover la comprensión y aceptación entre las diversas regiones de Vietnam, ¡un comentario a la vez!