Avanzando en el análisis de sentimientos para textos en bengalí

El Análisis de Sentimientos, o SA para abreviar, es una forma de averiguar cómo se siente la gente sobre algo basándose en lo que escriben. Imagina leer una reseña de un restaurante. Si alguien dice: "¡La comida fue increíble!" sabes que la pasaron bien. Pero si dicen: "La comida fue horrible," sabes que no quedaron contentos. Este proceso mira el tono emocional detrás de las palabras, entendiendo sentimientos como la felicidad, la ira o la tristeza.

#¿Por qué enfocarse en el Bengali?

Aunque el análisis de sentimientos se ha hecho mucho en idiomas como el inglés, no se ha investigado tanto en Bengalí. El bengalí es un idioma hermoso que hablan más de 250 millones de personas. Tiene sus propias peculiaridades que lo hacen especial. Por eso decidimos mejorar la forma en que analizamos los sentimientos en textos en bengalí, especialmente para entender emociones más complejas.

#El Problema con el Análisis de Sentimientos en Bengali

Cuando se trata de análisis de sentimientos en bengalí, enfrentamos algunos desafíos:

• Falta de Datos: A diferencia del inglés, no hay muchos conjuntos de datos grandes de textos en bengalí con etiquetas emocionales. Esto hace que sea difícil entrenar modelos que puedan entender con precisión cómo se siente la gente.
• Clasificaciones Básicas: La mayoría de los análisis tienden a simplificar las emociones a solo positivas o negativas. Pero la gente puede sentir muchas tonalidades de emociones, y queremos capturarlas todas.
• Matices del Idioma: El bengalí es rico y complejo. Su gramática y vocabulario únicos necesitan atención especial que muchos modelos existentes no proporcionan.

#Nuestro Enfoque: Un Nuevo Algoritmo

Para abordar estos desafíos, se nos ocurrió un enfoque fresco combinando sistemas tradicionales basados en reglas con modelos modernos preentrenados. Creamos un conjunto de datos desde cero, compuesto por más de 15,000 reseñas. ¡Sí, nos pusimos a trabajar y recopilamos todos esos datos nosotros mismos!

#Creando un Diccionario de Datos Léxicos

Construimos algo llamado Diccionario de Datos Léxicos (LDD). Esto es como un diccionario especial que lista palabras junto con sus pesos emocionales. Dividimos el diccionario en dos secciones: palabras positivas (como "fantástico" y "genial") y palabras negativas (como "malo" y "terrible"). Cada palabra recibió una puntuación basada en qué tan positiva o negativa es.

#El Puntaje de Polaridad de Sentimientos en Bangla (BSPS)

Conoce a nuestro jugador estrella, el Puntaje de Polaridad de Sentimientos en Bangla (BSPS). Este es nuestro algoritmo cuidadosamente elaborado diseñado para analizar textos en bengalí. En lugar de simplemente decir que una reseña es positiva o negativa, BSPS categoriza las emociones en nueve clases diferentes, como "extremadamente positiva" o "considerablemente negativa." Esto ayuda a pintar un cuadro emocional más claro.

#Evaluando Nuestro Enfoque

Para ver qué tan bien funciona nuestro BSPS, lo probamos contra un modelo de lenguaje preentrenado llamado BanglaBERT, que es como un cerebro supercargado para entender el bengalí. Comparamos los resultados para ver cuál enfoque funcionó mejor. Spoiler alert: ¡BSPS emparejado con BanglaBERT resultó ser el equipo soñado!

#Recopilando Reseñas: Una Tarea Difícil

Para comenzar, necesitábamos un gran conjunto de reseñas para analizar. Decidimos revisar el sitio web de Daraz Bangladesh, una plataforma de compras en línea popular. Esto implicó revisar miles de reseñas y etiquetarlas como positivas o negativas.

¿Los resultados? De 15,194 reseñas, encontramos que 13,344 eran positivas, mientras que 1,850 eran negativas. ¡Eso es una buena mezcla, verdad?

#Pasos de Procesamiento de Datos

Después de reunir las reseñas, nos enfocamos en limpiar y preparar los datos para el análisis. Esto es lo que hicimos:

#Abordando Datos Faltantes y Duplicados

Revisamos cuidadosamente si había entradas duplicadas o información faltante. Piensa en ello como limpiar tu habitación desordenada: asegurándote de que todo esté en orden antes de empezar a clasificar y analizar.

#Tokenización y Normalización

Luego, tomamos el texto y lo dividimos en palabras individuales, un proceso llamado tokenización. También lo limpiamos eliminando puntuación innecesaria, que podría confundir nuestro algoritmo. ¡Después de eso, nuestras reseñas se volvieron más fáciles de leer!

#Eliminación de Palabras Vacías

También nos deshicimos de las "palabras vacías". Estas son palabras comunes que no aportan mucho significado, como "es", "el" y "y". Eliminar estas nos ayudó a centrarnos en las partes importantes de las reseñas.

#¿Cómo Funciona el Algoritmo BSPS?

El algoritmo BSPS aprovecha nuestro Diccionario de Datos Léxicos y ciertas reglas del idioma para analizar el sentimiento de cada reseña. Así es como funciona:

#Componentes Clave de BSPS

• Léxicos Positivos: Palabras que expresan sentimientos positivos.
• Léxicos Negativos: Palabras que expresan sentimientos negativos.
• Palabras de Negación: Palabras que invierten el sentimiento, como "no."
• Modificadores Extremos: Palabras que intensifican la emoción, como "muy."

#Flujo de Procesamiento de Sentimientos

1. Tokenización: Dividimos la oración de entrada en palabras.
2. Eliminación de Palabras Vacías: Se filtran las palabras sin importancia.
3. Inicialización del Puntaje: Comenzamos con un puntaje de sentimiento de cero.
4. Procesamiento de Palabras: Cada palabra en la oración se analiza por su sentimiento.
5. Manejo de Negación: Si se encuentra una palabra de negación, revertimos el sentimiento.
6. Cálculo Final: Sumamos los puntajes y determinamos el sentimiento final.

#Ejemplos para Ilustrar el BSPS en Acción

Veamos algunas oraciones de ejemplo para ver cómo funciona el BSPS:

• Para la oración "La comida no estaba muy buena," nuestro algoritmo identifica las palabras y concluye que implica que la comida es algo aceptable, en lugar de ser completamente mala.

• Para la frase "Tan buena que no se puede creer," BSPS reconoce la intensidad de la frase y asigna un alto puntaje positivo.

En cada ejemplo, el algoritmo BSPS captura con éxito la emoción detrás de las palabras, demostrando su efectividad al manejar los matices del idioma bengalí.

#Proceso de Clasificación

Con los puntajes de sentimientos listos, categorizamos cada reseña en una de nuestras nueve clases distintas. Esta clasificación nos permite entender no solo si alguien está feliz o triste, ¡sino hasta qué punto!

#Nueve Categorías de Sentimiento

1. Extremadamente Positivo
2. Considerablemente Positivo
3. Positivo
4. Ligeramente Positivo
5. Neutral
6. Ligeramente Negativo
7. Negativo
8. Considerablemente Negativo
9. Extremadamente Negativo

#Ajustando con BanglaBERT

Una vez que tuvimos nuestras categorías, nos dirigimos a BanglaBERT para ver si podíamos lograr resultados aún mejores. Entrenamos y probamos el modelo usando una combinación de tasas de aprendizaje y tamaños de lotes para encontrar la mejor combinación.

#Entrenando a BanglaBERT

Dividimos nuestro conjunto de datos en un 80% para entrenamiento y un 20% para pruebas. Nuestro objetivo era asegurarnos de que BanglaBERT pudiera identificar efectivamente las clases de sentimiento basándose en las reseñas.

#Rendimiento y Resultados

Al evaluar nuestros modelos, miramos qué tan bien funcionaron usando métricas como precisión, precisión y recuperación. Esto es lo que encontramos:

#Rendimiento del Algoritmo BSPS

El modelo BSPS logró una impresionante precisión del 93%, lo que demuestra que fue bastante bueno para distinguir entre sentimientos positivos y negativos.

#Rendimiento de BanglaBERT

BanglaBERT, por otro lado, logró un 88%. Aunque esto sigue siendo decente, muestra que nuestro algoritmo BSPS fue más preciso en clasificar sentimientos.

#Comparando los Dos Modelos

Al comparar los dos modelos, encontramos que la combinación de BSPS para clasificación y BanglaBERT para evaluación funcionó mejor que solo usar BanglaBERT por sí solo. Este enfoque híbrido nos permitió obtener una comprensión más rica de las emociones, dejando claro que ¡dos cabezas piensan mejor que una!

#Direcciones Futuras

Entonces, ¿qué sigue en nuestra lista? Estamos buscando mejorar y experimentar aún más. Podríamos probar diferentes modelos preentrenados o combinar los resultados de BSPS y BanglaBERT para crear una herramienta de análisis aún mejor para el sentimiento en bengalí.

En resumen, hemos hecho avances significativos en mejorar el análisis de sentimientos para textos en bengalí al desarrollar un enfoque híbrido. Con nuestro algoritmo BSPS trabajando codo a codo con BanglaBERT, creemos que estamos allanando el camino para obtener insights emocionales más precisos en el idioma bengalí. ¿Y quién sabe? ¡Quizás algún día tengamos un chatbot amigable que nos haga reír con sus comentarios ingeniosos sobre nuestros restaurantes favoritos!