Améliorer l'analyse de sentiment pour les textes en bengali

L'analyse de sentiment, ou SA pour les intimes, c'est une manière de capter ce que les gens ressentent sur un sujet à partir de ce qu'ils écrivent. Imagine lire un avis sur un resto. Si quelqu'un dit, "La nourriture était incroyable !" tu sais qu'il a passé un bon moment. Mais si ça dit, "La nourriture était horrible," tu comprends qu'il n'était pas content. Ce processus se penche sur le ton émotionnel derrière les mots, décodant des sentiments comme la joie, la colère ou la tristesse.

#Pourquoi se concentrer sur le bengali ?

Bien que l'analyse de sentiment ait été beaucoup pratiquée dans des langues comme l'anglais, il n'y a pas eu beaucoup de recherches sur le bengali. Le bengali est une belle langue parlée par plus de 250 millions de personnes. Elle a ses propres particularités qui la rendent spéciale. C'est pourquoi nous avons décidé d'améliorer notre façon d'analyser le sentiment dans les textes Bengalis, surtout pour comprendre des émotions plus complexes.

#Le problème de l'analyse de sentiment en bengali

Quand il s'agit d'analyser le sentiment en bengali, on fait face à quelques défis :

• Manque de données : Contrairement à l'anglais, il n'y a pas beaucoup de grands ensembles de données de textes bengalis avec des étiquettes d'émotion. Ça rend difficile de former des modèles qui comprennent vraiment les sentiments des gens.
• Classifications basiques : La plupart des analyses simplifient trop les émotions en juste positif ou négatif. Mais les gens peuvent ressentir une multitude d'émotions, et on veut les capturer toutes.
• Nuances de la langue : Le bengali est riche et complexe. Sa grammaire et son vocabulaire uniques nécessitent une attention particulière que de nombreux modèles existants ne fournissent pas.

#Notre approche : un nouvel algorithme

Pour relever ces défis, on a créé une approche fraîche en combinant des systèmes basés sur des règles traditionnelles avec des modèles modernes pré-entraînés. On a fabriqué un ensemble de données de toutes pièces, composé de plus de 15 000 avis. Oui, on s'est retroussé les manches et on a rassemblé toutes ces données nous-mêmes !

#Création d'un dictionnaire de données lexicographiques

On a construit quelque chose appelé un Dictionnaire de Données Lexicographiques (DDL). C'est comme un dictionnaire spécial qui liste des mots avec leurs poids émotionnels. On a divisé le dictionnaire en deux sections : des mots positifs (comme "fantastique" et "super") et des mots négatifs (comme "mauvais" et "terrible"). Chaque mot a eu un score selon son côté positif ou négatif.

#Le Score de Polarité de Sentiment Bangla (BSPS)

Voici notre star, le Score de Polarité de Sentiment Bangla (BSPS). C'est notre algorithme soigneusement conçu pour analyser les textes bengalis. Au lieu de simplement dire qu'un avis est positif ou négatif, le BSPS catégorise les émotions en neuf classes différentes, comme "extrêmement positif" ou "considérablement négatif." Ça aide à peindre une image émotionnelle plus claire.

#Évaluation de notre approche

Pour voir à quel point notre BSPS fonctionne bien, on l'a testé contre un modèle de langage pré-entraîné appelé BanglaBERT, qui est comme un cerveau super puissant pour comprendre le bengali. On a comparé les résultats pour voir quelle approche était la meilleure. Petit spoiler : BSPS associé à BanglaBERT s'est révélé être une équipe de rêve !

#Collecte d'avis : une tâche difficile

Pour commencer, on avait besoin d'un grand ensemble d'avis pour l'analyse. On a décidé de fouiller le site web de Daraz Bangladesh, une plateforme de shopping en ligne populaire. Ça impliquait de vérifier des milliers d'avis et de les étiqueter comme positifs ou négatifs.

Les résultats ? Sur 15 194 avis, on a trouvé que 13 344 étaient positifs, tandis que 1 850 étaient négatifs. Pas mal, non ?

#Étapes de traitement des données

Après avoir rassemblé les avis, on s'est concentré sur le nettoyage et la préparation des données pour l'analyse. Voilà ce qu'on a fait :

#Gestion des données manquantes et doublons

On a soigneusement vérifié s'il y avait des entrées en double ou des infos manquantes. Pense à ça comme à nettoyer ta chambre en désordre-assure-toi que tout est en ordre avant de commencer à trier et analyser.

#Tokenisation et normalisation

Ensuite, on a pris le texte et on l'a découpé en mots individuels, un processus appelé tokenisation. On a aussi nettoyé le tout en enlevant la ponctuation inutile, qui pourrait embrouiller notre algorithme. Après ça, nos avis étaient plus faciles à lire !

#Suppression des mots vides

On a aussi viré les "mots vides." Ce sont des mots courants qui ajoutent pas grand-chose de sens, comme "est," "le," et "et." Les enlever nous a aidés à nous concentrer sur les parties importantes des avis.

#Comment fonctionne l'algorithme BSPS ?

L'algorithme BSPS profite de notre Dictionnaire de Données Lexicographiques et de certaines règles de langue pour analyser le sentiment de chaque avis. Voilà comment ça marche :

#Composantes clés du BSPS

• Lexiques positifs : Mots qui expriment des sentiments positifs.
• Lexiques négatifs : Mots qui expriment des sentiments négatifs.
• Mots de négation : Mots qui inversent le sentiment, comme "pas."
• Modificateurs extrêmes : Mots qui intensifient l'émotion, comme "très."

#Flux de traitement des sentiments

1. Tokenisation : On découpe la phrase d'entrée en mots.
2. Suppression des mots vides : Les mots inutiles sont filtrés.
3. Initialisation du score : On commence avec un score de sentiment à zéro.
4. Traitement des mots : Chaque mot dans la phrase est analysé pour son sentiment.
5. Gestion de la négation : Si un mot de négation est trouvé, on inverse le sentiment.
6. Calcul final : On additionne les scores et on détermine le sentiment final.

#Exemples pour illustrer le BSPS en action

Regardons quelques phrases d'exemple pour voir comment fonctionne le BSPS :

• Pour la phrase "La nourriture n'était pas très bonne," notre algorithme identifie les mots et conclut que la nourriture est plutôt okay, au lieu d'être franchement mauvaise.

• Pour l'expression "Tellement bon que c'en est incroyable," le BSPS reconnaît l'intensité de l'expression et attribue un score positif élevé.

Dans chaque exemple, l'algorithme BSPS capture avec succès l'émotion derrière les mots, montrant son efficacité à gérer les nuances du bengali.

#Processus de classification

Avec les scores de sentiment prêts, on a catégorisé chaque avis dans l'une de nos neuf classes distinctes. Cette classification nous permet de comprendre non seulement si quelqu'un est heureux ou triste, mais à quel point !

#Neuf catégories de sentiment

1. Extrêmement positif
2. Considérablement positif
3. Positif
4. Légèrement positif
5. Neutre
6. Légèrement négatif
7. Négatif
8. Considérablement négatif
9. Extrêmement négatif

#Ajustement avec BanglaBERT

Une fois qu'on avait nos catégories, on s'est tourné vers BanglaBERT pour voir si on pouvait obtenir encore de meilleurs résultats. On a entraîné et testé le modèle en utilisant une combinaison de taux d'apprentissage et de tailles de batch pour trouver le meilleur ajustement.

#Entraînement de BanglaBERT

On a divisé notre ensemble de données en 80 % pour l'entraînement et 20 % pour le test. Notre but était de s'assurer que BanglaBERT pouvait identifier efficacement les classes de sentiment selon les avis.

#Performance et résultats

En évaluant nos modèles, on a regardé comment ils se débrouillaient avec des métriques comme l'exactitude, la précision, et le rappel. Voilà ce qu'on a trouvé :

#Performance de l'algorithme BSPS

Le modèle BSPS a atteint une précision impressionnante de 93 %, ce qui montre qu'il était plutôt bon pour distinguer les sentiments positifs des sentiments négatifs.

#Performance de BanglaBERT

BanglaBERT, lui, a réussi à obtenir 88 %. Bien que ce soit encore bon, ça montre que notre algorithme BSPS était plus précis dans la classification des sentiments.

#Comparaison des deux modèles

En comparant les deux modèles, on a découvert que la combinaison de BSPS pour la classification et BanglaBERT pour l'évaluation était plus efficace que d'utiliser juste BanglaBERT tout seul. Cette approche hybride nous a permis d'obtenir une compréhension plus riche des émotions, prouvant que deux cerveaux valent mieux qu'un !

#Directions futures

Alors, quelle est la suite ? On vise à améliorer et expérimenter encore plus. On pourrait essayer différents modèles pré-entraînés ou combiner les sorties de BSPS et BanglaBERT pour créer un outil d'analyse encore meilleur pour le sentiment bengali.

Pour résumer, on a fait d'énormes progrès dans l'amélioration de l'analyse de sentiment pour les textes bengalis en développant une approche hybride. Avec notre algorithme BSPS qui collabore avec BanglaBERT, on pense qu'on est en train de tracer la voie pour des insights émotionnels plus précis dans la langue bengali. Et qui sait ? Peut-être qu'un jour, on aura un chatbot sympa qui pourra nous faire rigoler avec ses commentaires amusants sur nos restos préférés !