Améliorer la détection des discours de haine avec Language-PAINT

Détecter les Discours de haine, comme la transphobie et l'homophobie, c'est pas simple. Les différentes langues, cultures et plateformes en ligne peuvent changer ce que les gens disent et comment ils le disent. Des mots ou des phrases peuvent même pas exister dans certaines langues, ce qui complique la tâche pour repérer les messages nuisibles. Pour améliorer nos chances, on a besoin d'une méthode qui utilise à la fois des approches multilingues et spécifiques à chaque langue.

#Pourquoi Deux Approches ?

Les Modèles multilingues (M-L) sont utiles parce qu'ils peuvent capter des mots ou des idées moins courants qu'un modèle dans une seule langue. Mais les modèles spécifiques à une langue (L-S) comprennent mieux comment les gens s'expriment dans leur propre langue et culture. Donc, en utilisant ces deux types de modèles ensemble, on peut détecter plus efficacement les discours de haine.

#Notre Méthode

On a créé une nouvelle méthode qui combine les approches M-L et L-S. Cette méthode utilise un truc appelé Interpolation de poids, ce qui nous permet de mélanger les forces des deux types de modèles de manière claire et basée sur les données. On a testé cette méthode combinée sur un jeu de données prévu pour identifier les discours de haine dans les commentaires sur les Réseaux sociaux. Nos résultats ont montré que ce nouveau système a bien performé dans trois langues sur cinq, atteignant un score impressionnant sur les textes en malayalam.

#Le Problème de la Transphobie

Ces dernières années, on a remarqué une montée des lois et politiques aux États-Unis qui ciblent les personnes transgenres, restreignant leur accès aux soins et leur participation dans le sport. Les recherches montrent que ceux qui subissent ce genre de discrimination risquent plus de problèmes de santé mentale et de pensées suicidaires. Ça crée un environnement où ceux qui ont des vues transphobes peuvent se sentir encouragés à exprimer leurs opinions plus librement en ligne.

#Importance des Réseaux Sociaux

Beaucoup de jeunes LGBTQ se tournent vers les réseaux sociaux pour du soutien et des connexions, ce qui peut améliorer leur santé mentale. Ça souligne le besoin d'une modération de contenu efficace sur ces plateformes, surtout des systèmes capables d'identifier avec précision les discours de haine. Même si connaître le discours de haine dans une langue ne va pas toujours aider dans une autre, de nombreuses expressions haineuses peuvent être similaires à travers différentes langues.

#Le Défi des Dogwhistles

Souvent, les gens qui propagent la haine ne le disent pas directement. Ils utilisent un langage codé ou des "dogwhistles" qui peuvent échapper aux systèmes de modération traditionnels. Connaitre ces phrases est essentiel pour améliorer la modération en ligne et la rendre plus efficace dans différentes langues.

#Disparités Linguistiques dans l'Analyse des Discours de Haine

La plupart des études sur l'analyse des discours de haine se concentrent sur l'anglais, créant des lacunes de performance quand on appliques ces méthodes à des langues avec moins de données disponibles. Beaucoup de jeux de données multilingues utilisés pour entraîner les modèles sont majoritairement en anglais, ce qui peut affaiblir la performance des modèles pour des langues avec moins de ressources.

Pour combler ce fossé, il faut entraîner plus de modèles dans des langues non anglaises, car ils peuvent mieux performer pour des tâches dans la même langue. Mais la plupart des processus de formation ont besoin de beaucoup de données pour bien fonctionner, ce qui pose problème étant donné qu'il n'y a pas assez de données spécifiques à chaque langue disponibles pour détecter les discours de haine.

#Présentation de Language-PAINT

Notre solution, appelée Language-PAINT, combine les connaissances M-L et L-S. Elle utilise l'interpolation de poids de manière intelligente tout en tenant compte des défis posés par les différentes langues.

#Comment Nous Avons Testé Notre Méthode

On a mené des expériences pour comparer la performance des modèles L-S, M-L et notre nouvelle approche Language-PAINT. Pour nos tests, on a combiné les ensembles d'entraînement et de développement en une seule étude, créant des modèles qui utiliseraient un mélange de différents échantillons linguistiques.

Dans une expérience, on a entraîné des modèles en utilisant des répartitions aléatoires de notre jeu de données et calculé les résultats moyens. Dans une autre expérience, on a entraîné sur un ensemble plus large comprenant des données d'entraînement, de développement et de test.

#Résultats de Nos Expériences

À partir de nos tests, on a constaté que, de manière générale, les modèles spécifiques à une langue (L-S) ont le mieux performé pour la plupart des langues. Cependant, pour le malayalam, notre nouvelle approche a surpassé les autres. En fait, on a atteint un score F1 moyen de 0,997 sur les textes en malayalam, ce qui est assez impressionnant pour une langue à faibles ressources.

Dans la deuxième expérience, Language-PAINT a montré de meilleurs résultats dans l'ensemble. Cela suggère qu'elle est robuste face aux changements de distribution des étiquettes, ce qui signifie qu'elle peut encore bien fonctionner même quand les données d'entraînement diffèrent beaucoup des données de test.

#Conclusion

En résumé, on a introduit Language-PAINT, une méthode qui combine efficacement des signaux multilingues et spécifiques à chaque langue pour détecter l'homophobie et la transphobie. Nos tests indiquent qu'elle est compétitive avec des modèles adaptés à des langues spécifiques et qu'elle est suffisamment robuste pour gérer les changements dans la distribution des étiquettes. Cette approche peut améliorer significativement la détection des discours de haine dans les commentaires sur les réseaux sociaux dans différentes langues, contribuant à créer un environnement en ligne plus sûr.

Alors que le discours de haine continue d'évoluer, avoir les bons outils pour identifier les messages nuisibles est plus important que jamais. Language-PAINT représente une avancée prometteuse dans ce domaine, montrant le potentiel d'une meilleure compréhension et d'une lutte contre le discours de haine dans plusieurs langues.