Un nouvel outil pour détecter le discours toxique dans les jeux en ligne

Le comportement toxique dans les espaces en ligne comme les jeux vidéo et les réseaux sociaux est un problème qui prend de l'ampleur. Beaucoup de joueurs et d'utilisateurs subissent du harcèlement, des discours haineux et du bullying en jouant ou en interagissant sur ces plateformes. Pour régler ce souci, on a développé un modèle qui détecte le Discours toxique dans les discussions de jeu. Cet outil est entraîné sur un grand dataset récupéré de jeux populaires, ce qui l’aide à identifier différents types de langage nuisible.

#L'Étude

Dans notre travail, on a rassemblé un dataset de 194 000 lignes de chat provenant de deux jeux populaires, Rainbow Six Siege et For Honor. Chaque ligne de chat a été soigneusement étiquetée pour différents types de toxicité. En entraînant notre modèle sur ce dataset, on visait à créer un outil capable d’identifier efficacement le discours toxique en temps réel.

#Performance du Modèle

Notre modèle a l’air prometteur par rapport aux outils existants pour détecter le discours toxique. Il obtient de meilleures notes en précision et en rappel, avec des améliorations remarquables. En incluant l’historique des messages précédents et d'autres métadonnées, on a pu améliorer sa capacité à détecter le langage nuisible.

#L'Importance du Contexte

Beaucoup de modèles existants n'ont pas réussi à prendre en compte le contexte des conversations dans leurs processus de détection. Notre approche inclut un historique de chat plus large pour augmenter la précision. On pense que comprendre le contexte autour d'une ligne de chat est essentiel pour identifier la toxicité de manière plus efficace. Par exemple, des mots qui peuvent sembler inoffensifs seuls peuvent être nuisibles selon les messages précédents.

#Défis de la Toxicité en Ligne

Le discours toxique touche de nombreux groupes, surtout les communautés marginalisées. Des sondages montrent qu’un pourcentage significatif de personnes LGBTQ+, juives et asiatiques-américaines a subi du harcèlement en ligne. Ça peut entraîner un mal-être psychologique et même de la violence dans le monde réel. Donc, il est crucial de créer un environnement en ligne sûr grâce à des stratégies de Modération efficaces.

#Techniques de Modération Actuelles

Beaucoup d'entreprises essaient de contrôler le discours toxique par divers moyens, comme bannir des utilisateurs ou censurer certains mots. Cependant, le volume de données générées et la rapidité avec laquelle le langage change rendent la modération cohérente difficile. Notre but est de fournir un moyen automatique et fiable de détecter la toxicité pour aider à la modération.

#Utilisation de Modèles de Langage

Les avancées récentes dans les modèles de langage nous ont permis de créer des outils plus efficaces pour détecter le discours toxique. Notre modèle est basé sur le cadre BERT, qui a réussi à comprendre le langage de manière nuancée. On a construit là-dessus en ajoutant des fonctionnalités qui prennent en compte l’historique des chats et les informations sur les intervenants.

#Collecte de Données

Notre dataset est constitué de logs de chat de trois sessions distinctes. Les deux premières sessions proviennent de Rainbow Six Siege, un jeu de tir multijoueur, tandis que la dernière session vient de For Honor, un jeu d'action au corps à corps. On s'est concentré sur la collecte de données provenant de matchs avec une activité de chat élevée ou où les joueurs ont été signalés pour inconduite.

#Catégories de Discours Toxique

Les catégories suivantes ont été établies pour identifier les types de discours toxique :

1. Haine et Harcèlement : Inclut le harcèlement racial et sexuel.
2. Menaces : Implique des comportements menaçants envers les joueurs.
3. Mise en Danger des Mineurs : Relatif aux actions nuisibles envers les mineurs.
4. Extrémisme : Couvre les points de vue extrémistes et les tentatives de recrutement.
5. Escroqueries et Publicités : Se réfère à la fraude et aux publicités indésirables.
6. Insultes et Flame : Implique des attaques personnelles sur les joueurs.
7. Spam : Messages excessifs et non pertinents.
8. Autres Textes Offensants : Tout autre langage offensant non capturé dans d'autres catégories.

Chaque ligne de chat a été examinée par plusieurs annotateurs pour garantir la fiabilité de l’étiquetage.

#Entraînement du Modèle

On a utilisé un modèle basé sur BERT pour notre analyse. Le processus d'entraînement a impliqué de diviser le dataset en sections pour l’entraînement, la validation et le test. Grâce à cette méthode, on a cherché à vérifier l'efficacité du modèle dans différentes conditions.

#Caractéristiques Clés du Modèle

Notre modèle inclut deux fonctionnalités cruciales :

1. Historique de Chat : Cette fonctionnalité prend en compte les lignes de chat précédentes. En comprenant le déroulement de la conversation, le modèle peut évaluer le message actuel de manière plus fiable.
2. Informations sur le Locuteur : Cette fonctionnalité considère qui parle et le type de chat (équipe ou global). Connaître le contexte de l’intervenant peut aider le modèle à mieux comprendre le message.

#Comparaison de Notre Modèle avec d'Autres

On a comparé la performance de notre modèle à celle de plusieurs outils établis. Notre modèle a surpassé les autres en termes de précision et de rappel. Ça montre que notre approche d'intégration de l'historique de chat et du contexte du locuteur est efficace pour identifier le langage toxique avec précision.

#Implications pour la Modération

Pour que notre modèle soit utile, il doit être fiable dans des scénarios réels. Il montre un taux de rappel beaucoup plus élevé que les systèmes de modération existants, ce qui signifie qu'il peut identifier plus de messages toxiques avec précision. Nos résultats suggèrent qu'avec des ajustements appropriés, notre modèle pourrait bien fonctionner pour la modération en temps réel dans les jeux en ligne.

#Transférabilité du Modèle

Un de nos objectifs était de voir à quel point notre modèle peut s'appliquer à différents jeux. On a testé ça en utilisant des données provenant de plusieurs contextes de jeux, et nos résultats indiquent que le modèle fonctionne bien dans des types de jeux similaires. Cette adaptabilité est essentielle pour créer un outil de modération polyvalent.

#Importance de la Recherche Continue

Il reste encore beaucoup à faire pour améliorer les fonctionnalités de notre modèle. On reconnaît la nécessité d’une amélioration continue pour détecter la toxicité en s'adaptant à l'évolution de l'utilisation du langage et des comportements en ligne. Explorer les effets du discours toxique sur différentes populations et optimiser notre modèle de détection pour divers contextes sont des étapes futures essentielles.

#Considérations Éthiques

Comme pour tout modèle qui traite du langage et du comportement, on doit être conscient des biais potentiels dans nos données. On a cherché à atténuer ces biais en prenant en compte la diversité de nos annotateurs et en s’assurant qu’une gamme de voix a contribué au dataset.

#Conclusion

Nos efforts visent à fournir une solution évolutive et efficace au défi de la toxicité en ligne. En utilisant des technologies avancées de traitement du langage et en tenant compte de l'importance du contexte, on peut travailler à créer un espace en ligne plus sûr pour tous les joueurs. Ce projet n’est qu’une étape dans une tentative plus large de résoudre le comportement toxique dans les jeux en ligne et au-delà.

#Directions Futures

Pour l'avenir, on vise à améliorer encore notre modèle en incluant des datasets plus diversifiés, éventuellement en s'étendant à plusieurs langues. Comprendre les biais au sein du modèle et garantir un traitement équitable de tous les joueurs est une priorité alors qu'on développe davantage cet outil.