Aborder les discours de haine dans les vidéos avec le dataset MultiHateClip
Nouveau jeu de données offre des infos sur les discours de haine dans différentes langues et formats.
― 8 min lire
Table des matières
Le Discours de haine est un problème sérieux qui touche les gens en ligne et dans la vie réelle. Beaucoup d'études récentes se concentrent sur la détection des mots et phrases haineux dans les textes écrits, mais les Vidéos n'ont pas reçu la même attention, malgré leur potentiel à diffuser du contenu nuisible. La plupart des recherches existantes sur les vidéos haineuses se limitent au contenu en anglais et ne fournissent pas d'infos détaillées sur le contexte des messages haineux.
Pour combler cette lacune, on a créé un nouveau dataset appelé MultiHateClip. Ce dataset inclut des vidéos de plateformes comme YouTube et Bilibili et couvre à la fois l'anglais et le chinois. Il contient 2 000 vidéos étiquetées pour la haine, l'Offensivité et la normalité, permettant aux chercheurs d'étudier le discours de haine à travers différentes cultures. Ce dataset est conçu pour aider à améliorer la détection du contenu haineux dans les vidéos.
L'importance d'une analyse multilingue et multimodale
Les réseaux sociaux ont changé la façon dont les gens partagent des infos, rendant plus facile de se connecter avec les autres. Mais ces plateformes permettent aussi à la haine de se répandre rapidement. Le discours de haine peut cibler des groupes en fonction de la race, de la religion, du genre, et d'autres caractéristiques. Un tel comportement peut entraîner de la violence réelle et des conflits, donc c'est essentiel de trouver et réduire ce type de contenu.
La plupart des recherches actuelles se concentrent sur la détection du discours de haine dans les textes écrits, mais le contenu vidéo est souvent négligé. Les vidéos combinent des éléments visuels, audio, et textuels, ce qui les rend efficaces pour transmettre le discours de haine. Donc, étudier les vidéos peut fournir une compréhension plus complète de la façon dont le discours de haine est communiqué.
Les datasets existants pour les vidéos haineuses sont principalement en anglais et se concentrent surtout sur savoir si elles sont haineuses ou non, laissant de côté le contexte détaillé et les facteurs culturels spécifiques. Pour remplir cette lacune, on a développé le dataset MultiHateClip, qui inclut des vidéos en anglais et en chinois ciblant le discours haineux lié au genre.
Création du dataset MultiHateClip
Le dataset MultiHateClip a été développé pour fournir une compréhension plus nuancée du discours de haine dans les vidéos. On a collecté des vidéos en utilisant des mots-clés liés au discours haineux basé sur le genre sur YouTube et Bilibili. Pour assurer une perspective culturelle large, on a utilisé des lexiques de haine adaptés à l'anglais et au chinois. Notre but était de rassembler des vidéos présentant du discours de haine dirigé vers différents groupes.
Au total, on a collecté 5 600 vidéos en anglais et 5 100 vidéos en chinois. Après un dépistage minutieux, on a réduit à 2 000 vidéos de chaque langue pour une analyse plus approfondie. Chaque vidéo a été étiquetée par une équipe de locuteurs natifs familiers avec le contexte culturel.
Les vidéos ont été classées en trois groupes : haineux, offensif, et normal. Les vidéos étiquetées comme haineuses ou offensives ont été analysées plus en détail pour identifier des segments spécifiques contenant ce type de contenu, le public cible du discours de haine, et les modalités impliquées (texte, audio ou visuel).
Évaluation du dataset
Le dataset a subi une analyse approfondie pour évaluer sa qualité et ses insights. On a effectué des évaluations statistiques pour comprendre la prévalence du discours de haine à travers différents groupes victimes, en se concentrant particulièrement sur le genre. Les modèles ont montré que les femmes étaient les principales cibles de ce type de contenu haineux dans les deux langues.
L'analyse a aussi révélé que de nombreuses vidéos haineuses utilisaient une combinaison de différentes modalités. Ce constat souligne la nécessité d'une approche multidimensionnelle quand on étudie et identifie le discours de haine dans les vidéos. Par exemple, beaucoup de vidéos incluent des éléments combinés comme des mots prononcés, des images, et du texte écrit pour transmettre leurs messages.
Défis dans la détection du discours de haine
En développant ce dataset, on a aussi reconnu les limites des modèles de détection du discours de haine existants. Beaucoup de ces modèles avaient du mal à faire la différence entre le contenu haineux et offensif avec précision. Souvent, ils pouvaient classer le contenu comme haineux/offensif ou normal, mais la fine ligne entre haineux et offensif restait un défi.
De plus, beaucoup de modèles actuels sont principalement entraînés sur des datasets en anglais. Cette emphase les rend mal équipés pour gérer du contenu dans d'autres langues ou d'autres contextes culturels, comme le chinois.
Les modèles montrent aussi un manque de compréhension concernant la haine implicite. La haine implicite fait référence à un discours haineux qui n'est pas explicitement énoncé mais peut être déduit du contexte, des indices tonals, ou des références subtiles.
Etant donné ces défis, le dataset MultiHateClip vise à favoriser le développement de modèles de détection plus efficaces qui prennent en compte à la fois les nuances linguistiques et le contexte culturel.
Évaluation des modèles de classification
Pour évaluer l'efficacité des modèles actuels pour détecter le discours de haine dans les vidéos, on a appliqué plusieurs modèles de pointe à notre dataset. Ces modèles utilisent une combinaison de caractéristiques textuelles, auditives, et visuelles pour classer les vidéos.
Dans les tests, les modèles ont été évalués sur leur capacité à classer les vidéos dans l'une des trois catégories : haineux, offensif, ou normal. Cette évaluation a inclus des scénarios de classification multi-classe et binaire.
Résultats de l'évaluation
Les résultats ont révélé que les modèles qui performaient mieux avec une approche multimodale (utilisant ensemble le texte, l'audio, et les visuels) surpassaient ceux qui s'appuyaient uniquement sur un type d'entrée. Par exemple, l'intégration de l'audio a souvent amélioré les performances de classification, indiquant l'importance de prendre en compte toutes les modalités présentes dans une vidéo.
Les tests de différents modèles ont montré que, tandis que certains excellaient dans des datasets en anglais, ils avaient du mal avec les vidéos en chinois à cause de leur manque d'exposition et d'entraînement sur du contenu non occidental.
Insights obtenus
Notre analyse du dataset MultiHateClip a fourni des insights critiques qui peuvent améliorer les méthodes de détection du discours de haine. Les résultats montrent que le discours de haine ciblant les femmes est plus fréquent que pour d'autres groupes victimes.
Aussi, la nature multimodale de nombreuses vidéos illustre la nécessité de modèles capables d'intégrer plusieurs types d'entrées pour une compréhension plus complète du contenu lié à la haine.
Directions futures
En s'appuyant sur ces insights, les recherches futures devraient se concentrer sur la création de modèles plus conscientisés culturellement adaptés à différentes langues. Améliorer l'entraînement des modèles et s'attaquer aux limitations actuelles sera essentiel pour traiter efficacement le discours de haine dans divers contextes.
Le dataset MultiHateClip représente une ressource précieuse pour les chercheurs cherchant à mieux comprendre la nature du discours de haine et à développer des modèles de détection plus précis.
Conclusion
En résumé, le dataset MultiHateClip est une étape significative vers la compréhension et la détection du discours de haine dans les vidéos. En offrant un dataset multilingue et multimodal, on espère contribuer au développement d'outils d'analyse plus robustes.
Alors que le discours de haine continue de poser des défis en ligne et hors ligne, créer des systèmes de détection et de classification efficaces sera vital. La collaboration entre disciplines et cultures sera essentielle pour aborder ce problème social complexe.
Le développement et le perfectionnement continus du dataset MultiHateClip ouvriront, espérons-le, la voie à des avancées dans le domaine de la détection du discours de haine, favorisant au final des environnements en ligne plus sûrs pour tous les utilisateurs.
Titre: MultiHateClip: A Multilingual Benchmark Dataset for Hateful Video Detection on YouTube and Bilibili
Résumé: Hate speech is a pressing issue in modern society, with significant effects both online and offline. Recent research in hate speech detection has primarily centered on text-based media, largely overlooking multimodal content such as videos. Existing studies on hateful video datasets have predominantly focused on English content within a Western context and have been limited to binary labels (hateful or non-hateful), lacking detailed contextual information. This study presents MultiHateClip1 , an novel multilingual dataset created through hate lexicons and human annotation. It aims to enhance the detection of hateful videos on platforms such as YouTube and Bilibili, including content in both English and Chinese languages. Comprising 2,000 videos annotated for hatefulness, offensiveness, and normalcy, this dataset provides a cross-cultural perspective on gender-based hate speech. Through a detailed examination of human annotation results, we discuss the differences between Chinese and English hateful videos and underscore the importance of different modalities in hateful and offensive video analysis. Evaluations of state-of-the-art video classification models, such as VLM, GPT-4V and Qwen-VL, on MultiHateClip highlight the existing challenges in accurately distinguishing between hateful and offensive content and the urgent need for models that are both multimodally and culturally nuanced. MultiHateClip represents a foundational advance in enhancing hateful video detection by underscoring the necessity of a multimodal and culturally sensitive approach in combating online hate speech.
Auteurs: Han Wang, Tan Rui Yang, Usman Naseem, Roy Ka-Wei Lee
Dernière mise à jour: 2024-08-12 00:00:00
Langue: English
Source URL: https://arxiv.org/abs/2408.03468
Source PDF: https://arxiv.org/pdf/2408.03468
Licence: https://creativecommons.org/licenses/by-nc-sa/4.0/
Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.
Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.