Détecter du contenu déclencheur dans le fanfiction

La fanfiction, c'est un moyen créatif pour les fans d'écrire leurs propres histoires en utilisant des personnages et des décors d'œuvres de fiction existantes. Ce type d'écriture a beaucoup gagné en popularité en ligne. Cependant, avec la croissance de la communauté, les préoccupations concernant la sécurité et le bien-être de ses membres ont aussi augmenté. Un gros problème, c'est la présence de contenus déclencheurs qui peuvent être stressants ou traumatisants pour certains lecteurs. Notre objectif, c'est de trouver des façons d'identifier ce genre de contenu dans les histoires de fanfiction.

#Qu'est-ce que le contenu déclencheur ?

Le contenu déclencheur désigne des éléments qui peuvent provoquer de fortes réactions émotionnelles, parfois en causant du stress ou un traumatisme. Ce type de contenu peut inclure des thèmes d'abus, de violence, de problèmes de santé mentale ou d'autres sujets sensibles. Il est important que les écrivains et les lecteurs de fanfiction aient des systèmes en place pour identifier et gérer efficacement ce genre de contenu, compte tenu de la variété d'expériences et d'émotions que les lecteurs peuvent avoir.

#Notre approche

Dans notre étude, on s'est concentrés sur la détection des déclencheurs dans de longs textes de fanfiction en utilisant le Traitement du langage naturel (NLP) et des techniques d'apprentissage automatique. L'objectif était de développer un algorithme capable d'identifier avec précision plusieurs instances de contenu déclencheur. On a conçu une méthode qui consiste à découper de longs documents de fanfiction en sections plus petites, ce qui aide à mieux analyser. Ensuite, on a affiné un certain type de modèle de langage pour améliorer notre compréhension et la classification de ces textes.

#Segmentation du texte

Pour rendre notre analyse plus simple, on a d'abord divisé les longues histoires de fanfiction en segments plus petits. Chaque segment contenait 200 mots, avec un chevauchement de 50 mots pour ne pas perdre le contexte. Ça veut dire que la fin d'un segment se chevauchait avec le début du segment suivant, ce qui nous a permis de garder des informations importantes qui auraient pu être perdues si on avait coupé le texte trop brusquement.

#Tokenization

Après avoir segmenté le texte, on est passés à une étape appelée tokenization. C'est là que notre modèle de langage choisi, un modèle basé sur les transformateurs appelé RoBERTa, a été affiné en utilisant les petits segments qu'on avait créés. La tokenization convertit le texte en un format que le modèle peut traiter. On a utilisé une version du modèle RoBERTa disponible, en ajustant des paramètres comme le taux d'apprentissage et la taille du lot pour optimiser la formation.

#Extraction des caractéristiques

Une fois la tokenization terminée, on a extrait des embeddings de caractéristiques de chaque segment. Ces embeddings sont des collections de valeurs numériques qui représentent le sens du segment de texte, permettant à notre modèle de prendre des décisions éclairées. On s'est spécifiquement concentrés sur les embeddings d'un token de classification, utilisé pour aider à catégoriser le contenu.

#Formation du modèle

L'étape suivante dans notre approche était de former un modèle en utilisant un type de réseau de neurones appelé LSTM (Long Short-Term Memory). Ce réseau était conçu pour traiter nos caractéristiques extraites et identifier des motifs indicatifs de contenu déclencheur. On a utilisé une série de techniques pour optimiser l'entraînement et s'assurer que notre modèle apprenne efficacement.

#Traitement du déséquilibre de classe

Un des défis qu'on a rencontrés, c'est que certains thèmes déclencheurs sont plus courants que d'autres. Par exemple, le contenu lié à la violence peut être plus fréquent que des sujets comme la cruauté envers les animaux. Ça crée un déséquilibre dans notre jeu de données. Pour remédier à ce problème, on a ajusté l'importance des différentes étiquettes lors de la formation de notre modèle. En augmentant le poids accordé aux thèmes moins courants, notre modèle est devenu meilleur pour les détecter.

#Validation de notre approche

Après avoir formé notre modèle, on avait besoin de valider sa performance. On a comparé nos résultats à des méthodes traditionnelles, comme l'utilisation de BERT, un autre modèle de langage basé sur les transformateurs, et un modèle basé sur des vecteurs de documents TF-IDF combinés avec XGBoost, une technique de boosting. Notre modèle a montré une meilleure précision et efficacité dans l'identification de contenu déclencheur par rapport à ces méthodes de référence.

#Résultats

On a évalué notre modèle en utilisant une approche de classification multi-étiquettes, où chaque document de fanfiction pouvait se voir attribuer plusieurs étiquettes de déclencheurs. La performance de notre modèle a été mesurée à l'aide de métriques appelées scores F1-macro et F1-micro, qui nous aident à comprendre comment notre modèle s'en sort dans l'ensemble. Notre approche a obtenu de meilleurs scores que les autres méthodes testées, surtout dans la détection d'un large éventail de contenus déclencheurs.

#Performance par classe

On a analysé comment notre modèle performait avec différentes classes de déclencheurs. En appliquant des poids à la fonction de perte pendant l'entraînement, on a pu améliorer la sensibilité du modèle à la reconnaissance de classes de déclencheurs moins fréquentes. En conséquence, la performance globale du modèle s'est nettement améliorée.

#Résultats des tests

Quand on a soumis notre modèle pour des tests externes, il a été évalué sur un matériel dédié. Le processus a pris environ 150 minutes. Notre modèle a obtenu des résultats impressionnants, se classant premier pour le score macro F1 et deuxième pour le score micro F1 parmi tous les participants de la compétition.

#Conclusion

Cette étude présente une approche systématique pour identifier les contenus déclencheurs dans la fanfiction en utilisant des techniques de traitement du langage naturel et d'apprentissage automatique. En segmentant de longs documents, en ajustant un modèle basé sur des transformateurs et en utilisant des LSTM pour la classification, on a démontré la capacité de notre modèle à détecter avec précision plusieurs instances de contenu déclencheur. Les résultats indiquent que notre méthode dépasse les modèles traditionnels en précision et en efficacité. Nos découvertes soulignent l'importance de développer davantage de techniques pour améliorer la détection de contenus sensibles dans les textes, surtout dans des communautés dynamiques et créatives comme la fanfiction.

À mesure que les communautés continuent de croître et d'évoluer, garantir la sécurité et le bien-être de leurs membres est crucial. Les outils et méthodes qu'on développe seront essentiels pour favoriser un environnement de soutien où la créativité peut s'épanouir sans compromettre la santé émotionnelle des participants. Nos recherches en cours se concentreront sur le raffinement de ces techniques et l'exploration de leur application à divers types de contenus au-delà de la fanfiction.