Faire avancer la sécurité de l'IA : Nouveaux modèles pour la modération de contenu

Ces dernières années, les grands modèles de langage (LLMs) sont devenus super importants dans plein de domaines, comme les chatbots et la création de contenu. Ces modèles puissants peuvent comprendre et produire des textes qui sonnent humain. Mais avec ces avancées, il est crucial de s'assurer que ces modèles interagissent de manière sûre et responsable avec les utilisateurs.

La Modération de contenu est une partie clé de ça. Ça implique de vérifier le texte généré par les LLMs et ce que les utilisateurs écrivent pour filtrer le contenu nuisible. Les solutions existantes, comme LlamaGuard et WildGuard, font un boulot correct, mais elles ont quelques soucis. Par exemple, certains de ces outils ne donnent pas d'infos détaillées sur les types de nuisances. Ils se contentent de dire si quelque chose est nuisible ou pas sans fournir plus d’infos.

Un autre problème, c'est que beaucoup d'outils de modération sont de taille fixe, ce qui peut ne pas convenir à toutes les situations. Les modèles plus grands pourraient mieux fonctionner pour juger des tâches, mais les modèles plus petits pourraient être meilleurs pour la sécurité en ligne afin de garder les choses rapides et de réduire les coûts. En plus, les données d'entraînement, qui sont cruciales pour ces modèles, manquent souvent de directives claires, ce qui complique les choses pour assurer l'Équité et la robustesse.

Pour relever ces défis, une nouvelle suite de modèles basée sur un système appelé Gemma2 a été introduite. Ces modèles existent en différentes tailles, allant de 2 milliards à 27 milliards de paramètres, et peuvent filtrer différents types de nuisances spécifiques à divers usages. Ils peuvent analyser ce que les utilisateurs entrent et ce que le modèle génère.

De plus, une nouvelle méthode pour créer des données d'entraînement de haute qualité a été suggérée. Cette méthode utilise des Données synthétiques, ce qui réduit le besoin de marquage manuel et peut être appliqué à plein de sujets liés à la sécurité.

#Importance des Données en IA

Avoir de bonnes données est essentiel pour créer des modèles de sécurité efficaces. Bien qu'il y ait plein de données disponibles provenant des interactions humain-machine, utiliser directement ces données pose des défis. Il n'y a pas assez d'exemples positifs, et des problèmes de confidentialité peuvent surgir. Les grands modèles de langage ont une richesse de connaissances grâce à leur entraînement, mais peuvent toujours générer des données synthétiques de qualité avec les bons prompts.

Ces données synthétiques peuvent couvrir plein d'aspects, comme différentes longueurs, types de nuisances et sujets sensibles, ce qui aide à améliorer l'entraînement de ces modèles.

#Directives de Sécurité

Les directives de sécurité sont vitales lors du développement de systèmes d'IA pour le monde réel. Ces directives aident à établir quel type de contenu est acceptable ou non. Elles fournissent une norme pour que les examinateurs humains soient cohérents lors du marquage de contenu nuisible. Cette cohérence est nécessaire pour former efficacement des classificateurs et garantir l'équité des données.

Pour les inputs des utilisateurs, le focus est sur la prévention des demandes qui pourraient causer des nuisances. Ça inclut des inputs qui peuvent ne pas sembler nuisibles au premier abord mais qui sont conçus pour provoquer le modèle à générer des réponses dangereuses. Pour les sorties du modèle, le but principal est d'empêcher la génération de contenu nuisible.

#Types de Nuisances

Un système de classification a été développé pour définir six types de contenu nuisible :

1. Informations Sexuellement Explicites : Ça concerne le contenu qui décrit des actes sexuels ou qui est destiné à exciter. Cependant, les termes scientifiques liés à l'anatomie et à l'éducation sont acceptables.

2. Discours de Haine : Ça inclut le discours qui cible des groupes spécifiques en fonction de leur identité, promouvant la discrimination ou la violence.

3. Contenu Dangereux : C'est du contenu pouvant causer du tort à soi ou aux autres, comme des instructions pour fabriquer des armes ou promouvoir l'automutilation.

4. Harcèlement : Ça couvre tout contenu intimidant ou d'intimidation visant des individus.

5. Violence : Le contenu qui décrit une violence choquante ou gratuite, comme des blessures extrêmes ou de la maltraitance animale, tombe dans cette catégorie.

6. Obscénité et Vulgarité : Ça inclut tout langage vulgaire ou inapproprié.

Les directives pour les inputs utilisateurs et les sorties du modèle diffèrent légèrement. Les inputs des utilisateurs ne doivent pas contenir ou chercher à générer du contenu nuisible, tandis que les réponses des chatbots ne doivent pas produire de réponses nuisibles.

#Création de Données Synthétiques

Une méthode a été établie pour créer des données synthétiques pour entraîner ces modèles. Ce processus inclut plusieurs étapes :

1. Définir le Problème : Identifier les types de nuisances sur lesquels se concentrer, comme le discours de haine ou le contenu dangereux, et générer des sujets connexes.

2. Générer des Requêtes : Utiliser des modèles linguistiques pour créer des prompts diversifiés basés sur des paramètres spécifiques.

3. Générer des Réponses : Utiliser un autre modèle pour générer des réponses basées sur les prompts et les directives.

Cette approche crée de nombreux exemples d'inputs utilisateurs et de réponses, qui peuvent ensuite être affinés davantage.

#Annotation de données

Une fois les données générées, elles doivent être envoyées à des examinateurs humains pour marquage. Un vote majoritaire parmi les examinateurs aide à garantir l'exactitude. Ce processus est essentiel pour entraîner les modèles efficacement en utilisant à la fois des exemples bénins et néfastes.

#Équité en IA

Pour améliorer l'équité, les données d'entraînement doivent inclure des catégories d'identité diverses, comme le genre et la race. En générant de nouveaux exemples qui reflètent différentes identités, le but est d'éliminer les biais qui pourraient affecter les résultats de l'entraînement.

#Ajustement des Modèles

Les modèles sont ajustés avec des instructions spécifiques pour déterminer si les prompts des utilisateurs ou les réponses de l'IA violent les directives de sécurité. Le but est de développer des classificateurs qui peuvent distinguer efficacement entre contenu acceptable et nuisible.

#Résultats de l'Évaluation

Lors des évaluations, les nouveaux modèles surclassent systématiquement les modèles existants sur divers benchmarks. Par exemple, le modèle de 9 milliards de paramètres montre une amélioration significative par rapport aux anciens modèles comme WildGuard et LlamaGuard.

De plus, la performance est mesurée non seulement en précision globale mais aussi en la capacité du modèle à identifier des types spécifiques de nuisances. Les résultats montrent que ces nouveaux modèles sont particulièrement bons pour distinguer entre différents types de contenu nuisible, tandis que les anciens modèles peinent avec cette tâche.

#Défis à Venir

Malgré les avancées, il reste encore des défis à relever. L'équité reste une préoccupation, et il faut prendre en compte la possibilité de divergences lors de l’échange d'identités. Bien que les modèles plus grands aient montré une meilleure capacité à généraliser sur divers sujets, il est essentiel de continuer à tester leur performance dans différents contextes.

En outre, les LLMs peuvent comprendre les contextes culturels dans une certaine mesure mais peuvent ne pas saisir complètement les subtilités des nuisances implicites. Enfin, bien que ces modèles soient efficaces pour filtrer le contenu nuisible, ils peuvent aussi limiter l'utilité des réponses fournies.

#Conclusion

Le développement de systèmes avancés de modération de contenu basés sur Gemma2 représente un pas en avant significatif pour s'assurer que les interactions IA restent sûres. En introduisant de nouvelles méthodes pour la génération et l'entraînement de données, ces modèles sont conçus pour offrir de meilleures performances dans la détection et la gestion du contenu nuisible. Les ressources partagées avec la communauté de recherche visent à soutenir l'exploration et l'amélioration continues dans ce domaine critique.