Nouvelle méthode d'attaque qui permet de contourner les restrictions de l'IA

Les grands modèles de langage (LLMs) ont attiré pas mal d'attention récemment et sont utilisés dans plein d'applis. Ces modèles sont conçus pour éviter de parler de sujets illégaux ou non éthiques afin de promouvoir une utilisation responsable de l'IA. Cependant, il y a des tentatives de contourner ces restrictions, appelées "Jailbreaks". Ces attaques visent à amener les modèles à faire des choses qu'ils refuseraient normalement. Un nouveau moyen qui a été introduit est l'attaque Crescendo. Cette méthode est différente des autres ; elle engage d'abord le modèle de manière amicale, puis l'amène progressivement vers des actions nuisibles.

L'attaque Crescendo commence par une question simple et mène lentement la conversation dans une direction qui pousse le modèle à fournir du contenu nuisible ou indésirable. Cette technique a été testée sur plusieurs systèmes publics, comme ChatGPT et d'autres. Les résultats montrent que Crescendo a un taux de succès élevé pour amener les modèles à effectuer des Tâches qu'ils ne feraient normalement pas.

#Comment fonctionne Crescendo

La technique Crescendo est différente des méthodes précédentes. D'autres jailbreaks nécessitent souvent des tours de passe-passe compliqués ou des instructions spécifiques que les modèles peuvent facilement reconnaître et bloquer. À l'inverse, Crescendo utilise des conversations amicales et normales pour atteindre son but. Ça commence par une question abstraite ou générale, puis ça s'appuie sur les réponses du modèle pour le guider vers un contenu potentiellement nuisible.

Cette approche en plusieurs étapes rend plus difficile pour les modèles de détecter ce qui se passe et de se défendre, même après qu'ils soient au courant de Crescendo. Par exemple, si quelqu'un posait une question directe nuisible à un modèle, il refuserait probablement. Mais si cette même question nuisible est abordée par petites étapes apparemment inoffensives, le modèle pourrait finalement céder.

#Tester Crescendo

Pour évaluer Crescendo, il a été testé sur plusieurs modèles à forte notoriété, y compris ChatGPT et d'autres de sociétés comme Google et Anthropic. Les tests comprenaient diverses tâches qui enfreignaient différentes catégories de sécurité. Les résultats ont montré que Crescendo pouvait contourner avec succès les mesures de sécurité de ces modèles dans la plupart des cas.

Certaines tâches étaient plus faciles à réaliser que d'autres. Par exemple, les tâches liées à la désinformation ont été complétées avec succès, tandis que les tâches nécessitant du contenu personnel ou sensible étaient plus difficiles. Ça indique que même si Crescendo est efficace, son succès peut varier selon la nature de la tâche.

#Automatiser Crescendo

Un développement intéressant avec Crescendo, c'est qu'il peut être Automatisé. Un outil a été introduit qui utilise la stratégie de Crescendo, mais le fait sans avoir besoin d'une intervention humaine pour chaque question. Cet outil prend une tâche et interagit avec le LLM pour le faire faire ce qui est nécessaire. Il surveille les réponses et ajuste ses questions en fonction de ce que dit le modèle. Ce processus automatisé facilite l'utilisation de Crescendo à travers différents systèmes et tâches.

#Évaluer les résultats

Le succès de Crescendo a été mesuré à l'aide de différentes méthodes. Une de ces méthodes consistait à faire évaluer, par un autre modèle, si la tâche avait été accomplie avec succès. Dans de nombreux cas, cette évaluation a montré un taux de succès élevé. De plus, des vérifications supplémentaires ont été introduites pour confirmer les résultats, réduisant les faux négatifs, qui sont des cas où une tâche est jugée infructueuse alors qu'elle a été bien réalisée.

Des outils de modération externes ont également été utilisés pour évaluer les sorties de Crescendo. Ces outils analysent le contenu pour détecter un langage ou un comportement nuisible, aidant à s'assurer que les réponses générées par le jailbreak ne passent pas inaperçues.

#Défis et forces de Crescendo

L'approche de Crescendo a à la fois des forces et des faiblesses. Une de ses forces est l'utilisation de promesses bénignes qui ne déclenchent pas immédiatement d'alerte. Cette subtilité lui permet de passer à travers de nombreuses mesures de protection qui attraperaient normalement des attaques plus directes.

Cependant, il existe des défis dans l'utilisation de Crescendo. Tous les systèmes ne sont pas également vulnérables. Les systèmes avec des contrôles d'historique stricts, par exemple, pourraient être plus résilients face à de telles influences en plusieurs tours. La dépendance à l'accès API pour les tests signifie également que tous les modèles ne peuvent pas être évalués avec Crescendo.

#Atténuer Crescendo

Faire face à des attaques comme Crescendo nécessite un effort considérable. Une manière de réduire son efficacité est d'améliorer l'alignement de ces modèles. La formation pourrait inclure des exemples plus divers qui reflètent à la fois des invites sûres et non sûres, rendant les modèles plus aptes à gérer des manipulations subtiles.

Une autre approche pourrait consister à améliorer les filtres de contenu existants pour mieux détecter ces types de conversations. Cela pourrait aider à stopper Crescendo avant qu'il ait l'occasion de s'intensifier vers des sorties nuisibles.

#Conclusion

L'attaque de jailbreak en plusieurs tours Crescendo représente une avancée notable dans la gestion de ce genre de risque. En engageant la conversation de manière amicale, elle peut subtilement amener les modèles dans un territoire nuisible. Comprendre et développer des stratégies pour se défendre contre cette méthode est crucial pour améliorer la sécurité et la fiabilité des systèmes d'IA.

Cette recherche sert de rappel des vulnérabilités qui existent dans les systèmes d'IA et met en lumière le besoin continu de mesures robustes pour se protéger contre les abus. En attirant l'attention sur ces problèmes, l'objectif est d'encourager des efforts supplémentaires pour créer des modèles d'IA plus sécurisés capables de résister à diverses formes de manipulation.