Sécuriser les modèles de langue : une approche concurrentielle

Les systèmes de modèles de langage font face à des risques de sécurité importants à cause de messages conçus pour écraser les instructions originales du système ou fuiter des données privées. Pour étudier ce problème, une compétition de capture-drapeau a eu lieu lors de l'IEEE SaTML 2024, où le but était de protéger une chaîne secrète dans le prompt du système LLM. La compétition était organisée en deux phases : la phase de défense, où les équipes ont développé des Défenses, et la phase d'attaque, où les équipes ont tenté d'extraire les Secrets.

#Configuration de la Compétition

La compétition utilisait une interface web où les équipes pouvaient créer et modifier leurs défenses et interagir avec le modèle. Chaque équipe a reçu des crédits pour interroger les modèles. La phase de défense impliquait que les équipes créent des défenses contre des modèles comme GPT-3.5 et Llama-2. La phase d'attaque permettait aux équipes de tester leurs défenses.

#Phase de Défense

Les équipes ont conçu des défenses comprenant un prompt système, un filtre Python et un filtre LLM. Les défenses visaient à empêcher le modèle de révéler le secret tout en maintenant son utilité pour des prompts non liés.

#Phase d'Attaque

Durant la phase d'attaque, les équipes cherchaient à briser les défenses. Cette phase avait une étape de reconnaissance où les attaquants interagissaient librement avec les défenses et une étape d'évaluation avec un nombre limité d'Interactions notées.

#Résultats de la Compétition

La compétition a vu 163 équipes inscrites, avec 72 défenses soumises. Il y avait 137,063 discussions uniques pendant la phase d’attaque, et 35 équipes ont réussi à briser au moins une défense. Un jeu de données de plus de 137k interactions a été créé pour soutenir la recherche future.

#Le Jeu de Données

Le jeu de données est divisé en défenses et discussions. La partie défenses contient des détails sur les défenses acceptées, tandis que la partie discussions contient les interactions des utilisateurs pendant la phase d’attaque.

#Exploration du Jeu de Données

Le jeu de données de discussion inclut des conversations de 65 équipes d'attaque différentes. Seulement 4% des entrées impliquaient une extraction de secret réussie. L'analyse du jeu de données révèle des idées sur les stratégies d'attaque et souligne l'importance des conversations multi-tours pour des Attaques réussies.

#Défenses les Plus Efficaces

1. Équipe Hestia : Utilisait de faux secrets dans le prompt système comme leurres et appliquait des filtres stricts pour masquer le vrai secret.
2. Équipe RSLLM : Améliorait le prompt système avec des instructions explicites pour éviter de révéler des secrets et appliquait des filtres de sortie efficaces.
3. Équipe WreckTheLine : Incorporait des secrets leurres et adoptait une approche multi-étapes en se concentrant sur la sécurité et l'utilité.

#Attaques les Plus Efficaces

1. Équipe WreckTheLine : Adaptait les attaques pour exploiter les faiblesses des défenses, y compris l'utilisation de synonymes et l'évitement de mots interdits.
2. Équipe Shrug Face Shrug : Utilisait un mélange de requêtes bénignes et de formats de demande spécifiques pour extraire des secrets.
3. Équipe Hestia : Formulait des demandes pour amener le modèle à révéler des secrets indirectement.

#Leçons Apprises

Les points clés à retenir de la compétition incluent :

• Attaques Adaptatives : Personnaliser les attaques pour tenir compte des défenses spécifiques s'est révélé essentiel.
• Évaluation Multi-Tour : Les attaques réussies reposaient souvent sur des interactions multi-tours, soulignant le besoin de méthodes d'évaluation complexes.
• Défis de Filtrage : Le filtrage efficace est difficile, car même des configurations simples peuvent être contournées par des attaquants adaptatifs.
• Complexité de la Défense : Les défenses doivent tenir compte de diverses stratégies d'attaque potentielles, car les attaquants peuvent exploiter même de faibles faiblesses.

#Conclusion

Cette compétition a mis en lumière les défis persistants pour sécuriser les LLM contre les attaques par injection de prompt. Le jeu de données créé sera une ressource précieuse pour la recherche future visant à améliorer la sécurité des systèmes de modèles de langage.