Évaluer la sécurité des grands modèles de langage face aux instructions nuisibles

Les Grands Modèles de Langage (LLMs) sont devenus des outils importants capables de suivre des instructions données en langage naturel. Ils sont largement utilisés dans le service client et d'autres applications. Cependant, à mesure que ces modèles s'améliorent pour suivre des instructions, les préoccupations concernant les risques qu'ils présentent augmentent. Un gros problème est le potentiel pour des attaquants d'injecter des instructions nuisibles dans l'entrée du modèle, ce qui peut modifier les instructions originales et entraîner des actions ou des contenus inattendus.

Pour garantir que les LLMs sont sûrs pour une utilisation dans le monde réel, il est essentiel d'évaluer leur capacité à distinguer les bonnes instructions des mauvaises. Dans cet article, nous présentons un nouveau benchmark pour évaluer la Robustesse des LLMs face aux instructions nuisibles qui sont secrètement ajoutées à leurs prompts. L'objectif est de mesurer à quel point ces instructions nuisibles peuvent influencer les modèles et de voir à quel point les LLMs peuvent faire la différence entre elles et les instructions originales de l'utilisateur.

#Pourquoi c'est important

Avec l'utilisation croissante des LLMs dans diverses applications, il est crucial de garantir leur sécurité. Par exemple, de nombreux chatbots et assistants virtuels s'appuient sur ces modèles pour fournir des informations ou répondre à des questions. Si ces modèles ne peuvent pas détecter avec précision les instructions nuisibles, il y a un risque qu'ils puissent révéler des informations sensibles ou effectuer d'autres actions susceptibles de nuire aux utilisateurs.

Pour tester la robustesse des LLMs, nous avons mené des expériences avec certains des derniers modèles et trouvé des faiblesses notables. Ces résultats soulignent la nécessité de poursuivre les recherches afin d'améliorer les LLMs pour qu'ils comprennent mieux les instructions au lieu de simplement répéter ce qui leur est donné.

#Ce que nous avons fait

Nous avons créé un benchmark qui évalue systématiquement les LLMs face à des instructions nuisibles. La situation que nous avons examinée est similaire à celle des agents conversationnels commerciaux, qui doivent répondre aux questions des utilisateurs en se basant sur des informations récupérées sur Internet. Cette configuration offre une opportunité pour des attaquants d'injecter des instructions nuisibles dans le contenu trouvé en ligne, ce qui pourrait induire en erreur le LLM.

Pour créer notre benchmark, nous avons utilisé deux ensembles de données de question-réponse, où nous avons ajouté des instructions nuisibles au texte que les LLMs utiliseraient pour générer des réponses. Au lieu de nous concentrer sur des instructions qui mènent directement à des actions nuisibles, nous avons examiné deux types d'instructions nuisibles bénignes :

1. Des instructions aléatoires qui n'ont aucun lien avec la question originale.
2. Des questions pertinentes qui pourraient être répondues en utilisant les mêmes informations mais qui sont différentes de la question originale de l'utilisateur.

Cette approche nous permet d'évaluer la capacité des LLMs à comprendre le contexte et à distinguer entre les instructions originales de l'utilisateur et les instructions nuisibles supplémentaires.

#Cadre d'évaluation

L'évaluation se concentre sur deux domaines clés :

1. Influence sur la performance : Cela mesure à quel point les réponses des LLMs sont affectées par les instructions nuisibles.
2. Discrimination des instructions : Cela vérifie si les LLMs suivent les instructions originales de l'utilisateur plutôt que d'être influencés par les nuisibles.

Nous avons choisi une tâche de question-réponse comme notre terrain d'essai, en particulier en nous intéressant à la question-réponse extractive, où les réponses sont sélectionnées à partir d'un contexte fourni. Cela reflète des situations du monde réel où les LLMs répondent à des questions basées sur des informations récupérées de sources en ligne.

#Nos résultats

Dans nos évaluations, nous avons analysé divers LLMs à la pointe de la technologie, y compris des modèles grands et commerciaux ainsi que des modèles plus petits et open source.

#Différences de robustesse

Nous avons constaté qu'il y avait des différences significatives dans la capacité des modèles à gérer les instructions nuisibles. Certains modèles comme ChatGPT et Claude ont montré une meilleure robustesse par rapport aux autres. En revanche, les modèles plus petits, y compris certains qui sont ajustés pour les instructions, étaient beaucoup moins robustes et avaient du mal à différencier les instructions originales des instructions nuisibles injectées. Cela indique une grande préoccupation concernant l'efficacité des méthodes de formation utilisées pour ces modèles plus petits.

#Vulnérabilité des petits modèles

Les modèles ajustés pour les instructions ne se sont pas aussi bien comportés que nous l'espérions. Malgré une précision globale décente, ils étaient très sensibles aux instructions nuisibles. Leurs résultats ont montré qu'ils n'arrivaient souvent pas à reconnaître les instructions primaires de l'utilisateur et suivaient plutôt les instructions injectées de plus près. Cela soulève des questions sur l'efficacité des méthodes d'ajustement actuelles et souligne la nécessité d'améliorations permettant aux modèles de mieux équilibrer le suivi des instructions tout en comprenant la véritable intention de l'utilisateur.

#Le défi des instructions pertinentes au contexte

Lorsque nous avons comparé la capacité des modèles à gérer différents types d'instructions nuisibles, nous avons constaté que reconnaître les instructions nuisibles pertinentes au contexte était beaucoup plus difficile que de traiter des instructions aléatoires qui n'avaient aucun lien avec les prompts. Cela suggère que les modèles pourraient s'appuyer trop sur le contexte sans véritablement le comprendre, ce qui permettrait une exploitation potentielle à travers des conceptions d'instructions astucieuses.

#Position de l'injection

Nous avons également testé où les instructions nuisibles étaient placées dans le contexte. Nous avons découvert que l'injection d'instructions nuisibles à la fin du texte était la plus difficile à détecter pour les modèles. Cela montre que certains modèles peuvent avoir du mal à comprendre complètement l'ensemble du prompt et réagissent plutôt en prédisant le mot suivant le plus probable.

#L'impact de certaines phrases

Dans notre enquête, nous avons examiné comment certaines phrases, comme "ignore le prompt précédent", peuvent affecter la performance des modèles. Cette phrase peut manipuler les modèles pour qu'ils ignorent entièrement le contexte, les rendant plus vulnérables aux instructions nuisibles. Lorsque cette phrase était incluse, des modèles robustes comme ChatGPT et Claude ont connu une baisse notable de leur performance, indiquant qu'ils peuvent encore être trompés dans certaines conditions.

#Évaluations humaines

Pour compléter nos évaluations automatisées, nous avons mené des évaluations humaines pour voir comment les modèles répondaient aux différents types d'instructions nuisibles. Les évaluations humaines ont révélé que, bien que certains modèles comme ChatGPT et Claude restaient globalement sur la bonne voie en respectant les questions des utilisateurs, d'autres modèles ajustés pour les instructions étaient trompeusement influencés par les instructions nuisibles.

#Conclusion

En résumé, notre travail a introduit un nouveau benchmark pour évaluer la robustesse des LLMs suivant des instructions face aux injections d'instructions nuisibles. Grâce à des tests approfondis, nous avons identifié de sérieuses limites dans de nombreux modèles, qui ont du mal à maintenir leur performance lorsqu'ils sont confrontés à des prompts adverses.

Les résultats de nos expériences soulignent l'urgence de mettre en place des mesures de sécurité plus solides et de meilleures techniques de formation pour améliorer la compréhension et la réponse des LLMs face aux prompts. À mesure que les LLMs s'intègrent davantage dans des applications nécessitant une grande confiance, telles que le service client et la récupération d'informations, comprendre leurs vulnérabilités est essentiel pour garantir leur fiabilité et leur sécurité dans l'utilisation quotidienne. Les recherches futures devraient se concentrer sur le développement de méthodes améliorées qui aident les LLMs à discerner entre des instructions authentiques et nuisibles, améliorant ainsi leur performance globale et leur confiance dans des Contextes réels.