Bewertung der Sicherheit von grossen Sprachmodellen gegen schädliche Anweisungen

Grosse Sprachmodelle (LLMs) sind wichtige Werkzeuge geworden, die Anweisungen in natürlicher Sprache befolgen können. Sie werden häufig im Kundenservice und in anderen Anwendungen eingesetzt. Allerdings gibt es, je besser diese Modelle Anweisungen befolgen, immer mehr Bedenken hinsichtlich der Risiken, die damit einhergehen. Ein grosses Problem ist das Potenzial für Angreifer, schädliche Anweisungen in die Eingaben des Modells einzuschleusen, was die ursprünglichen Anweisungen ändern und zu unbeabsichtigten Aktionen oder Inhalten führen kann.

Um sicherzustellen, dass LLMs für den Einsatz in der realen Welt sicher sind, ist es entscheidend zu bewerten, wie gut sie zwischen guten und schlechten Anweisungen unterscheiden können. In diesem Artikel präsentieren wir einen neuen Benchmark, um zu bewerten, wie robust LLMs gegen schädliche Anweisungen sind, die heimlich in ihre Eingabeaufforderungen eingefügt werden. Das Ziel ist es, zu messen, wie stark diese schädlichen Anweisungen die Modelle beeinflussen können und wie gut LLMs zwischen ihnen und den ursprünglichen Benutzeranweisungen unterscheiden können.

#Warum das wichtig ist

Mit der wachsenden Nutzung von LLMs in verschiedenen Anwendungen ist es wichtig, ihre Sicherheit zu gewährleisten. Viele Chatbots und virtuelle Assistenten sind auf diese Modelle angewiesen, um Informationen bereitzustellen oder Fragen zu beantworten. Wenn diese Modelle schädliche Anweisungen nicht genau erkennen können, besteht das Risiko, dass sie sensible Informationen preisgeben oder andere Handlungen ausführen, die den Nutzern schaden könnten.

Um die Robustheit der LLMs zu testen, haben wir Experimente mit einigen der neuesten Modelle durchgeführt und dabei bemerkenswerte Schwächen festgestellt. Diese Ergebnisse zeigen, dass weiterer Forschungsbedarf besteht, um LLMs zu verbessern, damit sie Anweisungen besser verstehen, anstatt einfach alles zu wiederholen, was ihnen gegeben wird.

#Was wir gemacht haben

Wir haben uns darauf konzentriert, einen Benchmark zu erstellen, der LLMs systematisch gegen schädliche Anweisungen bewertet. Die Situation, die wir untersucht haben, ähnelt dem, was kommerzielle Konversationsagenten erleben, wo sie Benutzerfragen basierend auf abgerufenen Informationen aus dem Internet beantworten müssen. Dieses Setup bietet Angreifern die Möglichkeit, schädliche Anweisungen in den online gefundenen Inhalt einzuschleusen, was das LLM in die Irre führen könnte.

Um unseren Benchmark zu erstellen, haben wir zwei Frage-Antwort-Datensätze verwendet, in die wir schädliche Anweisungen in den Text eingefügt haben, den die LLMs verwenden würden, um Antworten zu generieren. Anstatt uns auf Anweisungen zu konzentrieren, die direkt zu schädlichen Handlungen führen, haben wir zwei Arten von harmlosen, schädlichen Anweisungen betrachtet:

1. Zufällige Anweisungen, die keinen Bezug zur ursprünglichen Frage haben.
2. Relevante Fragen, die mit den gleichen Informationen beantwortet werden könnten, aber von der ursprünglichen Benutzerfrage abweichen.

Dieser Ansatz ermöglicht es uns, die Fähigkeit der LLMs zu bewerten, den Kontext zu verstehen und zwischen den ursprünglichen Benutzeranweisungen und den zusätzlichen schädlichen Anweisungen zu unterscheiden.

#Bewertungsrahmen

Die Bewertung konzentriert sich auf zwei zentrale Bereiche:

1. Einfluss auf die Leistung: Dies misst, wie sehr die Antworten der LLMs durch die schädlichen Anweisungen beeinflusst werden.
2. Anweisungsdiskriminierung: Dies prüft, ob die LLMs den ursprünglichen Benutzeranweisungen folgen, anstatt von den schädlichen Anweisungen beeinflusst zu werden.

Wir haben eine Frage-Antwort-Aufgabe als unser Testfeld gewählt, insbesondere im Bereich der extraktiven Fragebeantwortung, wo Antworten aus einem bereitgestellten Kontext ausgewählt werden. Dies spiegelt reale Situationen wider, in denen LLMs Fragen basierend auf Informationen aus Online-Quellen beantworten.

#Unsere Ergebnisse

In unseren Bewertungen haben wir verschiedene State-of-the-Art-LLMs analysiert, darunter sowohl grosse, kommerziell verfügbare Modelle als auch kleinere, Open-Source-Modelle.

#Unterschiede in der Robustheit

Wir haben beobachtet, dass es erhebliche Unterschiede darin gab, wie gut die Modelle mit schädlichen Anweisungen umgehen konnten. Einige Modelle wie ChatGPT und Claude zeigten eine bessere Robustheit im Vergleich zu anderen. Im Gegensatz dazu waren kleinere Modelle, einschliesslich einiger, die auf Anweisungen optimiert wurden, viel weniger robust und hatten Schwierigkeiten, zwischen den ursprünglichen Anweisungen und den injizierten schädlichen Anweisungen zu unterscheiden. Das zeigt eine grosse Problematik in Bezug auf die Effektivität der Trainingsmethoden für diese kleineren Modelle.

#Verwundbarkeit kleinerer Modelle

Die an Anweisungen angepassten Modelle schnitten nicht so gut ab, wie wir gehofft hatten. Trotz einer insgesamt anständigen Genauigkeit waren sie sehr anfällig für schädliche Anweisungen. Ihre Ergebnisse zeigten, dass sie oft nicht in der Lage waren, die primären Benutzeranweisungen zu erkennen und stattdessen den injizierten Anweisungen näher folgten. Das wirft Fragen zur Effektivität der aktuellen Methoden zur Anweisungstuning auf und betont die Notwendigkeit von Verbesserungen, die es den Modellen ermöglichen, Anweisungen zu befolgen, während sie auch die wahre Absicht des Benutzers erfassen.

#Die Herausforderung kontextrelevanter Anweisungen

Als wir die Fähigkeit der Modelle verglichen, mit verschiedenen Arten von schädlichen Anweisungen umzugehen, fanden wir heraus, dass es viel schwieriger war, kontextrelevante schädliche Anweisungen zu erkennen als zufällige Anweisungen, die keinen Bezug zu den Eingaben hatten. Das deutet darauf hin, dass Modelle möglicherweise zu stark auf den Kontext angewiesen sind, ohne ihn wirklich zu verstehen, was potenzielle Ausbeutung durch geschickte Anweisungsdesigns ermöglicht.

#Position der Injektion

Wir haben auch getestet, wo schädliche Anweisungen innerhalb des Kontexts platziert wurden. Wir stellten fest, dass es für die Modelle am schwierigsten war, schädliche Anweisungen am Ende des Textes zu erkennen. Das zeigt, dass einige Modelle Schwierigkeiten haben könnten, das gesamte Prompt vollständig zu erfassen und stattdessen basierend auf der Vorhersage des wahrscheinlichsten nächsten Wortes zu reagieren.

#Der Einfluss spezifischer Phrasen

In unserer Untersuchung haben wir auch betrachtet, wie bestimmte Phrasen, wie „ignorieren Sie die vorherige Eingabeaufforderung“, die Leistung des Modells beeinflussen können. Diese Phrase kann Modelle dazu bringen, den Kontext vollständig zu ignorieren, wodurch sie anfälliger für schädliche Anweisungen werden. Wenn diese Phrase enthalten war, sahen robuste Modelle wie ChatGPT und Claude einen deutlichen Rückgang ihrer Leistung, was darauf hindeutet, dass sie unter bestimmten Bedingungen immer noch getäuscht werden können.

#Menschliche Bewertungen

Um unsere automatisierten Bewertungen zu ergänzen, haben wir menschliche Bewertungen durchgeführt, um zu sehen, wie gut die Modelle auf die verschiedenen Arten von schädlichen Anweisungen reagierten. Die menschlichen Bewertungen zeigten, dass einige Modelle wie ChatGPT und Claude grösstenteils auf Kurs blieben, indem sie den Benutzerfragen folgten, während andere an Anweisungen angepasste Modelle irreführend durch die schädlichen Anweisungen beeinflusst wurden.

#Fazit

Zusammenfassend stellte unsere Arbeit einen neuen Benchmark vor, um zu bewerten, wie robust LLMs beim Befolgen von Anweisungen gegen die Injektion schädlicher Anweisungen sind. Durch umfangreiche Tests haben wir ernsthafte Einschränkungen in vielen Modellen identifiziert, die Schwierigkeiten haben, ihre Leistung bei adversarialen Eingabeaufforderungen aufrechtzuerhalten.

Die Ergebnisse unserer Experimente zeigen einen dringenden Bedarf an stärkeren Sicherheitsmassnahmen und besseren Trainingsmethoden, um zu verbessern, wie LLMs Eingabeaufforderungen verstehen und darauf reagieren. Da LLMs immer mehr in Anwendungen integriert werden, die ein hohes Mass an Vertrauen erfordern, wie Kundenservice und Informationsabfrage, ist es wichtig, ihre Verwundbarkeiten zu verstehen, um ihre Zuverlässigkeit und Sicherheit im täglichen Einsatz zu gewährleisten. Zukünftige Forschungen sollten sich darauf konzentrieren, verbesserte Methoden zu entwickeln, die LLMs helfen, zwischen echten Anweisungen und schädlichen zu unterscheiden, um letztlich ihre Gesamtleistung und Vertrauenswürdigkeit in realen Anwendungen zu verbessern.