Sicherheit und Nützlichkeit bei Sprachmodellen bewerten

Grosse Sprachmodelle (LLMs) werden immer beliebter und von Millionen Menschen genutzt. Aber diese Modelle können schädliche Inhalte erzeugen, wenn man sie nicht richtig steuert. Das schafft die Notwendigkeit für Sicherheitsmassnahmen, um sicherzustellen, dass diese Modelle sowohl nützlich als auch sicher sind.

#Das Problem von Sicherheit vs. Nützlichkeit

Sicherheitsmassnahmen verlangen oft, dass Modelle gefährliche Fragen vermeiden. Das kann aber zu einem Konflikt mit dem Ziel führen, hilfreich zu sein. Es gibt Fälle, in denen Modelle sichere Fragen ablehnen, weil sie gefährlichen ähneln oder sensible Themen beinhalten. Das macht die Modelle weniger nützlich.

#Was ist Übertriebene Sicherheit?

Übertriebene Sicherheit bedeutet, dass ein Modell eine sichere Anfrage ablehnt, weil es sie fälschlicherweise als unsicher identifiziert. Das ist ein grosses Problem, da es die Effektivität dieser Modelle einschränkt.

#Einführung von XSTest

Um dieses übertrieben sichere Verhalten zu identifizieren, wird eine neue Testreihe namens XSTest vorgestellt. Diese Testreihe umfasst 200 sichere Anfragen über zehn verschiedene Typen, um herauszufinden, wie oft Modelle sichere Anfragen ablehnen.

#Der Zweck von XSTest

XSTest ist darauf ausgelegt, gut kalibrierte Modelle zu testen. Das Ziel ist, Modelle zu haben, die keine der sicheren Anfragen ablehnen. Mit XSTest können Forscher besser verstehen, wie Modelle in diesen Szenarien agieren.

#Wie XSTest erstellt wurde

XSTest wurde sorgfältig entwickelt, um sicherzustellen, dass alle Anfragen eindeutig sicher sind. Jeder der zehn Typen von Anfragen soll die Fähigkeit des Modells herausfordern, zwischen sicherer und unsicherer Sprache zu unterscheiden.

#Arten von Anfragen in XSTest

In XSTest sind zehn Arten von Anfragen enthalten:

1. Homonyme: Testet Wörter mit sicheren und unsicheren Bedeutungen.
2. Figurative Sprache: Schaut sich Phrasen an, die in einigen Kontexten sicher, in anderen jedoch unsicher sein können.
3. Sichere Ziele: Bewertet Wörter, die nur unsicher werden, basierend darauf, worauf sie sich beziehen.
4. Sichere Kontexte: Fordert Modelle mit unsicheren Wörtern heraus, die in bestimmten Kontexten sicher sind.
5. Definitionen: Testet die Fähigkeit des Modells, Definitionen für potenziell schädliche Wörter bereitzustellen.
6. Echte Diskriminierung, Unsinnsgruppe: Verwendet unsinnige Gruppen im Kontext von Diskriminierung.
7. Unsinns-Diskriminierung, echte Gruppe: Paart echte Gruppen mit unsinnigen Diskriminierungsszenarien.
8. Historische Ereignisse: Bezieht sich auf sichere Fragen zu historischen Ereignissen, die empfindliche Themen betreffen.
9. Privatsphäre (Öffentlich): Testet Anfragen zu öffentlichen Persönlichkeiten.
10. Privatsphäre (Fiktional): Fragt nach privaten Informationen fiktiver Charaktere.

#Erstellung effektiver Testanfragen

Jeder Typ besteht aus zwanzig Anfragen, insgesamt also 200. Sie sind so gestaltet, dass sie abwechslungsreichen Wortschatz und Satzstrukturen nutzen, um Wiederholungen zu vermeiden, wodurch sichergestellt wird, dass Modelle nicht einfach ein Muster lernen, ohne den Inhalt zu verstehen. Die Anfragen sind als Fragen formuliert, um einen normalen Dialog zu simulieren.

#Bewertung der Modellleistung mit XSTest

XSTest kann verwendet werden, um jedes generative Sprachmodell zu bewerten. Bei den Tests schauten die Forscher speziell auf zwei Modelle: Llama2 und GPT-4.

#Modellaufbau

Llama2 ist ein Open-Access-Modell, das Mitte 2023 veröffentlicht wurde und für seine Dialogoptimierung bekannt ist. GPT-4 hingegen ist ein proprietäres Modell, das Anfang 2023 veröffentlicht wurde und derzeit an der Spitze verschiedener Leistungs-Rankings steht.

#Ergebnisse der Tests

Erste Bewertungen mit XSTest zeigten, dass Llama2 eine hohe Rate an übertriebenem Sicherheitsverhalten hatte. Dieses Modell lehnte 38 % der sicheren Anfragen vollständig ab und 22 % teilweise. Die Ergebnisse zeigen, dass Llama2 überempfindlich auf bestimmte Wörter oder Phrasen reagiert, was zu unnötigen Ablehnungen führt.

#Vergleich von Llama2 und GPT-4

Während Llama2 mit vielen sicheren Anfragen kämpfte, zeigte GPT-4 viel weniger übertriebenes Sicherheitsverhalten. Es lehnte nur 6 % der Anfragen vollständig ab und 1 % teilweise. Die Unterschiede zwischen diesen Modellen heben die unterschiedlichen Grade der Effektivität im Umgang mit Sicherheit hervor.

#Beispiele für Antworten

In den Tests variierten die Antworten bei sicheren Fragen stark zwischen den beiden Modellen. Llama2 lehnte oft Fragen zu sicheren Kontexten ab oder gab lange Erklärungen ab, warum es nicht antworten konnte, während GPT-4 typischerweise klare Antworten gab.

#Lexikalisches Overfitting

Die Neigung eines Modells, sichere Anfragen abzulehnen, rührt oft von einem Phänomen namens lexikalisches Overfitting her. Das passiert, wenn ein Modell sich übermässig auf spezifische Wörter konzentriert, die mit unsicheren Inhalten verbunden sind, und dabei den Kontext übersieht, der eine Anfrage sicher macht.

#Auswirkungen übertriebener Sicherheit

Übertriebene Sicherheit verursacht nicht direkt Schaden, verhindert aber, dass Modelle nützliche Werkzeuge für Nutzer sind. Ein Gleichgewicht zwischen hilfreich und sicher zu sein, ist wichtig.

#Die Rolle der Modellkalibrierung

Entwickler müssen Modelle richtig kalibrieren. Ein gewisses Mass an übertriebener Sicherheit kann akzeptabel sein, um sicherzustellen, dass Modelle keine schädlichen Inhalte erzeugen. Zu viel übertriebene Sicherheit sollte jedoch vermieden werden, da sie die Nützlichkeit einschränkt.

#Zukünftige Richtungen für XSTest

XSTest befindet sich noch in der Entwicklung. Es gibt Pläne, die Testreihe zu erweitern, mehr Anfragen einzubeziehen und weitere Bewertungen durchzuführen. Es wird auch Nachfolgen geben, um zu betrachten, wie Modelle auf unsichere Anfragen im Vergleich zu sicheren Anfragen reagieren.

#Fazit

Die Einführung von XSTest bietet eine Methode, um übertriebene Sicherheitsverhalten in Sprachmodellen zu bewerten. Indem Schwächen in Modellen identifiziert werden, können Entwickler daran arbeiten, effektivere und nützlichere Werkzeuge zu schaffen. Insgesamt bleibt das Ziel, sicherzustellen, dass diese Modelle sowohl sicher als auch hilfreich sind.