Verbesserung der Halluzinationsdetektion in LLMs

Grosse Sprachmodelle (LLMs) erzeugen manchmal falsche Informationen, was schädlich für die Nutzer ist. Dieses Problem nennt man Halluzination. Es ist wichtig, diese Ungenauigkeiten zu Erkennen, da LLMs für viele Aufgaben im Alltag und im Geschäft genutzt werden.

#Aktuelle Erkennungsmethoden

Die aktuellen Methoden lassen sich in drei Kategorien einteilen:

1. Externe Fakten abrufen: Diese Methoden überprüfen die Ausgaben des LLMs mit Fakten aus zuverlässigen Quellen.
2. Internen Zustand des LLMs analysieren: Dabei schaut man sich an, wie das Modell Text generiert, um Inkonsistenzen zu finden.
3. Erkennung ohne Ressourcen: Dieser Ansatz stützt sich nur auf Input und Output des LLMs, ohne externe Daten zu benötigen.

Dieses Papier konzentriert sich auf die dritte Art, die auf jedes LLM anwendbar ist, ohne zusätzliche Informationen zu brauchen. Eine bemerkenswerte Methode in dieser Kategorie ist SelfCheckGPT-Prompt (SCGP), die die Ausgaben des LLMs mit verschiedenen Versionen desselben Textes vergleicht. Allerdings hat SCGP Schwierigkeiten, wenn sich die Handlung ändert, was die Texte schwer vergleichbar macht.

#Vorgeschlagene Methode

Wir stellen eine neue Methode zur Erkennung von Halluzinationen vor, die ein Multiple-Choice-Lückentestformat verwendet. Diese Methode geht das Problem mit den Handlungänderungen an, indem sie folgende Schritte befolgt:

1. Erstelle einen Lückentest basierend auf dem Originaltext, indem wichtige Objekte maskiert werden.
2. Bitte das LLM, diesen Test mehrmals zu beantworten.
3. Bewerte die Antworten, um die Wahrscheinlichkeit von Halluzinationen in jedem Satz zu bestimmen.

Indem wir die Handlung über die Testantworten hinweg konsistent halten, verbessert unsere Methode die Genauigkeit der Halluzinationserkennung.

#Wichtige Beiträge

1. Neue Erkennungsmethode: Wir präsentieren eine Erkennungstechnik, die die Genauigkeit verbessert, indem sie die Handlungänderungen in den LLM-Ausgaben adressiert.
2. Verbesserte Genauigkeit: Unsere Methode zeigt eine bessere Leistung bei der Erkennung von Halluzinationen im Vergleich zu bestehenden Methoden, besonders bei komplexeren Texten.

#Experimentelle Ergebnisse

Wir haben unsere Methode mit einem Datensatz von Texten, die von einem LLM generiert wurden, bewertet. Die Ergebnisse zeigten, dass unsere Methode, in Kombination mit SCGP, in allen Metriken am besten abschnitt.

#Fazit

Unsere Forschung hebt die Wichtigkeit hervor, Ungenauigkeiten in LLMs zu erkennen, besonders da sie weiterhin in verschiedenen Bereichen integriert werden. Der vorgeschlagene Erkennungsansatz bietet eine genauere Möglichkeit, Halluzinationen zu identifizieren, was zuverlässigere Ausgaben von diesen Modellen gewährleistet. Zukünftige Arbeiten sollten den Einsatz vielfältiger Datensätze und unterschiedlicher LLMs untersuchen, um die Wirksamkeit unserer Methode in verschiedenen Kontexten zu validieren.