Bewertung von Sprachmodellen: Der GraphEval-Ansatz

Grosse Sprachmodelle (LLMs) haben viel Aufmerksamkeit bekommen, weil sie in vielen Bereichen eingesetzt werden können. Ein grosses Problem, mit dem sie zu kämpfen haben, ist "Halluzination", was bedeutet, dass sie Antworten erzeugen, die gut klingen, aber nicht wahr sind. In diesem Papier wird ein neuer Weg vorgestellt, um diese Antworten auf Genauigkeit zu überprüfen, und zwar mit einem System namens GraphEval.

#Der Bedarf an Bewertung

Je komplexer LLMs werden, desto wichtiger ist es, Wege zu finden, um ihre Ausgaben zu bewerten. Die aktuellen Methoden zur Überprüfung, ob LLMs genaue Informationen liefern, haben oft ihre Schwierigkeiten. Sie erklären ihre Entscheidungen nicht gut, übersehen Teile der Antwort und sind oft langsam und teuer. GraphEval bietet eine Lösung, indem es Wissensgraphen (KGs) nutzt, um Informationen strukturiert darzustellen, was eine bessere Erkennung von Ungenauigkeiten ermöglicht.

#Was ist GraphEval?

GraphEval ist dazu gedacht, Einblicke zu geben, wo Halluzinationen in den Ausgaben von LLMs auftreten. Indem die Ausgabe einem KG zugeordnet wird, kann es spezifische Informationen anzeigen, die falsch sind. Das unterscheidet sich von früheren Methoden, die nur eine allgemeine Vorstellung davon gaben, ob die Antwort korrekt war oder nicht. Mit GraphEval wird der Prozess aufgeschlüsselt, um die genauen Teile zu zeigen, die fragwürdig sind.

#Kombination von GraphEval mit NLI-Modellen

Durch die Verwendung von GraphEval zusammen mit Modellen für natürliche Sprachinferenz (NLI) sehen wir Verbesserungen bei der Erkennung von Ungenauigkeiten. Diese Methode überprüft nicht nur die gesamte Antwort, sondern konzentriert sich auch auf einzelne Informationsstücke, was zu einer besseren Genauigkeit bei Tests führt, die zur Messung von Halluzinationen entwickelt wurden.

#Korrektur von Halluzinationen mit GraphCorrect

Neben der Erkennung von Ungenauigkeiten kann GraphEval auch helfen, sie durch eine Methode namens GraphCorrect zu korrigieren. Indem es herausfindet, welche Teile der Antwort wahrscheinlich falsch sind, schlägt es geeignete Korrekturen vor, während der Rest der Antwort intakt bleibt.

#Herausforderungen bei der Bewertung

Die Bewertung von Sprache ist komplex. Frühere Methoden wie BLEU und ROUGE konzentrierten sich auf allgemeine Ähnlichkeiten und hatten Probleme, die faktische Genauigkeit zu überprüfen. Neuere Methoden begannen, sich auf das Verständnis der Beziehung zwischen Aussagen zu konzentrieren, aber viele übersehen immer noch wichtige Details. Mit dem Aufstieg der LLMs gibt es jetzt mehr Interesse daran, diese Modelle selbst zur Bewertung ihrer Ausgaben zu verwenden.

#Der Prozess der Erstellung von Wissensgraphen

Die Erstellung von KGs umfasst mehrere Schritte:

1. Entitätserkennung: Finden und Auflisten der wichtigen Entitäten im Text.
2. Kohärenzauflösung: Identifizieren, wann verschiedene Begriffe auf dieselbe Entität verweisen.
3. Relationsextraktion: Bestimmen, wie diese Entitäten miteinander verbunden sind.

GraphEval verwendet einen einfachen Ansatz, um diese Prozesse zu kombinieren und einen KG zu erstellen, der für die Bewertung verwendet werden kann.

#Halluzinationserkennungsprozess

Die Verwendung von GraphEval zur Halluzinationserkennung umfasst diese Schritte:

• KG-Erstellung: Die Antwort des LLM wird eingegeben, um einen KG zu erstellen.
• Bewertung: Jedes Informationsstück im KG wird im Kontext überprüft, um Ungenauigkeiten zu identifizieren.

Diese systematische Überprüfung hilft dabei, herauszufinden, wo die Halluzinationen auftreten.

#Experimentelle Bewertung

In unseren Experimenten haben wir mehrere Benchmarks verwendet, um die Leistung von GraphEval zu testen. Dazu gehörten SummEval, QAGS-C und QAGS-X, die sich auf Zusammenfassungsaufgaben und die Überprüfung der faktischen Genauigkeit konzentrieren. Die Ergebnisse zeigten, dass GraphEval die Erkennungsraten verbesserte und detaillierte Berichte über Ungenauigkeiten lieferte.

#Halluzinationskorrekturprozess

GraphCorrect funktioniert, indem es zuerst herausfindet, welche Tripel wahrscheinlich Halluzinationen enthalten, und diese dann basierend auf dem bereitgestellten Kontext korrigiert. Diese Methode stellt sicher, dass nur die Teile, die wahrscheinlich falsch sind, modifiziert werden, was hilft, die Gesamtbotschaft klar zu halten.

#Fazit

GraphEval bietet einen neuen Weg, um die Antworten von LLMs zu bewerten und zu korrigieren. Durch die Verwendung von KGs zur strukturierten Darstellung von Informationen hebt es Ungenauigkeiten effektiv hervor und hilft, notwendige Korrekturen vorzunehmen. Das Framework ist wertvoll für weitere Forschung und Entwicklung im Bereich der LLM-Bewertung. Mit den Verbesserungen bei der Erstellung von KGs wird auch die Leistung von GraphEval besser, was unsere Fähigkeit verbessert, sicher und effektiv mit LLMs zu arbeiten.