Cross-Refine: Erklärungen von Sprachmodellen verbessern

Natürliche Sprach-Erklärungen (NLEs) helfen dabei, die Gründe hinter den Entscheidungen von Sprachmodellen zu klären. Diese Erklärungen sind wichtig, weil sie den Leuten zeigen, wie KI zu ihren Schlussfolgerungen kommt. Um diese NLEs zu erzeugen, wurden viele Methoden entwickelt, die grosse Sprachmodelle (LLMs) nutzen. Aber genau wie Menschen erzielen LLMs nicht immer beim ersten Versuch die besten Ergebnisse.

#Einführung von Cross-Refine

Um die Qualität der Erklärungen zu verbessern, stellen wir eine neue Methode namens Cross-Refine vor. Diese Methode nutzt zwei LLMs: Einer generiert die anfängliche Erklärung, und der andere fungiert als Kritiker, der die Erklärung überprüft und verbessert. Der Generator erstellt die erste Erklärung, und dann gibt der Kritiker Feedback und Vorschläge, um sie zu verfeinern.

Cross-Refine benötigt keine speziellen Trainingsdaten oder zusätzlichen Lernprozesse. Wir haben Cross-Refine bei drei Sprachaufgaben mit drei fortschrittlichen Open-Source-LLMs getestet und die Leistung mit einer vorherigen Methode namens Self-Refine verglichen. Self-Refine verwendet nur das Feedback desselben Modells, um die eigenen Erklärungen zu verbessern.

Unsere Tests haben gezeigt, dass Cross-Refine Self-Refine übertrifft und sogar bei weniger leistungsstarken LLMs gut funktioniert, während Self-Refine am besten mit fortgeschritteneren Modellen wie ChatGPT abschneidet. Wir haben auch untersucht, wie wichtig Feedback und Vorschläge vom Kritiker sind, und festgestellt, dass beides entscheidend für die Verbesserung der Erklärungen ist. Ausserdem haben wir die Leistung von Cross-Refine mit Daten in Englisch und Deutsch bewertet.

#Beispiel für eine Erklärung

Wenn die Frage zum Beispiel lautet: „Wo würdest du Kaffee ausleihen, wenn du keinen hast?“, könnte der Generator anfangs eine falsche Antwort geben. Der Kritiker erkennt diesen Fehler und gibt das richtige Feedback, wodurch der Generator sich selbst für eine bessere Erklärung korrigiert.

#Bedeutung von natürlichen Sprach-Erklärungen

Je komplexer LLMs werden, desto wichtiger sind NLEs für erklärbare KI. Sie stellen eine Verbindung zwischen KI-Systemen und Menschen her und bieten Rechtfertigungen auf eine leicht verständliche Weise. Obwohl LLMs weit verbreitet sind, um NLEs zu erstellen, machen sie oft Fehler in ihren ersten Antworten und geben manchmal falsche oder irreführende Informationen.

LLMs können ihre Argumentation im Laufe der Zeit verbessern, ohne externe Hilfe. Diese Idee führte zur Entwicklung von Self-Refine, wo LLMs sich selbst Feedback geben, um ihre Ergebnisse schrittweise zu verbessern. Kleinere Modelle haben jedoch oft Schwierigkeiten mit diesem Ansatz und können wiederholte oder fehlerhafte Antworten generieren.

#Rolle von Cross-Refine

In dieser Methode erstellt der Generator die anfängliche Erklärung, während der Kritiker sie überprüft und Verbesserungsvorschläge macht. Diese Zusammenarbeit hilft, die Grenzen von LLMs zu adressieren, die nicht immer effektiv selbst korrigieren können. Durch das Feedback und die Vorschläge von einem anderen Modell kann Cross-Refine die Qualität der Erklärungen erheblich verbessern.

Wir haben Cross-Refine bei Aufgaben wie Allgemeinwissen-Fragen, natürlicher Sprachschlüsselschlussfolgerung und Faktenprüfung validiert. Bei der Bewertung haben wir sowohl automatisierte Metriken als auch menschliche Bewertungen verwendet und uns auf Faktoren wie Wahrhaftigkeit und Kohärenz der Erklärungen konzentriert. Die Ergebnisse zeigen, dass Cross-Refine im Allgemeinen Self-Refine übertrifft, wenn die Modelle über solides Wissen verfügen, das für die Aufgaben relevant ist.

#Leistungs-Vergleich

Cross-Refine schneidet besonders gut bei weniger leistungsstarken LLMs ab und zeigt, dass es trotzdem hochwertige Erklärungen produzieren kann, auch wenn das zugrunde liegende Modell nicht auf dem neuesten Stand ist. Im Gegensatz dazu erzielt Self-Refine nur bei robusten Modellen wie ChatGPT zufriedenstellende Ergebnisse.

Als wir Cross-Refine mit einem zweisprachigen Datensatz mit englischen und deutschen Beispielen getestet haben, schnitt es konstant besser ab als Self-Refine, besonders bei deutschen Erklärungen.

#Bewertung von Erklärungen

Um sicherzustellen, dass die Erklärungen genau und verständlich sind, haben wir verschiedene automatisierte Metriken betrachtet, die helfen, zu messen, wie gut die generierten Texte mit von Menschen verfassten Erklärungen übereinstimmen. Einige Metriken bewerten, wie ähnlich die generierten Erklärungen den Referenztexten sind, während andere prüfen, wie viel neue Informationen bereitgestellt werden.

Bei der menschlichen Bewertung haben wir uns auf mehrere Schlüsselaspekte wie Plausibilität, Treue und Kohärenz konzentriert. Wir haben menschliche Evaluatoren gebeten, die Erklärungen von Cross-Refine und Self-Refine anhand dieser Dimensionen zu bewerten.

#Nutzerstudien

In unserer Nutzerstudie haben wir den Umfang auf die am besten handhabbaren Datensätze beschränkt und die Modelle ausgewählt, die vielversprechende Ergebnisse gezeigt haben. Wir haben zufällig Instanzen ausgewählt, die bestimmte Kriterien erfüllten, um sicherzustellen, dass die Antworten, die wir untersucht haben, sinnvoll waren.

#Erkenntnisse aus den Nutzerstudien

Unsere Studien haben gezeigt, dass Cross-Refine im Allgemeinen Self-Refine übertrifft, insbesondere in Bezug auf Kohärenz. Für den HealthFC-Datensatz erzielte "self Cross-Refine", das dasselbe Modell für beide Rollen verwendet, gute Ergebnisse, jedoch führte die Kombination verschiedener Modelle oft zu schlechteren Leistungen.

Insgesamt haben wir festgestellt, dass Modelle, wenn sie über Themen nachdenken müssen, die ausserhalb ihres Fachgebiets liegen, nicht gut abschneiden. Dies gilt besonders für spezialisierte Bereiche wie Medizin, wo selbst die besten Modelle Schwierigkeiten haben können.

#Bedeutung von Feedback und Vorschlägen

Unsere Forschung hat die Bedeutung von Feedback und Vorschlägen vom Kritiker bei der Verbesserung der Erklärungen des Generators hervorgehoben. Eine zusätzliche Analyse bestätigte, dass beide Komponenten entscheidend für die Verfeinerung sind. Diese Erkenntnis zeigt, dass ein externes Feedback die Qualität der Erklärungen erheblich verbessert.

#Anwendung von Cross-Refine im Deutschen

Für den deutschen Teil des Datensatzes haben wir automatische Bewertungen durchgeführt und beobachtet, dass Cross-Refine konstant besser abschnitt als Self-Refine. Wir haben verschiedene, für das Deutsche geeignete Metriken verwendet, um die generierten Erklärungen zu bewerten und die Effektivität von Cross-Refine bei der Produktion hochwertiger Ausgaben in anderen Sprachen als Englisch zu zeigen.

#Zukünftige Richtungen

Obwohl Cross-Refine sich durch die Verbesserung von Erklärungen auszeichnet, erkennen wir Einschränkungen bei der Verwendung einer kleinen Anzahl von Demonstrationen aufgrund von Kontextlängenbeschränkungen. Zukünftige Arbeiten könnten effizientere Wege erkunden, um Eingabeaufforderungen zu komprimieren, während die Leistung des Modells erhalten bleibt oder verbessert wird.

Ausserdem planen wir zu untersuchen, wie gut von Menschen erstelltes Feedback mit modellgenerierten Vorschlägen übereinstimmt und ob der Fokus auf bestimmten Bereichen zu besseren Ergebnissen führen kann.

#Fazit

Zusammenfassend bietet Cross-Refine einen effektiven Weg zur Verbesserung von NLEs durch einen kollaborativen Ansatz mit zwei LLMs. Es erzielt Verbesserungen sowohl in Englisch als auch in Deutsch und liefert auch bei weniger leistungsstarken Modellen hochwertige Erklärungen. Die Ergebnisse unterstreichen die Bedeutung der Einbeziehung externen Feedbacks zur Verfeinerung der KI-Ausgaben und ebnen den Weg für zukünftige Forschungen im Bereich erklärbare KI. Indem wir die Grenzen von LLMs anerkennen und ihre Ansätze verfeinern, können wir sicherstellen, dass KI-Systeme den Nutzern klarere und genauere Erklärungen bieten.