Evaluierung von Argumentationen in grossen Sprachmodellen

Grosse Sprachmodelle (LLMs) haben beeindruckende Fähigkeiten bei Denkaufgaben gezeigt. Die meisten Bewertungen haben sich jedoch auf die Genauigkeit ihrer Antworten konzentriert, ohne zu prüfen, wie gut ihre Denkprozesse formuliert sind. Dieses Papier präsentiert eine neue Möglichkeit, direkt zu beurteilen, wie LLMs denken, wenn sie komplexe Fragen beantworten, die mehrere Denkschritte erfordern, unter Verwendung von Wissensgraphen (KGs).

#Hintergrund

#Chain-of-Thought (CoT) Denken

Chain-of-Thought-Denken ist eine Methode, bei der LLMs gebeten werden, Fragen in kleinere, logische Schritte aufzubrechen, bevor sie eine Antwort geben. Jeder Schritt hilft, zur endgültigen Antwort zu gelangen und sollte auf faktischen und kohärenten Überlegungen basieren.

#Wissensgraphen (KGs)

Wissensgraphen sind strukturierte Darstellungen von Fakten, die in Form von Tripeln angezeigt werden. In diesem Zusammenhang besteht ein Tripel aus einem Kopfelement, einem Schwanz-Element und einer Relation, die sie verbindet. Zum Beispiel könnte das Tripel zeigen, dass "A der Elternteil von B ist."

#Der Bedarf an Bewertung

Frühere Forschungen haben gezeigt, dass LLMs korrekte Antworten geben können, aber es bleibt unklar, ob sie gültige Überlegungen verwenden, um zu diesen Antworten zu gelangen. Daher ist es entscheidend, den Denkprozess selbst zu bewerten.

#Probleme mit aktuellen Bewertungsmethoden

Aktuelle Bewertungsmethoden messen hauptsächlich die Genauigkeit der Antworten, anstatt sich die involvierten Denkschritte anzusehen. Es wurden einige Versuche unternommen, die Denkfähigkeit von LLMs zu bewerten, indem Aufforderungen geändert oder Fehler eingefügt wurden. Diese Methoden prüfen jedoch nicht direkt die Richtigkeit jedes Denksschritts.

#Vorgeschlagenes Bewertungsrahmenwerk

#Überblick

Dieses Papier schlägt ein Rahmenwerk vor, um die Denkfähigkeiten von LLMs zu bewerten. Es umfasst zwei Hauptteile: eine diskriminierende Bewertung zur Identifizierung gültiger Denkpfade und eine generative Bewertung zur Analyse der von LLMs produzierten Denkprozesse.

#Diskriminierende Bewertung

Ziel dieser Bewertung ist es zu sehen, ob LLMs in der Lage sind, gültige und ungültige Denkpfade korrekt zu unterscheiden, wenn ihnen beide Typen gegeben werden. Damit bewerten wir das Denkwissen, das LLMs besitzen. Wenn LLMs gültige von ungültigen Pfaden unterscheiden können, deutet das darauf hin, dass sie ein gewisses Mass an Denkfähigkeit haben.

#Generative Bewertung

In diesem Teil werden die LLMs beauftragt, ein CoT basierend auf einer Frage zu erstellen. Wir überprüfen dann, ob der generierte Denkpfad gültig ist, indem wir ihn mit KGs vergleichen. Das hilft uns, die Kohärenz und die faktische Richtigkeit ihrer Überlegungen zu bewerten.

#Experimente und Ergebnisse

#Experimentelle Einrichtung

Experimente wurden mit zwei Datensätzen durchgeführt, die mehrstufiges Denken erfordern: Complex WebQuestions (CWQ) und GrailQA. Es wurden mehrere LLMs getestet, die in der Grösse von kleineren Modellen bis hin zu grösseren Modellen variieren.

#Wichtige Ergebnisse

1. Denkwissen: Die Ergebnisse zeigen, dass LLMs in der Lage sind zu denken, aber oft keine gültigen oder kohärenten Denkpfade bereitstellen.

2. Diskrepanz in der Leistung: Es gibt eine bemerkenswerte Lücke zwischen der Genauigkeit der Antworten und der Treue der Denkschritte. Selbst wenn LLMs die richtige Antwort geben, können die Schritte, die sie unternommen haben, falsch sein.

3. Einfluss der Modellgrösse: Mit wachsenden LLMs nimmt sowohl die Genauigkeit der Antworten als auch die Kluft zwischen der Genauigkeit der Antworten und dem Denken zu. Das deutet darauf hin, dass grössere Modelle eher auf ihr Wissen als auf logisches Denken angewiesen sind.

4. Verbesserte Prompting-Strategien: Die Verwendung besserer Aufforderungsmethoden kann sowohl die Antwortgenauigkeit als auch die Kohärenz des Denkens verbessern, aber die Kluft zwischen ihnen bleibt.

#Fehleranalyse

Fehler im Denken können grösstenteils in drei Typen unterteilt werden:

• Faktische Fehler: Diese treten auf, wenn die Informationen im Denkpfad falsch sind.
• Kohärenzfehler: Diese passieren, wenn die Denkschritte nicht logisch aufeinander folgen.
• Antwortfehler: Diese sind Fälle, in denen die endgültige Antwort nicht zur Frage passt, obwohl ein kohärenter Denkpfad vorhanden ist.

#Fazit

Diese Studie hebt die Bedeutung hervor, sowohl die endgültigen Antworten, die von LLMs bereitgestellt werden, als auch die Denkprozesse, die sie verwenden, zu bewerten. Durch die Verwendung von KGs zur Verankerung der Denkpfade können wir Einblicke in die Stärken und Schwächen der Denkfähigkeiten von LLMs gewinnen. Zukünftig wird es wichtig sein, die Diskrepanzen zwischen korrekten Antworten und dem Denken zu adressieren, um die Denkfähigkeiten der LLMs zu verbessern.

#Zukünftige Arbeiten

Um dieses Bewertungsrahmenwerk zu verbessern, könnte zukünftige Forschung darauf abzielen, die Definition von Denkpfaden zu erweitern und Methoden zu entwickeln, um Lücken in KGs zu schliessen. Darüber hinaus könnte das Erforschen mehrerer Denkpfade für eine einzelne Frage nuanciertere Einblicke in die Denkfähigkeiten von LLMs liefern.

#Danksagungen

Die Autoren möchten den Instituten und Kollegen danken, die zur Forschung und Entwicklung dieses Bewertungsrahmenwerks beigetragen haben. Ihre Einsichten und die Zusammenarbeit haben die Qualität dieser Arbeit erheblich verbessert.

#Literaturverzeichnis

• Weiterführende Literatur und Arbeiten, die diese Studie informiert haben, können in akademischen Zeitschriften und Konferenzen zu KI und Sprachmodellforschung erkundet werden.

#Anhang

Detaillierte Methoden, zusätzliche experimentelle Ergebnisse und verschiedene Aufforderungen, die in den Bewertungen verwendet wurden, sind im Anhang zu finden und bieten weiteren Kontext zu den Ergebnissen der Studie.