Untersuchung von Schlussfolgerungen in grossen Sprachmodellen

Grosse Sprachmodelle, oder LLMs, können komplexe Probleme angehen, die mehrere Schritte zur Lösung benötigen. Allerdings weiss man nicht viel darüber, wie diese Modelle diese Probleme intern lösen. Dieser Artikel wirft einen genaueren Blick darauf, wie LLMs auf Mehrschrittfragen reagieren, wie z.B. "Der Ehepartner des Interpreten von Imagine ist." Um diese Art von Frage zu beantworten, muss man in zwei Schritten Informationen extrahieren. Zuerst muss das Modell herausfinden, wer der Interpret des Songs "Imagine" ist, und das ist John Lennon. Dann muss es herausfinden, wer John Lennons Ehepartner ist, und das ist Yoko Ono.

Zu verstehen, wie LLMs diese Schritte ausführen, ist wichtig, um zu begreifen, wie sie Antworten berechnen. Wir untersuchen die inneren Abläufe dieser Modelle und stellen fest, dass die Identifizierung der ersten Entität in den frühen Schichten des Modells erfolgt. Sobald die erste Entität geklärt ist, geht das Modell zur Lösung des zweiten Teils der Anfrage in späteren Schichten über.

Die Herausforderung besteht darin, dass, wenn der zweite Teil in diesen späteren Schichten verarbeitet wird, es Situationen geben kann, in denen die für die Antwort benötigten Informationen nicht mehr verfügbar sind. Um dieses Problem zu lösen, führen wir eine neue Methode ein, die wir "Back-Patching" nennen. Diese Methode ermöglicht es uns, Informationen aus einer späteren Schicht zu nehmen und sie in einer früheren wieder zu verwenden. Unsere Ergebnisse zeigen, dass in fast 57 % der Fälle, die zuvor falsch waren, die Verwendung von Back-Patching zur richtigen Antwort führte, was darauf hindeutet, dass die späteren Schichten manchmal die notwendigen Informationen fehlen.

Um unsere Ergebnisse zu veranschaulichen, stellen wir fest, dass in einer Zwei-Schritt-Anfrage der erste Schritt früh im Modell gelöst wird. Die Informationen über die Brückeneinheit, in diesem Fall John Lennon, werden für den nächsten Schritt mitgenommen, in dem das Modell den zweiten Teil der Anfrage löst, indem es Yoko Ono als Ehepartner identifiziert. Back-Patching ermöglicht es uns, Informationen, die in späteren Schichten kodiert sind, wieder in früheren Schichten einzuführen und so Fälle zu beheben, in denen die Lösung fehlschlägt.

Trotz beeindruckender Leistungen bei vielen Aufgaben haben LLMs immer noch Schwierigkeiten mit komplexen Wissensanfragen. Zum Beispiel machen sie oft Fehler bei Mehrschrittfragen wie "Der Ehepartner des Interpreten von Imagine ist." Auf diese Anfragen zu antworten, erfordert starke Kompositions- und Denkfähigkeiten, die in der jüngsten Forschung im Fokus standen. Zu verstehen, wie LLMs mit diesen Mehrschrittanfragen umgehen, hat wichtige Auswirkungen auf die Verbesserung ihrer Fähigkeit, zu verallgemeinern und sich anzupassen.

Um die Denkfähigkeit von LLMs zu verbessern, müssen wir zuerst verstehen, wie sie Zwei-Schritt-Anfragen abschliessen. Während einige frühere Forschungen dies untersucht haben, wurde ein klarer Weg für das Denken nur in kleineren Modellen gefunden, die auf synthetischen Daten trainiert wurden. In unserer Studie konzentrieren wir uns auf den Vergleich von zwei Situationen: einer, in der das Modell korrekt antwortet, und einer, in der es das nicht tut.

Für unsere Forschung haben wir einen Datensatz mit 82.020 Zwei-Schritt-Anfragen erstellt, basierend auf Daten von Wikidata. Diese Anfragen nehmen Fakten an, die als Tripel definiert sind, wobei eines die Quelleinheit (wie John Lennon) ist, das zweite die Relation (wie Ehepartner) und das dritte die Zieleinheit (wie Yoko Ono). Wir wandeln diese Tripel in Anfragen um, auf die die Modelle antworten können.

Wir erstellen Zwei-Schritt-Anfragen, indem wir zwei Fakten kombinieren. Die Zieleinheit eines Fakts wird zur Quelleinheit des nächsten. Zum Beispiel kann die Zwei-Schritt-Anfrage "Der Ehepartner des Interpreten von Imagine ist" in zwei Teile zerlegt werden: (Imagine, Interpret, John Lennon) und (John Lennon, Ehepartner, Yoko Ono).

Wir haben zwei spezifische Tokens von Interesse in diesem Prozess: das letzte Token des ersten Schritts und das letzte Token der gesamten Anfrage. Wir filtern Fälle heraus, in denen kein Denken stattfindet. Für jede Zwei-Schritt-Anfrage erstellen wir zwei Eingabeaufforderungen, die darauf abzielen, Denkabkürzungen zu erkennen. Die erste Eingabeaufforderung ist die Anfrage ohne die Antwort. Die zweite Eingabeaufforderung ist die Anfrage, die die Brückeneinheit fehlt. Diese Filterung hilft uns, Fälle zu identifizieren, in denen das Modell basierend auf populären Optionen oder aufgrund starker Korrelationen vorhersagt.

Wir wollen speziell die Unterschiede verstehen, zwischen den Fällen, in denen das Modell die Zwei-Schritt-Anfrage korrekt abschliesst, und denen, in denen es fehlschlägt. Wir haben zwei Datensubsets: eines, in dem das Modell sowohl die Zwei-Schritt-Anfrage als auch den ersten Schritt korrekt beantwortet, und ein anderes, in dem es beide Teile isoliert beantwortet, aber bei der gesamten Anfrage scheitert.

Für unsere Experimente untersuchen wir verschiedene Grössen von LLaMA-Modellen: LLaMA 2 mit 7B und 13B Parametern sowie LLaMA 3 mit 8B und 70B Parametern. Die kleineren Modelle haben im Vergleich zu den grösseren weniger Schichten.

Um herauszufinden, wo das Modell den ersten Schritt löst, verwenden wir eine Methode namens Patchscopes. Wir haben festgestellt, dass das Modell den ersten Schritt in den frühen Schichten löst und die genaue Position im Verarbeitungsprozess des Modells festlegt. Ausserdem haben wir herausgefunden, dass wichtige Informationen über die Brückeneinheit bis zur finalen Antwort in der letzten Position der Anfrage übermittelt werden müssen.

Die Verwendung von Patchscopes erlaubt es uns, versteckte Repräsentationen während der Verarbeitung von Zwei-Schritt-Anfragen zu analysieren. Wir zeichnen die versteckte Repräsentation des Quelltokens in einer Quellschicht auf und ersetzen diese später durch dieselbe Repräsentation in einer Zielschicht während des Vorwärtsdurchgangs des Modells. Das Ziel ist es, eine Fortsetzung zu erzeugen, die die kodierte Einheit aus der versteckten Repräsentation offenbart und uns Einblicke gibt, wie gut das Modell Informationen extrahiert.

Die Ergebnisse zeigen, dass eine erhebliche Anzahl von Fällen erfolgreich die Brückeneinheit aus der versteckten Repräsentation entschlüsseln konnte, insbesondere in den frühen Schichten. Dies deutet darauf hin, dass das notwendige Wissen oft in diesen frühen Verarbeitungsphasen zu finden ist.

Wir beobachten auch, dass der zweite Schritt nach dem ersten auftritt, hauptsächlich an der letzten Position der Anfrage. Durch die Analyse des Informationsflusses sehen wir, dass der erste Schritt mit der Antwort gelöst wird, die dann verwendet wird, um den zweiten Schritt zu beantworten.

Bei dem zweiten Schritt erfolgen die Vorhersagen in den oberen Schichten des Modells. Die Aktualisierungen, die von den Attention- und MLP-Subschichten des Modells vorgenommen werden, sind entscheidend, um diese Vorhersagen zu erstellen. Unsere Experimente zeigen, dass die MLP-Subschichten eine bedeutende Rolle bei der Vorhersage der Antwort spielen, während auch die Attention-Subschichten zu diesem Prozess beitragen.

Als nächstes konzentrieren wir uns auf den Vergleich zwischen richtigen und falschen Fällen. Wir stellen konsequent fest, dass in falschen Fällen die Lösung in höheren Schichten erfolgt als bei korrekten Antworten. Dieser Unterschied deutet darauf hin, dass es wichtig ist, wie früh der erste Schritt gelöst wird, um Mehrschrittanfragen erfolgreich zu beantworten.

Um unsere Hypothese zu bestätigen, testen wir das Back-Patching weiter. Die Grundidee ist, dass, wenn die Auflösung des ersten Schrittes in Schichten erfolgt, die nicht genügend Informationen zur Verfügung stellen, um den zweiten Schritt zu lösen, wir Leistungsverbesserungen beobachten sollten, wenn wir back-patchen.

Unsere Ergebnisse zeigen, dass die Verwendung von Back-Patching zu einer erheblichen Verbesserung bei der Beantwortung zuvor falscher Anfragen führt. Die richtige Auswahl der Schichten, die in diesem Prozess verwendet werden sollen, ist wichtig und weist auf eine potenzielle Einschränkung innerhalb der Transformer-Architektur hin. Diese Einschränkung kann von der Art und Weise herrühren, wie das Modell Informationen über die Schichten hinweg verarbeitet und extrahiert.

Zusammenfassend zeigt unsere Forschung, dass LLMs einen spezifischen Weg für das Denken haben. Unsere Analyse zeigt, dass der erste Schritt in den unteren Schichten gelöst wird, während der zweite Schritt in den mittleren bis oberen Schichten beantwortet wird. Unsere Arbeit beleuchtet die Probleme, mit denen LLMs bei Mehrschrittanfragen konfrontiert sind, und offenbart ein entscheidendes Gebiet für die zukünftige Entwicklung zur Verbesserung ihrer Denkfähigkeiten.

Während unsere Studie sich auf Zwei-Schritt-Anfragen konzentriert, glauben wir, dass ähnliche Methoden und Schlussfolgerungen auch auf Anfragen mit mehr Schritten anwendbar sein könnten. Allerdings ist in diesem Bereich weitere Erforschung erforderlich. Ausserdem, während Back-Patching Potenzial zur Verbesserung zeigt, ist es noch kein praktisches Werkzeug für die Inferenz, da nicht alle Back-Patching-Versuche zu korrekten Antworten führen.

Dieser Artikel zeigt den Bedarf an einem besseren Verständnis davon, wie LLMs arbeiten, und identifiziert Möglichkeiten zur Verbesserung ihrer Denkfähigkeiten bei komplexen Fragen. Durch die weitere Erforschung dieser Wege können wir die Fähigkeiten von Modellen wie LLMs verbessern, was letztendlich zu einer besseren Leistung bei verschiedenen Aufgaben und Anfragen führt.