Selbstkonsistenz in Langzeit-Kontext-Sprachmodellen

Selbstkonsistenz (SK) ist ein Weg, um grosse Sprachmodelle (LLMs) bei Aufgaben mit kurzen Texten besser arbeiten zu lassen. Aber was ist, wenn der Text lang ist? Diese Studie untersucht, ob SK helfen kann, wenn LLMs lange Informationsstücke verstehen müssen.

LLMs sind normalerweise ganz gut darin, kurze Eingaben zu handhaben. Dennoch machen sie oft Fehler bei langen Texten, vor allem wegen etwas, das man Positionsbias nennt. Das bedeutet, dass die Position, an der Informationen im Text stehen, ernsthaft beeinflussen kann, wie gut das Modell diese Informationen nutzen kann. Wir haben SK in diesen langen Kontexten getestet und viele Faktoren untersucht, wie verschiedene Modelle, wie lang der Kontext ist, wie wir Fragen stellen und welche Arten von Aufgaben involviert sind.

Unsere Ergebnisse zeigen, dass SK bei Aufgaben mit langen Kontexten nicht wirklich viel hilft. Tatsächlich kann es die Dinge sogar schlimmer machen! Wir haben auch festgestellt, dass wie gut SK funktioniert, von der Länge des Kontexts und der Grösse des Modells abhängt, aber es ändert sich nicht viel, je nachdem, wie wir unsere Eingaben formulieren oder welche Art von Aufgabe wir machen.

#Die Herausforderung langer Kontexte

LLMs haben gezeigt, dass sie durch Eingaben verschiedene Aufgaben erledigen können, aber sie haben auch Probleme. Einige Studien zeigen sogar, dass LLMs katastrophal scheitern können, wenn sie mit einfachen Aufgaben konfrontiert werden, die Menschen ohne Nachdenken lösen. Um mit diesen Herausforderungen umzugehen, wurde SK als Möglichkeit vorgeschlagen, um die Antworten durch das Mittelwerten mehrerer Antworten zu verbessern. Die meisten Forschungen haben sich auf kürzere Aufgaben konzentriert, daher ist es super wichtig zu sehen, wie SK bei längeren Texten funktioniert.

Stell dir das so vor: SK bei einer langen Kontextaufgabe ist wie die Suche nach einer Nadel im Heuhaufen. Du hast eine Frage, eine Menge Dokumente, und eines dieser Dokumente enthält die Antwort. SK erstellt mehrere Anfangsantworten und kombiniert sie dann, um die beste zu finden.

Dieses Papier untersucht, ob SK helfen kann, die Probleme, die in langen Kontexten auftreten, zu beheben. Frühere Studien haben darauf hingewiesen, dass LLMs oft eine Positionsbias in langen Aufgaben zeigen. Das bedeutet, sie nutzen die Informationen nicht wirklich effektiv, je nachdem, wo sie im Text stehen.

#Forschungsfragen

Wir waren an ein paar Dingen interessiert:

• Kann SK die Gesamtleistung bei Aufgaben mit langen Kontexten verbessern?
• Wie geht SK mit Positionsbias um?
• Ist SK konsistent, wenn wir die Modellgrössen, Aufgabentypen oder unsere Einrichtung ändern?

Um diese Fragen zu beantworten, haben wir zwei Datensätze verwendet: NaturalQuestions und QuALITY. Diese wurden aufgrund ihrer Anwendbarkeit in der realen Welt ausgewählt. Wir haben auch verschiedene Designfaktoren betrachtet, einschliesslich der Arten von Aufgaben, verschiedenen Modellen, wie wir unsere Fragen formulieren und wie lang die Kontexte waren.

#Was wir über Selbstkonsistenz gefunden haben

Wir haben festgestellt, dass SK die Leistung nicht wirklich verbessert. Es hilft auch nicht beim Positionsbias und kann die Dinge sogar verschlimmern. Zum Beispiel schneiden einige Modelle besser ab, wenn entscheidende Beweise am Anfang oder Ende des Textes stehen, während andere unabhängig davon, wo die wichtigen Informationen platziert sind, eine schlechtere Leistung zeigen.

Wir haben auch verschiedene Konfigurationen wie Modellgrössen und Formulierungen ausprobiert, aber keine wesentlichen Änderungen in unseren Ergebnissen festgestellt. Grössere Modelle hatten einen leichten Vorteil in der Leistung, sahen aber keine grossen Verbesserungen durch SK.

#Selbstkonsistenz und lange Kontexte

SK soll LLMs helfen, besser abzuschneiden, indem Antworten gemittelt werden, aber wir haben festgestellt, dass es bei langen Kontexten fehlt. Tatsächlich könnte es das Problem des Positionsbias noch verschlimmern. Unsere Tests haben gezeigt, dass die Position relevanter Informationen einen riesigen Unterschied macht: Modelle schneiden am besten ab, wenn die wichtigen Details am Anfang oder Ende des Textes stehen und nicht in der Mitte.

Bei Textabfrageaufgaben sinkt die Leistung erheblich, je weiter die relevanten Informationen im Kontext liegen. Das bedeutet, dass SK diese Probleme nicht anspricht und stattdessen die Leistung verschlechtern kann, insbesondere bei grösseren Modellen.

#Der Einfluss der Modellgrösse und der Eingabeaufforderung

Wir haben untersucht, ob grössere Modelle mit SK besser abschneiden, und während sie insgesamt dazu neigen, besser abzuschneiden, können sie den Positionsbias dennoch nicht überwinden. Ausserdem haben wir überprüft, wie sich Änderungen in der Fragestellung auf die Leistung auswirken könnten. Einige Formulierungen halfen ein wenig, aber nichts löste das grössere Problem des Positionsbias.

Als wir mit den Parametern zur Selbstkonsistenz spielten, wie der Anzahl der generierten Antworten oder der Temperatursettings, haben wir festgestellt, dass die Erhöhung der Anzahl von Versuchen in einigen Bereichen generell half, aber in anderen schadete. Die Temperatur hatte keinen grossen Einfluss, es sei denn, sie wurde wirklich hoch eingestellt, was Probleme verursachte.

#Ausblick

Unsere Forschung deutet darauf hin, dass SK nicht bei den Problemen hilft, die bei der Verarbeitung langer Texte auftreten. Während es bei kurzen Kontexten funktioniert, versagt es dramatisch, wenn der Text länger ist. Die Probleme sind wahrscheinlich im Design der Modelle verankert.

Was bedeutet das alles? Zuerst müssen wir möglicherweise unsere Denkweise über Aufgaben mit langen Kontexten ändern und nach besseren Möglichkeiten suchen, Modelle zu entwerfen, die berücksichtigen, wie die Position die Gesamtleistung beeinflusst. Zweitens könnte SK nicht die Antwort für längere Aufgaben sein; stattdessen müssen wir nach Lösungen suchen, die den Positionsbias während der Trainingsphase des Modells angehen.

Zusammenfassend zeigt unsere Studie, dass SK die Leistung bei Aufgaben mit langen Kontexten nicht verbessert. Dies unterstreicht die Notwendigkeit tieferer Veränderungen in der Art und Weise, wie wir grosse Sprachmodelle für lange Kontexte bauen und trainieren. Es ist eine Erinnerung daran, dass das, was für kurze Texte funktioniert, möglicherweise bei längeren nicht ausreicht.

#Danksagungen

Wir möchten denjenigen danken, die uns bei Diskussionen unterstützt und unsere Experimente gefördert haben.

#Einschränkungen der Studie

Obwohl wir reale Datensätze für unsere Tests verwendet haben, erfassen sie möglicherweise nicht alle Aspekte der Nutzung langer Kontexte, insbesondere in Gesprächen. Ausserdem hatten unsere Experimente eine Begrenzung der Anzahl der Proben für SK aufgrund praktischer Einschränkungen. Zu viele Proben zu generieren kann ineffizient sein, und unsere Tests haben gezeigt, dass es einen Punkt der abnehmenden Erträge gibt.

Schliesslich erfordern erfolgreiche Anwendungen von SK oft, dass auch über die Begründung der Antworten Einigkeit besteht, insbesondere bei Aufgaben, die etwas Nachdenken erfordern. Da wir uns auf Fragen mit langen Kontexten konzentriert haben, haben wir diesen Aspekt nicht vertieft, aber es könnte sich lohnen, das in zukünftigen Forschungen zu erkunden.

Diese Arbeit dient als Ausgangspunkt für weitere Forschungen zu Selbstkonsistenz und Aufgaben mit langen Kontexten und bietet Einblicke in die Herausforderungen, die in diesen Szenarien bestehen. Es ist ein Aufruf, über den Tellerrand hinauszudenken und bessere Ansätze für das Verständnis von langen Texten mit LLMs zu fördern.