Herausforderungen von retrieval-augmentierten Sprachmodellen

In den letzten Jahren gab's viel Interesse an speziellen Sprachmodellen, die die Standard-Wortvorhersage mit externen Informationsquellen kombinieren. Diese Modelle nennt man retrieval-augmented language models. Sie sagen das nächste Wort voraus, basierend darauf, was das Modell aus dem Training gelernt hat und Informationen aus einer Textdatenbank. Eine gängige Methode, um diese Vorhersagen zu verbessern, nennt man Interpolation, die die eigenen Vorhersagen des Modells mit denen aus der Datenbank mischt.

Trotz der vielversprechenden Möglichkeiten dieser Modelle und wie sie Verwirrung bei den Vorhersagen reduzieren können, haben neueste Studien gezeigt, dass sie die generative Textproduktion nicht signifikant verbessern. Offene Generierung bedeutet, Texte zu erstellen, die nicht nur Lücken füllen, sondern eine kohärente und sinnvolle Fortsetzung basierend auf einer Ausgangsphrase erzeugen. Diese Art von Aufgabe ist komplexer, als nur das nächste Wort zu füllen und erfordert ein starkes Verständnis von Kontext und Kohärenz über längere Textsequenzen hinweg.

#Was Wir Gemacht Haben

Wir haben die Leistung von zwei spezifischen Interpolations-basierten retrieval-augmented Sprachmodellen untersucht und sie mit traditionellen Modellen verglichen, die keinen Zugang zu externen Datenbanken haben. Der Fokus lag darauf, zu verstehen, warum diese neuen Modelle trotz niedrigerer Verwirrungswerte (bekannt als Perplexität) nicht besser bei der Erzeugung von sinnvollem Text abschnitten.

Unsere Forschung beinhaltete die Erstellung einer Reihe von Aufforderungen aus einem bekannten Textdatensatz und liess die Modelle Fortsetzungen generieren. Dann haben wir diese Ausgaben mit automatischen Messwerkzeugen und menschlichen Gutachtern bewertet, um zu sehen, welcher Text von höherer Qualität war.

#Ergebnisse

#Keine Verbesserung in der Qualität

Die Hauptfeststellung unserer Forschung ist, dass die neuen Modelle zwar die Perplexitätswerte senken, aber keine signifikante Verbesserung in der Qualität des erzeugten Texts bringen. Automatische Werkzeuge zur Messung der Textgenerationsqualität zeigten, dass diese Modelle die traditionellen Baseline-Modelle nicht übertrafen. Tatsächlich produzierten die traditionellen Modelle manchmal qualitativ besseren Text.

Auch menschliche Bewertungen stützten diese Schlussfolgerung. Als Gutachter den von den neuen Modellen erzeugten Text mit dem der traditionellen Modelle verglichen, hatten sie Schwierigkeiten, einen klaren Gewinner auszuwählen. Meistens bevorzugten sie den von den traditionellen Modellen erzeugten Text.

#Warum Haben Sie Nicht Funktioniert?

Wir haben tiefer gegraben, um die Gründe für dieses Fehlen an Verbesserung herauszufinden. Zwei wichtige Probleme traten zutage:

1. Begrenzte Vorteile für Token-Vorhersagen: Obwohl die neuen Modelle die Gesamtperplexität verringerten, verbesserten sie die Vorhersagen nur für eine kleine Anzahl von Tokens. Tatsächlich wurden die meisten Tokens weniger effektiv vorhergesagt, als die neuen Modelle eingesetzt wurden. Die Verbesserungen in der Perplexität kamen nur durch ein paar Wörter, die genauer vorhergesagt wurden. Bei der Erstellung längerer Sequenzen wurde dieser kleine Vorteil durch schlechtere Vorhersagen für die Mehrheit der Tokens überschattet.

2. Verschlechterung der Retrieval-Qualität: Während der Text sequentiell generiert wird, nimmt die Qualität der aus der Datenbank abgerufenen Informationen ab. Das geschah, weil das Modell sich auf seinen eigenen erzeugten Text als Abfragen für zusätzliche Informationen stützen musste. Wenn der erzeugte Text Fehler enthielt oder nicht kohärent war, wurde auch die abgerufene Information weniger zuverlässig. Das Modell wurde essentially weniger selbstsicher und weniger genau, je mehr Text es erzeugte.

#Bewertungen und Methoden

Um diese Modelle zu bewerten, haben wir mehrere Ansätze genutzt:

• Automatische Bewertungsmetriken: Metriken wie MAUVE, die misst, wie gut der erzeugte Text mit Referenztextverteilungen übereinstimmt, und Perplexität von leistungsstarken Sprachmodellen, halfen uns, die Qualität des erzeugten Texts zu analysieren.

• Menschliche Bewertung: Wir haben uns auf erfahrene Gutachter verlassen, die die von beiden Modelltypen erzeugten Texte überprüften. Sie bewerteten Dinge wie Grammatik, Flüssigkeit und logische Konsistenz und gaben direktes Feedback, welche Texte kohärenter und besser formuliert waren.

#Ergebnisse der Bewertungen

Durch automatische Bewertungen war klar, dass die Nutzung der neuen Modelle oft nicht zu besseren Ausgaben führte. Die verschiedenen angewandten Metriken deuteten darauf hin, dass die traditionellen Modelle eine höhere Qualität aufrechterhielten.

In den menschlichen Bewertungen neigte die Präferenz eher zu den traditionellen Modellen als zu den neuen. Gutachter gaben an, dass sie den Text der traditionellen Modelle kohärenter und leichter nachvollziehbar fanden, während die Texte der neueren Modelle oft unzusammenhängend oder repetitiv wirkten.

#Fazit

Unsere Studie hebt wichtige Mängel im aktuellen Ansatz zur Integration von Retrieval in Sprachmodelle für die Textgenerierung hervor. Das zugrunde liegende Problem scheint zu sein, dass, obwohl die neuen Modelle eine niedrigere Perplexität erreichen können, dies nicht in eine verbesserte Textgenerationsqualität umschlägt. Die Retrieval-Methoden könnten in bestimmten Kontexten einige Vorteile bieten, könnten aber auch Komplikationen einführen, die die Gesamtqualität der Ausgabe beeinträchtigen.

Wir glauben, dass unsere Ergebnisse zu bedeutenden Fortschritten bei der Gestaltung von Sprachmodellen führen können. Künftige Arbeiten könnten sich darauf konzentrieren, wie Retrieval in den Generationsprozess integriert wird, um sicherzustellen, dass es die Flüssigkeit und Kohärenz des erzeugten Textes verbessert, anstatt sie zu behindern. Indem wir diese Probleme angehen, können wir darauf hinarbeiten, Modelle zu schaffen, die wirklich sowohl die Vorhersagekraft als auch externe Informationen nutzen, um qualitativ hochwertigen Text effizient zu produzieren.

Weitere Forschung ist notwendig, um die Faktoren zu erkunden, die diese Modelle beeinflussen, und um Wege zu finden, ihre Stärken zu nutzen und gleichzeitig die Schwächen anzugehen, die unsere Analyse aufgedeckt hat.