Dartboard: Eine neue Methode zur Informationsbeschaffung in Sprachmodellen

Retrieval augmented generation (RAG) ist ein Weg, um grossen Sprachmodellen (LLMs) zu helfen, mehr Infos zu nutzen, indem passende Texte aus einem grösseren Speicher geholt werden. So kann das Modell bessere Antworten geben, indem es spezifische Passagen nutzt, die mit einer Frage verbunden sind. Das Problem ist jedoch, dass das LLM nur eine begrenzte Anzahl an Tokens speichern kann, normalerweise ein paar Tausend. Das bedeutet, dass es beim Abrufen von Informationen wichtig ist, keinen wertvollen Platz mit sich wiederholendem oder unnötigem Inhalt zu belegen.

Um dieses Problem zu umgehen, ist es wichtig, sich auf die Abrufung von vielfältigen und relevanten Informationen zu konzentrieren. Viele aktuelle Ansätze, wie die Maximal Marginal Relevance (MMR), versuchen, Relevanz und Vielfalt in Einklang zu bringen. Das erfordert häufig eine spezielle Methode zur Steuerung dieses Gleichgewichts, was knifflig sein kann.

Wir stellen eine neue Methode namens Dartboard vor. Dieser Ansatz konzentriert sich darauf, wie viel relevante Informationen eine Gruppe abgerufener Passagen für eine gegebene Frage hat. Indem wir den gesamten Informationsgewinn betrachten, fördert unsere Methode natürlicherweise die Vielfalt bei der Auswahl der Ergebnisse, ohne die Vielfalt direkt managen zu müssen.

Wenn Dartboard die Abrufkomponente in einem RAG-System ersetzt, zeigt es eine Top-Leistung bei Fragenbeantwortungsaufgaben und übertrifft andere Systeme, die Relevanz und Vielfalt ausbalancieren.

#Die Bedeutung von Gedächtnis in Sprachmodellen

Eine grosse Herausforderung für transformer-basierte LLMs ist die Begrenzung der Anzahl an Tokens, die sie verarbeiten können. Diese Einschränkung reicht oft nicht aus, wenn man mit grossen Texten arbeiten will, wie Büchern oder verschiedenen Unternehmensdokumenten. Eine gängige Lösung ist die retrieval augmented generation, bei der nur eine kleine Anzahl relevanter Passagen aus einer grossen Datenbank gezogen und in den Kontext des LLM eingefügt wird.

Typischerweise nutzt dieser Abrufprozess eine Ähnlichkeitsmetrik, um Passagen zu finden, die am besten zu einer bestimmten Frage passen. Systeme verwenden oft Methoden wie K-nearest neighbors, bei denen schnell die nächsten Übereinstimmungen basierend auf vorab berechneten Ähnlichkeiten, wie der Kosinusähnlichkeit, gefunden werden.

Ein grosses Problem mit Methoden wie K-nearest neighbors ist, dass sie nur nach den relevantesten Passagen aufgrund ihrer eigenen Verdienste suchen, was zu Redundanz führen kann. Da das Kontextfenster begrenzt ist, ist es wichtig, diesen Platz gut zu nutzen, indem unnötige wiederholte Informationen reduziert werden, während man dennoch relevant bleibt.

#Redundanz vermeiden

Um zu verdeutlichen, warum es wichtig ist, Redundanz in einem RAG-Kontext zu vermeiden, betrachten wir ein einfaches Beispiel mit Fakten über Haie. Wenn man nach Fakten über Haie fragt, könnte man zwei verschiedene Antwortsätze bekommen. Während beide Sätze relevant sind, ist einer vielfältiger und bietet ein besseres Gesamtverständnis.

Verschiedene Methoden aus dem Bereich der Informationsbeschaffung befassen sich mit der Notwendigkeit, eine Mischung aus relevanten und vielfältigen Ergebnissen zu finden. Doch viele dieser Ansätze erledigen das durch komplexe Balanceakte zwischen Relevanz und Neuheit, was umständlich sein kann.

Mit Dartboard konzentrieren wir uns darauf, direkt zu maximieren, wie viel relevante Informationen für eine Anfrage in einem Ergebnisbaum gefunden werden können. Die Idee ist einfach: Wenn eine Frage gestellt wird, wird ein Informationsstück als die "richtige" Antwort betrachtet. Unser System versucht dann, die beste Antwort zu erraten, und das Ziel ist es, die Relevanzbewertung der besten Vermutung zu maximieren. Die Natur dieses Ansatzes fördert Vielfalt, da doppelte Informationen nicht helfen, die Chancen auf die richtige Information zu verbessern.

#Die Dartboard-Methode

Dartboard funktioniert nach einem einfachen Prinzip. Stell dir ein Spiel vor, bei dem ein Spieler einen Dart auf ein Ziel wirft, und der Punkt, an dem der Dart landet, repräsentiert die Anfrage. Der zweite Spieler versucht dann, basierend darauf, wo der Dart gelandet ist, Vermutungen anzustellen, ohne das tatsächliche Ziel zu kennen. Das Ziel ist es, die Distanz vom Punkt des Dartboards zu seinen Vermutungen zu minimieren.

In praktischen Begriffen bewertet Dartboard Passagen basierend auf ihrer Relevanz durch einen Ähnlichkeitscheck. Mit einem einfachen gierigen Ansatz erstellt es eine Ergebnisliste, die nicht nur relevant ist, sondern auch Redundanz reduziert.

Wir haben Dartboard in verschiedenen Datensätzen getestet, die sowohl einfache als auch komplexe Fragenbeantwortungsszenarien einbeziehen. Im einfachen Fall kann eine Passage eine Antwort liefern. Für kompliziertere Fragen sind mehrere Informationsstücke nötig, um eine vollständige Antwort zu bilden. Unsere Bewertung konzentriert sich darauf, wie gut Dartboard relevante Passagen abruft.

#Ergebnisse und Effektivität

Unsere Ergebnisse zeigen, dass Dartboard bestehende Methoden sowohl beim Abrufen von Passagen als auch bei der Qualität der Antworten übertroffen hat. Diese Verbesserung ist bei allen Fragen in den Tests sichtbar.

Wichtig ist, dass andere Methoden manuelle Anpassungen benötigen, um Relevanz und Vielfalt auszubalancieren, während Dartboard die Vielfalt natürlich entstehen lässt, während es auf den Gewinn relevanter Informationen optimiert. Als wir die Vielfalt massten, stellten wir fest, dass durch die Anpassung bestimmter Parameter die Vielfalt der abgerufenen Passagen natürlicherweise zunahm.

Die Stärke von Dartboard wird im Vergleich zu älteren Methoden deutlich. Während MMR direkt Vielfalt fördert, erreicht Dartboard dies durch seinen grundlegenden Ansatz. Zum Beispiel kann MMR dazu führen, dass dasselbe Informationsstück mehrfach ausgewählt wird, was zu Redundanz führt. Dartboard vermeidet dies, indem es sicherstellt, dass jede ausgewählte Passage die Chancen auf die richtige Antwort erhöht.

#Methoden vergleichen

Dartboard hat Variationen, wie es das Abrufen durchführt. Zum Beispiel verwendet eine Version die Kosinusähnlichkeit zur Bewertung, während eine andere einen Cross-Encoder für bessere Genauigkeit einbezieht. Es gibt auch eine hybride Version, die beide Methoden nutzt.

Andere gängige Methoden, mit denen wir Dartboard verglichen haben, umfassen Variationen von K-nearest neighbors und Maximal Marginal Relevance. In jedem Fall zeigte Dartboard eine überlegene Leistung sowohl beim Abrufen als auch bei der allgemeinen Effektivität der Antwortgenerierung.

Die traditionellen Methoden haben immer noch ihren Platz, bringen jedoch oft Herausforderungen wie Parameteranpassungen und Redundanz mit sich. Dartboard umgeht diese Probleme, indem es sich auf relevante Informationen konzentriert, ohne komplexe Anpassungen zu benötigen.

#Einschränkungen und zukünftige Arbeiten

Obwohl Dartboard starke Ergebnisse gezeigt hat, gibt es immer noch Einschränkungen. Zum Beispiel benötigt es einen Hyperparameter, der steuert, wie viel Vielfalt gefördert wird. Während es in verschiedenen Einstellungen effektiv bleibt, wäre es ideal, eine Methode zu haben, die dies automatisch basierend auf dem Kontext der Frage anpasst.

Für zukünftige Verbesserungen möchten wir verfeinern, wie Dartboard auf verschiedene Arten von Anfragen angewendet wird. Fragen, die nach breiten Informationen verlangen, sollten eine grössere Bandbreite an Ergebnissen erhalten im Vergleich zu denen, die spezifische Details benötigen.

Ausserdem erkennen wir an, dass die derzeitigen Bewertungsmethoden von Verbesserungen profitieren könnten. Derzeit konzentriert sich die Bewertung auf exakte Übereinstimmungen von Zeichenfolgen, was zu streng sein kann. Wenn wir die Art und Weise erweitern, wie Antworten beurteilt werden, könnten wir ein breiteres Spektrum an korrekten Antworten erfassen.

Zusammenfassend ist Dartboard ein bedeutender Fortschritt zur Optimierung von Abrufprozessen innerhalb von RAG-Systemen. Unser Ansatz verbessert, wie relevante Informationen abgerufen werden, und ebnet den Weg für zukünftige Fortschritte in diesem Bereich.