KI an eine sich verändernde Wissenslandschaft anpassen

In unserer Welt bleibt Information nicht lange gleich. Sie ändert sich, wächst und wird regelmässig aktualisiert. Das ist ein Problem für Systeme, die auf bestehendem Wissen basieren, das schnell veraltet sein kann. Um dieses Problem zu lösen, brauchen wir Methoden, die es diesen Systemen ermöglichen, mit den Veränderungen im realen Wissen Schritt zu halten.

Um das anzugehen, haben wir neue Benchmarks namens GrowOVER-QA und GrowOVER-Dialogue erstellt. Diese Benchmarks sind darauf ausgelegt, Systeme für offene Fragenbeantwortung und Dialoge zu testen. Sie werden kontinuierlich aktualisiert, um Änderungen im Wissen widerzuspiegeln, und sorgen dafür, dass die Antworten genau und relevant bleiben. Unsere Studien haben gezeigt, dass aktuelle Sprachmodelle Schwierigkeiten haben, mit Wissen umzugehen, das alt oder nicht regelmässig aktualisiert wird. Deshalb haben wir einen neuen Ansatz entwickelt, der es diesen Modellen ermöglicht, ihre Antworten neu zu bewerten und nach genaueren Informationen zu suchen, wenn es nötig ist.

Viele Aufgaben in der Verarbeitung natürlicher Sprache hängen von Wissen ab, wie Fragen beantworten, Fakten überprüfen, Entitäten verknüpfen und offene Gespräche führen. Diese Aufgaben beinhalten normalerweise, Wissen zu nutzen, um angemessene Antworten auf spezifische Fragen zu generieren. Aber das schiere Volumen an Informationen in der Welt macht es unmöglich, dass Modelle alles in ihrem Gedächtnis speichern.

Oft, wenn ein Modell eine Antwort produzieren muss, nutzt es einen Retriever. Dieser Retriever sucht relevante Dokumente oder Absätze aus einer grossen Datenbank, während das Modell eine Antwort basierend auf den abgerufenen Informationen generiert. Frühere Benchmarks in diesem Bereich lieferten Texte und Antworten, die verwendet werden können, um zu messen, wie gut Retriever und Generatoren abschneiden.

Die GrowOVER-Benchmarks sind einzigartig, weil sie automatisch erstellt und aktualisiert werden. Sie bieten nicht nur die Antworten, sondern auch Beweistexte zur Bewertung der Genauigkeit sowohl von Retrieval- als auch von Generierungsmodellen. Die Beweistexte helfen uns zu sehen, wie gut das Modell funktioniert und ob die Fakten akkurat sind.

Die ständige Aktualisierung des Wissens in der Welt führt dazu, dass bestehende Benchmarks sehr schnell veraltet sind. Das macht es schwerer zu beurteilen, wie gut Modelle aktuelle Informationen abrufen können. Die Aufgaben in diesen Benchmarks müssen über einfache Frage- und Antwortformate hinausgehen. In der realen Welt ist Wissen stärker miteinander verknüpft und komplexer.

Um diese Herausforderungen anzugehen, haben wir GrowOVER entworfen, das aus zwei Hauptteilen besteht: GrowOVER-QA und GrowOVER-Dialogue. Diese Benchmarks bieten Beweistexte neben den Antworten, was eine bessere Bewertung der Modelle ermöglicht. Darüber hinaus helfen sie, die Qualität der Datensätze zu erhalten, während neue Informationen eintreffen.

Zusätzlich zur Frage-Antwort-Aufgabe haben wir eine Dialogaufgabe eingebaut, die vom Modell verlangt, auf Benutzer zu reagieren und dabei im Thema zu bleiben und nützliche Informationen bereitzustellen. Das macht es herausfordernder und testet die Fähigkeit des Modells, verschiedene Gesprächsstränge zu behandeln.

Um sicherzustellen, dass Sprachmodelle sich an die schnellen Veränderungen im Wissen anpassen können, haben Forscher zwei Hauptansätze untersucht: Retrieval und kontinuierliches Pretraining. Der Retrieval-Ansatz ermöglicht es Modellen, über einen Retriever auf aktualisierte Informationen zuzugreifen, während das kontinuierliche Pretraining darauf abzielt, das Wissen des Modells direkt zu aktualisieren.

Allerdings kann das ständige Aktualisieren von Modellen kostspielig sein und ihre Leistung im Laufe der Zeit beeinträchtigen. Auf der anderen Seite könnte es sein, dass man sich nur auf einen Retriever verlässt, nicht immer die besten Ergebnisse liefert. Wir schlagen ein Framework namens Retrieval-Interactive Language Model (RiLM) vor, das es dem Modell ermöglicht, seine Antworten zu bewerten und, wenn nötig, bessere Informationen vom Retriever anzufordern, um seine Antworten zu verbessern.

Unsere Hauptbeiträge sind zweifach: Wir führen die GrowOVER-Benchmarks ein, die kontinuierlich aktualisiert werden, um zu bewerten, wie gut Modelle Antworten abrufen und generieren, und wir schlagen das RiLM-Framework vor, das es Modellen ermöglicht, Feedback an Retriever zu geben, um bessere Antworten zu generieren.

#Verwandte Arbeiten

Temporale Sensitivität ist in diesem Forschungsbereich wichtig. Oft, wenn Trainings- und Testdatensätze aus verschiedenen Zeiträumen stammen, schneiden die Modelle schlecht ab. Forscher haben die Fähigkeiten von Sprachmodellen untersucht, mit zeitsensitiven Informationen umzugehen.

Frühere Arbeiten haben gezeigt, dass Modelle Schwierigkeiten haben, neue Informationen zu nutzen, selbst wenn sie über eine aktualisierte Datenbank verfügbar sind. Um das anzugehen, ermutigt unser RiLM-Framework das Modell, dem Retriever Feedback zu geben, um passendere Dokumente zu finden.

Ein weiterer Fokusbereich ist die Retrieval-Augmented Generation (RAG). In früheren Phasen hatten Sprachmodelle eine begrenzte Fähigkeit, eine Fülle von Fakten zu speichern. RAG wurde eingeführt, um Modellen zu helfen, Antworten basierend auf Inhalten zu generieren, die aus Dokumenten abgerufen werden. Infolgedessen verwenden grössere Modelle, die auf umfangreichen Textkorpora vortrainiert wurden, abgerufene Inhalte zusammen mit Abfragen, um Antworten zu generieren.

Darüber hinaus ermöglicht kontinuierliches Lernen Modellen, aus sequenziellen Aufgaben zu lernen, während Wissen aus vergangenen Aufgaben beibehalten wird. Dieser Bereich hat zu Konzepten wie kontinuierlichem Wissenslernen geführt, das hilft, die sich ständig ändernde Natur unseres Wissens zu verwalten.

#Der GrowOVER-Datensatz

GrowOVER besteht aus zwei Datensätzen: QA und Dialog. Der QA-Teil überprüft die Fähigkeit des Modells, sich zu erinnern und auf spezifische Anfragen zu antworten, während der Dialogteil die Interaktion über mehrere Runden hinweg betont und komplexere Generierungsaufgaben präsentiert.

Jede Instanz in beiden Datensätzen hat Beweistexte, die es uns ermöglichen, zu überprüfen, wie viel Wissen beibehalten, aktualisiert oder neu erworben wurde. Unser Benchmark basiert auf Wikipedia-Schnappschüssen, die riesige Mengen aktueller Informationen enthalten. Wir haben mit Wikipedia-Daten von August 2023 begonnen und bis Dezember 2023 Änderungen gesammelt.

Der gesamte Prozess zur Generierung von GrowOVER beinhaltet, Artikel-Schnappschüsse zu machen und Werkzeuge wie GPT-4 zu verwenden, um erste QA- und Dialoginstanzen zu erstellen. Sobald neue Schnappschüsse verfügbar werden, kennzeichnen wir Sätze als unverändert, verändert oder neu, basierend auf ihren Aktualisierungen vom vorherigen Monat.

#Erste Generation

Jeder Artikel wird in Absätze zerlegt, und es werden bis zu vier Absätze ausgewählt, um Fragen und Antworten zu generieren. Wir haben bestimmte Kriterien für die Auswahl festgelegt, wie die Anzahl der Sätze zu begrenzen, um die Qualität und Vielfalt des Inhalts sicherzustellen. GPT-4 erstellt dann Fragen und Antworten basierend auf diesen Auswahlen.

Für die Dialoggenerierung wenden wir einen ähnlichen Prozess an, wobei wir die Benutzer-Experten-Interaktion über mehrere Runden betonen. Jeder Satz, der in diesem Austausch verwendet wird, wird als Beweistext für die Verifikation gespeichert.

#Satzkennzeichnung

Wenn neue Schnappschüsse von Wikipedia eintreffen, überprüfen wir unveränderte Sätze, indem wir sie mit vorherigen Versionen vergleichen. Wir bestimmen, ob Sätze übereinstimmen, basierend auf Ähnlichkeitsscores und dem Kontext des umgebenden Textes.

Wir klassifizieren jeden Satz als unverändert, wenn er eine Ähnlichkeit über einem bestimmten Schwellenwert beibehält, als verändert, wenn es Widersprüche gibt, und als neu, wenn er eine niedrige Ähnlichkeit mit vergangenen Sätzen zeigt. Dieser Prozess ermöglicht es uns, ein hohes Vertrauen in die Genauigkeit des Datensatzes zu haben.

#Temporale Updates

Für alle neuen Artikel, die im neuesten Schnappschuss hinzugefügt wurden, führen wir die erste Generierung wie zuvor durch. Für Artikel, die bereits im Datensatz sind, überprüfen wir die Kennzeichnungsergebnisse, um zu entscheiden, ob wir bestehende Instanzen beibehalten oder neue erstellen. Diese fortlaufende Wartung ermöglicht es GrowOVER, mit neuen Informationen aktuell zu bleiben, sobald sie verfügbar sind.

#Das RiLM-Framework

Nachdem ein Modell eine Anfrage erhält, ruft es relevante Dokumente ab und erstellt Aufforderungen für seine Antworten. Ein Zuverlässigkeitsklassifizierer sagt dann die Verlässlichkeit dieser Antworten voraus, sodass das Modell entscheiden kann, ob es die generierte Antwort akzeptiert oder überdenkt. Wenn das Vertrauen des Modells niedrig ist, geht es zurück zur Retrieval-Phase, um nach verbesserten Kontexten zu suchen.

Der RiLM-Ansatz ermöglicht es einem Modell, aus zuvor abgerufenen Informationen zu lernen und bietet eine nahtlose Möglichkeit für akkurate zukünftige Antworten. Dieser Feedback-Mechanismus verbessert die Relevanz der abgerufenen Dokumente und hilft, bessere Antworten zu generieren.

#Experimentelle Einrichtung

In unseren Experimenten verwendeten wir verschiedene Baselines zum Vergleich, einschliesslich Modelle ohne Retrieval, solche mit adaptivem Retrieval und Modelle, die kontinuierlich mit neuen Informationen vortrainiert wurden. Durch die Verwendung einer vielfältigen Datenbank von Artikeln bewerteten wir, wie gut jedes Modell in den Aufgaben QA und Dialog abschnitt.

Wir haben Kennzahlen wie den F1-Score für QA-Aufgaben und den BLEU-Score für Dialogaufgaben aufgezeichnet. Unsere Ergebnisse zeigten, wie jede Methode beim Abrufen von Wissen und Generieren von gültigen Antworten unter verschiedenen Bedingungen abschneidet.

#Experimentelle Ergebnisse

Während unserer Experimente hoben wir die Effektivität unseres Klassifizierers und des retrieval-interaktiven Modells hervor. Die Ergebnisse zeigten, dass unsere Methode mindestens genauso gut abschneiden konnte wie kontinuierlich trainierte Modelle, wenn nicht sogar besser.

Wir fanden konsequente Leistungsverbesserungen in allen Aufgaben, insbesondere darin, wie unsere Modelle sich an neues Wissen anpassten und die Genauigkeit über die Zeit hinweg aufrechterhielten. Obwohl die Leistung bei allen Modellen über Monate hinweg abnahm, identifizierten wir die Gründe für diese Rückgänge und schlugen weitere Aktualisierungen vor, um zukünftige Aufgaben zu verbessern.

#Fazit

Zusammenfassend haben wir GrowOVER-QA und GrowOVER-Dialogue eingeführt, Benchmarks, die die dynamische Natur des Wissens in unserer Welt widerspiegeln. Sie bieten Werkzeuge zur Bewertung, wie gut Systeme Informationen abrufen und generieren. Durch unser RiLM-Framework haben wir eine Lösung geschaffen, die es Modellen ermöglicht, interaktiv ihre Antworten basierend auf Feedback zu verbessern.

Unsere Forschung hat bestätigt, dass Sprachmodelle sich an neues Wissen anpassen können, aber kontinuierliche Updates sind entscheidend, um eine genaue Leistung aufrechtzuerhalten. Wir hoffen, dass unsere Benchmarks zukünftige Arbeiten zu Modellaktualisierungen und Retrieval-Optimierung leiten werden.

#Einschränkungen und Ethik

Trotz unserer Bemühungen bestehen einige Einschränkungen in unserem Datensatz und unseren Methoden. Die Genauigkeit der Satzkennzeichnung ist entscheidend, und obwohl wir einen rigorosen Prozess entworfen haben, können Fehler auftreten. Wir erkennen auch an, dass unser Datensatz hauptsächlich aus einzelnen Artikeln stammt, die möglicherweise keine Informationen aus mehreren Quellen erfassen.

Darüber hinaus müssen wir darauf achten, dass einige Informationen aus Wikipedia möglicherweise hinter den Echtzeitaktualisierungen in der Welt zurückbleiben. Daher könnte unser Datensatz nicht immer das aktuellste und genaueste Wissen widerspiegeln.

Schliesslich haben wir sichergestellt, dass unser Datensatz frei von Diskriminierung und Vorurteilen ist durch manuelle Neubewertung aus ethischen Überlegungen. Wir glauben, dass kontinuierliches Monitoring und Updates notwendig sind, um die Integrität unserer Systeme aufrechtzuerhalten.