Fortschritte im wissensbasierten Fragen und Antworten

In den letzten Jahren hat Generative Künstliche Intelligenz (KI) in verschiedenen Bereichen grosses Potenzial gezeigt. Ein wichtiger Bereich, in dem generative KI eine Rolle spielt, sind Grosse Sprachmodelle (LLMs). Diese Modelle haben signifikante Verbesserungen darin mitgebracht, wie Maschinen die menschliche Sprache verstehen, im Vergleich zu traditionellen KI-Methoden.

Das Verständnis von Sprache war immer eine Herausforderung für Frage-und-Antwort-Systeme, besonders für die, die auf Wissensdatenbanken basieren. Die Komplexität entsteht durch die verschiedenen Arten, wie Menschen ihre Fragen formulieren, und das Auftauchen neuer Absichten, die das System möglicherweise noch nicht erkennt. Traditionelle KI-Methoden zur Absichtserkennung haben zwei Hauptarten: solche, die auf semantischer Analyse basieren, und andere, die auf Modellen basieren. Leider haben beide Methoden oft Schwierigkeiten mit Ressourcen, wenn es darum geht, Absichten effektiv zu erkennen.

Um diese Herausforderungen zu überwinden, wurde ein neues wissensbasiertes Frage-und-Antwort-System namens LB-KBQA vorgeschlagen. Dieses System kombiniert die Fähigkeiten eines grossen Sprachmodells und BERT, einem bekannten Modell zum Verständnis von Sprache. Mit den Fortschritten in der generativen KI kann LB-KBQA neue Absichten identifizieren und Wissen über das hinaus gewinnen, was in der ursprünglichen Ausbildung bereitgestellt wurde.

Die Effektivität von LB-KBQA wurde getestet, indem es mit finanziellen Fragen konfrontiert wurde. Die Ergebnisse zeigten, dass dieser neue Ansatz gut funktionierte und genaue Antworten auf die gestellten Fragen bot.

#Der Aufstieg der generativen KI

Generative KI hat in letzter Zeit die Aufmerksamkeit von Forschern und Fachleuten aus der Industrie auf sich gezogen. Die einzigartigen Fähigkeiten der generativen KI haben viel Potenzial für verschiedene Anwendungen, besonders im Bereich der grossen Sprachmodelle. Ein prominentes Beispiel ist die GPT-Serie, die signifikante Fortschritte im Bereich der natürlichen Sprachverarbeitung gemacht hat. Da diese Modelle an Grösse zunehmen, werden sie immer besser darin, menschliche Sprache zu verstehen. Zum Beispiel hat GPT-3 beeindruckende 170 Milliarden Parameter, was das Mass solcher Modelle zeigt.

Die Fähigkeit, Sprache genau zu verstehen, ist entscheidend für Frage-Antwort-Systeme, die oft in offenen Szenarien arbeiten. In diesen Situationen kommt es häufig zu Unstimmigkeiten zwischen den Fragen der Nutzer und den verfügbaren Antworten. Diese Unstimmigkeit ergibt sich oft aus den unterschiedlichen sprachlichen Ausdrucksformen, die Nutzer verwenden, was zu unbekannten Klassen von Fragen führt, die das System zuvor nicht begegnet ist.

Wenn es um wissensbasierte Frage-Antwort-Systeme (KBQA) geht, stellen unbekannte Klassen eine erhebliche Herausforderung dar. Wenn eine Frage keiner bekannten Absicht entspricht, kann das System möglicherweise keine korrekte Antwort liefern. Dies kann passieren, weil die bestehende Wissensdatenbank nicht die notwendigen Informationen enthält oder weil die verwendete Sprache nicht mit dem übereinstimmt, was im System enthalten ist.

#Die Evolution der KBQA-Systeme

Das Aufkommen von gross angelegten Wissensdatenbanken hat zur Entwicklung von offenen KBQA-Systemen geführt. Diese Systeme zielen darauf ab, Fragen zu verstehen und genaue Antworten basierend auf externen Wissensquellen zu liefern. Kürzlich hat das Feld der KBQA an Bedeutung gewonnen und zieht Aufmerksamkeit sowohl aus akademischen Kreisen als auch von Industrieakteuren auf sich. Mit Open-Source-Wissensdatenbanken können KBQA-Systeme Lösungen für verschiedene Fachgebiete anbieten. Ein bemerkenswertes Beispiel ist der Knowledge Vault, der in die Suchmaschine von Google integriert wurde und das Benutzererlebnis erheblich verbessert hat.

Die Hauptfunktion eines KBQA-Systems besteht darin, Benutzerfragen auf die in einer Wissensdatenbank gefundenen Antworten abzubilden. Dieser Prozess beginnt damit, die Frage des Benutzers auf semantischer Ebene zu analysieren, um die Absicht des Benutzers zu identifizieren. Jede Absicht kann als feste Klasse betrachtet werden, aber oft stösst das System auf unbekannte Absichten, die seine Effektivität beeinträchtigen können.

Die Abbildung von Fragen auf Absichten ist aufgrund der sprachlichen Vielfalt komplex. Es gibt zahlreiche Möglichkeiten, dasselbe Konzept zu beschreiben, was es schwierig macht, menschliche Sprache genau zu analysieren. Traditionelle Methoden zur Absichtserkennung können in zwei Hauptansätze unterteilt werden: regelbasierte und modellbasierte Methoden.

Regelbasierte Methoden stützen sich oft auf semantische Analyse, während modellbasierte Methoden vortrainierte Modelle verwenden, um semantische Informationen effektiver zu erfassen. Beide Ansätze stehen jedoch vor Herausforderungen. Regelbasierte Methoden haben oft Schwierigkeiten mit komplexen Anfragen, die mehrere Entitäten betreffen, während modellbasierte Methoden oft keine präzisen Antworten auf Fragen geben können, die ausserhalb ihres Trainingsdatensatzes liegen.

#Unbekannte Absichten und ihre Herausforderungen

Unbekannte Absichten sind ein häufiges Problem in KBQA-Anwendungen und können grob in zwei Gruppen unterteilt werden. Die erste Gruppe umfasst unbekannte Absichten, die aus sprachlicher Vielfalt entstehen, also verschiedene Darstellungen derselben Absicht. Die zweite Gruppe bezieht sich auf Absichten, die noch nie in der Wissensdatenbank enthalten waren.

Um das Problem der unbekannten Absichten zu lösen, stellt die Einführung grosser Sprachmodelle einen bedeutenden Fortschritt in der natürlichen Sprachverarbeitung dar. Diese Modelle können Text generieren, der dem menschlichen Schreiben sehr ähnlich ist, indem sie grosse Mengen an Daten verarbeiten. Diese Fähigkeit ermöglicht es ihnen, verschiedene Sprachmuster und -stile, die von den Nutzern verwendet werden, zu erkennen. Wichtig ist, dass LLMs auch schnell neues Wissen lernen können, was sie anpassungsfähig an Nutzeranfragen und sich ändernde Kontexte macht.

Die Leistung von LLMs bietet eine Lösung für die Herausforderung, mit unbekannten Absichten in KBQA-Systemen umzugehen. Das LB-KBQA-System wurde entwickelt, um Missverständnisse von Benutzerabsichten effektiv zu bekämpfen. Die Wissensdatenbank von LB-KBQA enthält zwei Schlüsselkomponenten: eine Absichtsbibliothek, die die Vektorrepresentation nutzt, und eine Abfrageschicht, die ein Wissensgraph verwendet.

Das LB-KBQA-System besteht aus fünf Hauptteilen, die jeweils eine wichtige Rolle in der Gesamtfunktionalität spielen. Zuerst gibt es ein Sprachvorverarbeitungsmodul, das den Eingabetext bereinigt, indem es unnötige Symbole und Stoppwörter entfernt.

Als nächstes identifiziert das Absichtserkennungsmodul die Schlüsselsachverhalte innerhalb der Anfrage des Benutzers. Wenn ein Benutzer beispielsweise nach der Zeit fragt, würde das Modul relevante Wörter wie "Jahr", "Monat" und "Tag" herausgreifen. Die genaue Erkennung der Benutzerabsicht ist entscheidend, um in einem KBQA-Setting korrekte Antworten zu liefern.

Wenn der erste Versuch, die Frage zu verstehen, fehlschlägt, wechselt das System zu einer Frageeinbettungsmethode basierend auf BERT, um tiefere semantische Informationen zu extrahieren. Die Eingabefrage wird in einen Kontextvektor umgewandelt, um Ähnlichkeitsberechnungen zu erleichtern. Das System nutzt dann eine Ähnlichkeitsfragevektorbasis, die Paare von Absichtsetiketten und Kontextvektoren enthält.

Wenn das Ähnlichkeitsmass nicht einem voreingestellten Schwellenwert entspricht, aktiviert das System das grosse Sprachmodell zur Bestimmung der Absicht. In diesem Prozess hilft eine Methode des kontextuellen Lernens dem LLM, die Benutzerabsicht basierend auf der Eingabeabfrage zu verstehen, wodurch das Modell Absichtsetiketten generieren kann, die dann in der Absichtsbibliothek aktualisiert werden.

Die dritte Kernkomponente von LB-KBQA ist das Modul zur Antwortgenerierung, das lesbare Antworten basierend auf den Benutzerabsichten erstellt. Dieses Modul folgt drei Schritten, beginnend mit Aufgaben zur benannten Entitätenerkennung, gefolgt von der Formulierung einer Abfrageausdrucks, die aus den identifizierten Entitäten abgeleitet wird. Die Abfrage wird gegen den Wissensgraphen ausgeführt, um die relevantesten Informationen abzurufen.

Das vierte Modul ist die adaptive Lernkomponente. Dieser Teil zielt darauf ab, die Fähigkeit des Systems, unbekannte Absichten im Laufe der Zeit zu erkennen, zu verbessern. Wenn ein Benutzer mit einer Antwort unzufrieden ist, führt das LLM einen Dialog mit mehreren Runden mit dem Nutzer, um zu klären, ob das Problem aus Schwierigkeiten bei der Absichtserkennung resultiert.

Sobald der Nutzer Feedback zu seiner wahren Absicht gibt, aktualisiert das System seine Absichtsbibliothek und den Fragevektor in der Ähnlichkeitsfragevektorbasis. Dieser Mechanismus des adaptiven Lernens hilft dem System, sich schnell an unbekannte Absichten anzupassen.

Zuletzt ermöglicht das Modul zur Erweiterung der Abfrageschicht den Nutzern, den bestehenden Wissensgraphen zu erweitern. Es bietet die Möglichkeit, strukturierte Datensätze mithilfe eines speziellen Python-Pakets zu integrieren. Für unstrukturierte Daten werden Werkzeuge empfohlen, um relevante Entitäten und Beziehungen zu extrahieren.

#Experimentelle Tests und Ergebnisse

Um die Leistung des LB-KBQA-Systems zu bewerten, wurden eine Reihe von Experimenten durchgeführt. Eine gängige Bewertungsmethode, die bei Frage-Antwort-Aufgaben verwendet wird, ist die Verwirrungsmatrix, die hilft, die Ergebnisse verschiedener Ansätze zu bewerten.

Das System wurde unter Verwendung des Tushare-Finanzdatensatzes aufgebaut, einer Open-Source-Ressource, die saubere und vielfältige finanzielle Daten zur Analyse bereitstellt. Der Testdatensatz bestand aus 100 Proben, die gleichmässig in einfache und komplexe Beziehungsfragen aufgeteilt wurden. Einfache Beziehungsfragen haben klare Antworten, die innerhalb eines einzigen Triplet aus Subjekt-Prädikat-Objekt zu finden sind, während komplexe Beziehungsfragen erfordern, dass das System Informationen aus mehreren Quellen zusammenführt.

Ablationsversuche wurden durchgeführt, um zu bewerten, wie sich verschiedene Anpassungen des Modells auf die Gesamtleistung auswirkten. Die Genauigkeit des LB-KBQA-Systems war die Hauptmetrik, die zur Bewertung verwendet wurde, berechnet als das Verhältnis von richtigen Antworten zu insgesamt gestellten Fragen. Das komplette System erreichte eine Genauigkeit von 0,90.

Ausserdem zeigten Tests, die sich auf die Fähigkeit des Systems konzentrierten, unbekannte Absichten zu erkennen, die Bedeutung der BERT-basierten Fragenrepräsentation und der Ähnlichkeitsfragevektorbibliothek. Die Ergebnisse zeigten einen Rückgang der Genauigkeit um 0,3, als die BERT-Komponente entfernt wurde, was ihre wesentliche Rolle bei der Entdeckung unbekannter Absichten bestätigte.

Die Einbeziehung des grossen Sprachmodells und des Moduls für Adaptives Lernen verbesserte zusätzlich die Fähigkeit des Systems, mit der vielfältigen Natur der Sprache umzugehen. Im Gegensatz dazu hatte das traditionelle regelbasierte Modell einen begrenzten Einfluss auf die Erkennung unbekannter Absichten.

#Fazit

Das LB-KBQA-System zeigt, wie grosse Sprachmodelle die natürlichen Sprachverständnisfähigkeiten traditioneller KI-Methoden verbessern können, insbesondere im Bereich der wissensbasierten Frage-Antwort-Systeme. Dieser Ansatz geht systematisch auf die Herausforderungen ein, die durch sprachliche Vielfalt und unbekannte Absichten entstehen.

Die Fähigkeit, sich an Nutzerinteraktionen anzupassen und aus ihnen zu lernen, stellt sicher, dass das System relevant und effektiv bleibt, selbst wenn neue Arten von Fragen auftauchen. Mit dem vielversprechenden Rahmen für KBQA-Systeme leistet LB-KBQA wertvolle Beiträge zu sowohl akademischen Forschungen als auch praktischen Anwendungen in verschiedenen Bereichen, einschliesslich Finanzen.

Durch diese Fortschritte steht das Feld der wissensbasierten Frage-Antwort-Systeme vor weiterem Wachstum, während neue Techniken und Technologien weiterhin aufkommen.