Die Revolution der Gesprächsantworten mit RAGONITE

Gesprächsbasierte Fragenantwortung (ConvQA) ist eine Methode, die Leuten hilft, Antworten zu finden, indem sie Fragen in natürlicher Sprache stellen. Sie funktioniert gut mit RDF-Wissensgraphen (KGs), die einfach coole Wege sind, um eine Menge Daten so zu speichern, dass man sie leicht durchsuchen kann. Die übliche Methode besteht darin, eine Frage zu nehmen und sie in eine Art Abfrage namens SPARQL zu verwandeln, die für diese Art von Daten gedacht ist. Allerdings gibt's ein paar Hürden.

SPARQL kann ziemlich fragil sein, besonders wenn Fragen kompliziert werden. Es ist auch nicht gut darin, mit abstrakten Fragen umzugehen. Statt nur bei SPARQL zu bleiben, mixen wir das Ganze mit einem neuen System, das zwei Ansätze nutzt, um bessere Ergebnisse zu erzielen. Wir ziehen Daten aus einer Datenbank, die wir aus dem KG erstellen, mit sogenannten SQL-Abfragen, und suchen auch nach Antworten in Texten, die die Fakten des KGs beschreiben.

Das coole daran? Wenn die erste Runde der Antworten nicht hilfreich ist, kann das System für eine zweite Runde Informationen zurückgehen. Diese Konstellation ermöglicht einen einfachen Informationsfluss und führt zu klareren Antworten. Wir erklären das alles ausführlicher und zeigen, wie es mit BMW-Autos funktioniert.

#Die Grundlagen der Wissensgraphen

Wissensgraphen speichern Fakten auf eine Weise, die leicht zu verstehen ist. Sie nutzen eine einfache Struktur, die oft als Subjekt-Prädikat-Objekt (SPO) bezeichnet wird. Das bedeutet, dass jede Tatsache wie ein kleiner Satz ist: Etwas (Subjekt) macht etwas (Prädikat) zu etwas anderem (Objekt).

Zum Beispiel könntest du eine Tatsache haben, die sagt: "BMW X5 kostet 50.000 EUR." In diesem Fall ist der BMW X5 das Subjekt, hat ist das Prädikat und 50.000 EUR ist das Objekt. Diese Struktur erlaubt es den Leuten, die die Daten verwalten, zu arbeiten, ohne komplizierte Regeln wie in traditionellen Datenbanken schaffen zu müssen.

Wenn jemand eine Frage zu den Daten in einem KG stellen möchte, verwendet er normalerweise SPARQL. Man kann sich SPARQL wie eine spezielle Sprache für Fragen vorstellen, die zum Graphformat passt. Aber mit dem Aufkommen von grossen Sprachmodellen (LLMs) sind fortgeschrittenere Möglichkeiten entstanden, um Alltagsprache in SPARQL zu übersetzen, was den Prozess erheblich vereinfacht.

#Der Zwei-Fronten-Ansatz

Während ConvQA-Systeme es einfacher machen, Fragen zu stellen, stehen sie immer noch vor Herausforderungen. Oft bleiben Teile einer Frage unerwähnt, was es dem System schwer macht zu verstehen, was der Nutzer wirklich will. Selbst die besten LLMs haben es schwer, komplexe Fragen in SPARQL-Abfragen zu übersetzen.

Um dem entgegenzuwirken, schlagen wir ein zwei-fronten-System vor. Zuerst führen wir SQL-Abfragen über eine Datenbank aus, die aus dem KG gebildet wurde, um einfache Anfragen zu bearbeiten. Dann nutzen wir Textsuchen, um weniger klare Fragen zu bearbeiten.

Der Zauber passiert während des Prozesses, wo, wenn die ersten Ergebnisse nicht gut genug sind, das System automatisch einen weiteren Versuch starten kann, um mehr Informationen zu holen, um dem Nutzer eine klarere Antwort zu geben. So können Nutzer Folgefragen stellen, ohne den Überblick über das Gespräch zu verlieren.

#Was ist RAGONITE?

Hier kommt RAGONITE ins Spiel, ein cleveres System, das entwickelt wurde, um all diese Probleme auf benutzerfreundliche Weise zu lösen. RAGONITE steht für Retrieval Augmented Generation ON ITErative retrieval results. Es hat zwei Hauptzweige. Ein Zweig führt SQL-Abfragen aus, und der andere macht Textabrufe basierend auf verbalen Erklärungen der KG-Fakten. Es ist, als hättest du zwei Assistenten, einen, der durch die Datenbank gräbt, und einen, der das Nachschlagewerk liest.

Wenn jemand fragt: "Was ist die durchschnittliche Beschleunigungszeit auf 100 km/h für BMW Sportmodelle?" verarbeitet RAGONITE die Frage, generiert eine SQL-Abfrage und sucht nach Textpassagen, die Kontext und Details liefern können. Wenn die Antworten nicht zufriedenstellend sind, kann es zurückgehen, um mehr Infos zu holen.

#Die Datenbank erstellen

Damit RAGONITE seine Magie entfalten kann, muss es eine Datenbank aus dem KG erstellen. Das beginnt damit, das KG von einem Format (NTriples) in ein anderes, das einfacher zu bearbeiten ist (Turtle), umzuwandeln. Jede Tatsache wird nach Subjekt gruppiert und einzigartige Entitäten werden identifiziert, um Tabellen zu bilden.

Wir verwenden das Subjekt als primären Schlüssel, was es uns ermöglicht, verwandte Informationen einfach zu verfolgen, wie wenn du deinen Familienstammbaum organisiert hältst. Wenn neue Daten kommen, werden sie der richtigen Tabelle hinzugefügt, um alles ordentlich und sauber zu halten.

#Den Wissensgraphen verbal machen

Einige Fragen sind tricky und erfordern ein bisschen gesunden Menschenverstand. Wenn ein Nutzer beispielsweise nach den "innovativen Highlights im BMW X7" fragt, muss das System das besser interpretieren. Um das zu bewältigen, verbalisiert RAGONITE die KG-Fakten in natürliche Textpassagen.

Das hilft dem LLM, komplexere Anfragen besser zu verstehen und zu beantworten. Das System verwendet einfache Regeln, um Daten in freundliche Sätze umzuwandeln und stellt sicher, dass selbst die kleinsten Details erfasst werden.

#Der Suchprozess

Der Retrieval-Prozess in RAGONITE besteht darin, Antworten in zwei Zweigen zu suchen. Wenn die erste Suche nicht ausreicht, kann das System den Prozess wiederholen - wie ein Hund, der Stöcke holt, bis er den richtigen findet.

In Bezug auf die Schritte gibt der Nutzer eine Frage ein, RAGONITE erstellt eine intent-explicit SQL-Abfrage und sucht nach relevantem Text. Wenn der erste Versuch keine solide Antwort liefert, wird eine weitere Runde vorgeschlagen. Das LLM nutzt dieses Feedback, um seine Suchen zu verfeinern und sicherzustellen, dass die richtigen Informationen gefunden werden.

#Antworten aus beiden Zweigen integrieren

Wenn die beiden Zweige ihre Ergebnisse sammeln, werden sie vom LLM zu einer kohärenten Antwort zusammengeführt. So muss das System nicht eine Methode der anderen vorziehen. Stattdessen kombiniert es die Einsichten aus SQL-Ergebnissen und Textpassagen, um dem Nutzer eine flüssige Antwort zu geben.

Diese Integration kann sogar Zitationen einfügen, um den Nutzern zu zeigen, woher die Informationen stammen. Es ist, als hättest du einen persönlichen Führer, der dir nicht nur die Antwort gibt, sondern auch auf die genaue Seite im Buch zeigt, wo er sie gefunden hat.

#Unterstützung für Open LLM

RAGONITE ist so konzipiert, dass es mit verschiedenen LLMs funktioniert, einschliesslich solcher, die lokal gehostet werden können. Das macht es flexibel und anpassbar für die Bedürfnisse verschiedener Nutzer, besonders für die, die sich um Datensicherheit sorgen. Lokale Implementierungen von Open LLMs wie Llama-3 werden ebenfalls unterstützt, was den Zugang zur Technologie erhöht.

#Mehr Informationen hinzufügen

RAGONITE erlaubt auch das Einfügen zusätzlicher Texte in sein Backend-System. Zum Beispiel kann es Informationen aus Web-Dokumenten abrufen und so sein Wissen über das KG hinaus erweitern. Das heisst, Fragen müssen nicht nur auf das KG beschränkt sein. Wenn ein Nutzer etwas Allgemeineres fragt, steht RAGONITE bereit, um diese zusätzlichen Details bereitzustellen.

#Wie RAGONITE in der Praxis funktioniert

Stell dir vor, du benutzt RAGONITE, um herauszufinden, ob der BMW X1 höher ist als ein Coupe. Du tippst deine Frage ein, und das System beginnt sofort, nach Antworten zu suchen. Die erste Runde könnte beinhalten, SQL-Ergebnisse für die Höhe des X1 zu überprüfen, die möglicherweise nur teilweise Informationen liefert.

Dann könnte das System umschalten und Textunterlagen durchsuchen, um herauszufinden, wie das im Vergleich zu Coupe-Modellen aussieht. Sobald es genügend Informationen gesammelt hat, wird die endgültige Antwort generiert und dir zurückgeschickt, inklusive Referenzen.

Dieses Design hält das Gespräch am Laufen und ermöglicht es den Nutzern, Folgefragen zu stellen, ohne den Überblick zu verlieren. Es ist wie mit einem wissenden Freund zu plaudern, der immer bereit ist zu helfen.

#Ergebnisse und Leistung

Als RAGONITE getestet wurde, hat es im Vergleich zu seinen Mitbewerbern beeindruckend abgeschnitten. Der duale Ansatz führte zu mehr richtigen Antworten als die Verwendung nur von SQL oder nur von Textabruf. Während beide Methoden ihre Stärken haben, führt ihre Kombination zu einem robusterem System.

Das System zeigte besondere Stärken im Umgang mit komplexen Fragen, die andere oft schwerfallen. Es handhabte abstrakte Anfragen besser, indem es Verbalisationen nutzte, um Lücken zu schliessen, die in herkömmlichen Abfragen entstehen.

Was die Geschwindigkeit angeht, war RAGONITE ebenfalls effizient. Im Durchschnitt dauerte der gesamte Prozess, eine Frage zu stellen und eine Antwort zu erhalten, nur ein paar Sekunden. Diese schnelle Bearbeitungszeit macht es praktisch für Echtzeit-Interaktionen.

#Die Zukunft von RAGONITE

Blickt man in die Zukunft, hält RAGONITE viele aufregende Möglichkeiten bereit. Ein Ziel ist es, das System weiter zu verbessern und Funktionen zu integrieren, die es jedem Teil von RAGONITE ermöglichen, aus seinen vergangenen Fehlern zu lernen und seine Antworten zu verbessern.

Ein weiteres Ziel ist es, die Integration der verschiedenen Komponenten zu perfektionieren, um sicherzustellen, dass sie nahtlos zusammenarbeiten. Eine Feinjustierung spezifischer Teile des Systems kann ebenfalls zu einer noch besseren Leistung im Laufe der Zeit führen.

#Fazit

RAGONITE ist ein innovatives System, das traditionelle Methoden der Datenabfrage mit moderner Gesprächs-KI kombiniert. Durch die Verwendung von SQL und Textabruf geht es einigen der grössten Herausforderungen bei der Verständnis der Nutzerintention und der Bereitstellung genauer Antworten an den Kragen.

Es verfolgt einen intelligenten Ansatz zur Bearbeitung einer Vielzahl von Fragen und beweist sich als wertvolles Werkzeug für jeden, der tiefer in die Welt der Wissensgraphen und conversational AI eintauchen möchte. Mit einem solchen System zur Hand wird das Fragenstellen über Autos oder wirklich jedes Thema viel weniger einschüchternd und macht eine Menge mehr Spass. Also das nächste Mal, wenn du eine brennende Frage über BMW oder irgendetwas anderes hast, könnte RAGONITE genau der Buddy sein, den du brauchst!