Die Verbesserung der KI-Zuverlässigkeit mit dem KG-RAG-System

Sicherzustellen, dass KI-Systeme genaue Informationen teilen und gleichzeitig kreativ sind, ist eine grosse Herausforderung. Grosse Sprachmodelle (LLMs), die eine Art von KI sind, stossen oft auf gängige Probleme. Dazu gehört, dass sie manchmal Informationen erfinden, die nicht wahr sind, Dinge vergessen, die sie gelernt haben, und Schwierigkeiten mit langen Gesprächen haben.

Um diese Probleme anzugehen, wurde ein neues System namens KG-RAG (Knowledge Graph-Retrieval Augmented Generation) entwickelt. Dieses Framework zielt darauf ab, wie LLMs Wissen nutzen, zu verbessern, indem es sie mit organisierten Wissensgraphen (KGs) verbindet. Dieser Ansatz hilft, die Abhängigkeit von dem, was die LLMs sich erinnern, zu verringern und kann zu zuverlässigeren Antworten führen, wenn sie komplexe Fragen gestellt bekommen.

Das KG-RAG-System beginnt damit, einen KG aus Rohtext zu erstellen, der Informationen so organisiert, dass es einfacher ist, spezifische Antworten zu finden. Es ruft Informationen aus dem KG ab, um Fragen genau zu beantworten. Eine neue Methode, die Chain of Explorations (CoE) genannt wird, hilft dem LLM, den KG zu navigieren, indem sie die Verbindungen zwischen verschiedenen Informationsstücken Schritt für Schritt untersucht. Erste Tests mit einem Datensatz namens ComplexWebQuestions zeigen, dass diese Methode die Menge an Falschinformationen, die erzeugt werden, reduzieren kann und einen Weg weist, um smartere KI-Systeme zu entwickeln, die in der Lage sind, anspruchsvolle Aufgaben zu bewältigen.

#Die Rolle von grossen Sprachmodellen

LLMs haben es Forschern ermöglicht, bedeutende Fortschritte bei der Schaffung vielseitiger KI-Agenten zu erzielen. Diese Agenten werden als möglicher Schritt zur Erreichung einer allgemeineren Form von künstlicher Intelligenz angesehen. Verschiedene Projekte wie Langchain und LlamaIndex konzentrieren sich auf die Entwicklung von LLM-basierten Agenten, die erfolgreich in Bereichen wie Gesundheitswesen und Finanzen eingesetzt werden.

Trotz dieser Vorteile haben LLMs gewisse Einschränkungen, die ihr volles Potenzial zurückhalten. Ein grosses Problem ist, dass LLMs manchmal Informationen erzeugen, die nicht faktisch sind, was sie unzuverlässig machen kann. Sie haben auch Schwierigkeiten beim Verarbeiten längerer Texte, was dazu führen kann, dass wichtige Details fehlen. Eine weitere Herausforderung ist, dass LLMs Informationen, die sie zuvor gelernt haben, vergessen können, wenn sie mit neuen Daten aktualisiert werden.

Innerhalb eines KI-Agenten gibt es drei Hauptkomponenten: Wahrnehmung, Gehirn und Aktion. Der Gehirnteil nutzt LLMs für das Denken und die Entscheidungsfindung und KGs zur Speicherung von strukturiertem Wissen und Erinnerungen.

Ähnlich wie Menschen Werkzeuge wie Smartphones und Notizbücher nutzen, um beim Gedächtnis und bei der Bewältigung komplizierter Aufgaben zu helfen, können auch LLMs von externen Ressourcen profitieren. Diese Verbindung kann ihre Fähigkeiten verbessern und ihnen helfen, effektiver zu arbeiten.

Jüngste Fortschritte in multimodalen LLMs ermöglichen es ihnen, verschiedene Datentypen wie Text, Stimme und Bilder zu verarbeiten, was ihre Fähigkeit zur Weltverständnis verbessert. Forschungen, die es diesen Modellen ermöglichen, mit anderen Tools zu interagieren, helfen ebenfalls bei der Durchführung von Aufgaben. Während diese Funktionen weiterhin verbessert werden, liegt der Fokus dieser Arbeit darauf, die grundlegenden Denkfähigkeiten dieser Agenten zu verbessern, hauptsächlich durch besseres Prompt-Engineering und Wissensausbau.

Techniken wie Chain of Thought (CoT) und Tree of Thought (ToT) haben gezeigt, dass LLMs bei Denkaufgaben besser abschneiden können. Andere Methoden wie Self-Consistency und Few-Shot-Prompting haben ebenfalls dazu beigetragen, die Zuverlässigkeit von LLMs zu verbessern. Diese Techniken zeigen, dass LLMs über starke Problemlösungsfähigkeiten verfügen, die für Entscheidungsfindungsfunktionen unerlässlich sind.

Ausserdem haben Forscher verschiedene Wege vorgeschlagen, um LLMs zu verbessern, indem sie sie mit mehr Datenbanken und Informationsabrufsystemen verbinden. Eine Methode heisst Retrieval-Augmented Generation (RAG), die es LLMs ermöglicht, spezifische Informationen abzurufen, wenn sie Antworten generieren, ohne das Modell selbst zu ändern. Das kann dabei helfen, Ungenauigkeiten zu verringern und kann besser abschneiden als traditionelle Methoden, die das Modell direkt verändern.

#Aktuelle Probleme mit RAG

Während die aktuellen RAG-Methoden darauf abzielen, ähnliche Textblöcke in grossen Datenmengen zu finden, hat dieser Ansatz seine Schwächen, insbesondere wenn komplexe Fragen gestellt werden. Einige Versuche, dies durch Hinzufügen von Filtern oder gemischten Suchmethoden zu verbessern, sind durch das, was die Entwickler ursprünglich entworfen haben, begrenzt.

Ausserdem kann es schwierig sein, komplexe Fragen in kleinere, handhabbare Informationsstücke aufzuteilen, was dazu führt, dass eine grosse Menge an unnötigen Daten abgerufen wird. Das Ziel sollte darin bestehen, ein optimales RAG-System zu entwickeln, das nur das abruft, was benötigt wird, ohne irrelevante Details. Hier können KGs einen Unterschied machen. Sie bieten eine klarere und organisiertere Möglichkeit, Informationen über Entitäten und deren Verbindungen zu speichern.

Wissensgraphen ermöglichen das Suchen nach „Dingen, nicht Zeichenfolgen“. Sie können eine grosse Menge an präzisen Fakten als einfache, klare Tripel speichern. Ein Triple kann als eine Beziehung betrachtet werden, die aus zwei Entitäten und der Verbindung zwischen ihnen besteht. KGs können wachsen, wenn neue Informationen hinzugefügt werden, und Experten können spezifische KGs erstellen, die zuverlässige Informationen zu bestimmten Themen enthalten. Beispiele für KGs sind Freebase, Wikidata und YAGO.

Die Forschung konzentriert sich darauf, wie man Graphtechniken am besten mit LLMs für effektive Ergebnisse kombiniert. Diese Arbeit wird ein KG-RAG-System schaffen, das Tripel aus unstrukturiertem Text abruft, sie in einem KG speichert und nach komplexen Informationen sucht, um LLMs mit externen KGs zu unterstützen, die zuverlässiges Wissen behalten.

#Schlüsselkonzepte in KI-Agenten

Um die Probleme von Falschinformationen, Vergessen und den Herausforderungen bei der Suche nach spezifischen Informationen in dichten Datensätzen zu lösen, wird eine neue Pipeline vorgeschlagen, die KG-RAG verwendet. Dieser innovative Ansatz kombiniert KGs mit LLMs, um intelligente Systeme zu schaffen, die in Aufgaben, die detailliertes Wissen erfordern, glänzen.

Jüngste Arbeiten haben die signifikanten Fortschritte in Systemen gezeigt, die Sprachmodell-Agenten (LMAs) mit externen Datenbanken integrieren, um zu verbessern, wie Informationen abgerufen und erinnert werden. Bedeutende Systeme wie ChatDB verwenden Datenbanken für tiefgehende Analysen gespeicherter Erinnerungen. Ähnlich verbessern RET-LLMs Agenten, indem sie Tripel aus vergangenen Gesprächen generieren, um ihnen eine externe Gedächtnisquelle zu geben. Die KG-RAG-Pipeline baut auf diesen Ideen auf, indem sie KGs dynamisch mit LLMs verknüpft und darauf abzielt, Probleme wie Ungenauigkeiten durch besseren Informationsabruf anzugehen.

#Wissensgraph-Konstruktion

Jüngste Verbesserungen bei der Erstellung von KGs konzentrieren sich darauf, unstrukturierten Text in ein strukturiertes Format zu verwandeln. Wichtige Aufgaben in diesem Prozess umfassen die Identifizierung benannter Entitäten und das Extrahieren von Beziehungen, um Tripel zu bilden, die den KG aufbauen. Die Kombination dieser Aufgaben hat gezeigt, dass sie Fehler reduzieren und die Ergebnisse verbessern kann.

Während frühere Arbeiten grösstenteils auf KGs beruhten, die strengen domänenspezifischen Regeln folgten, wird ein flexiblerer und breiterer KG-Ansatz vorgeschlagen. Dieser wird es ermöglichen, sich änderndem Wissen anzupassen und dabei ein breites Spektrum an Themen zu unterstützen.

#Wissensgraph-Fragenbeantwortung (KGQA)

KGQA hat sich von einfachen regelbasierten Systemen zu komplexen Setups entwickelt, die verschiedene Arten von Fragen verarbeiten können. Die Integration von LLMs mit KGs hat zu Verbesserungen in Präzision und Effizienz geführt. Das KG-RAG-System nutzt eine spezielle Methode namens Chain of Explorations, um verfeinerte Suchen nach Antworten basierend auf der Struktur des KGs durchzuführen.

#Unser Beitrag

Die KG-RAG-Pipeline steht für Fortschritte bei der Verschmelzung von KGs als externen Wissensquellen für LLMs. Sie verbessert die aktuellen RAG-Modelle, indem sie KGs verwendet, die aktualisiert werden können, und indem sie bessere Abrufmethoden bereitstellt, die Ungenauigkeiten reduzieren.

#Wie die KG-RAG-Pipeline funktioniert

Das KG-RAG-Framework ist in drei Hauptphasen unterteilt: Speicherung, Abruf und Antwortgenerierung.

Der erste Teil besteht darin, unstrukturierte Textdaten in einen strukturierten KG zu verwandeln, der leicht durchsucht werden kann. Dies geschieht, indem Tripel aus dem Text unter Verwendung eines gut trainierten Modells mit Few-Shot-Lernbeispielen extrahiert werden.

Um komplexere Beziehungen innerhalb des KGs zu verwalten, wird das Konzept der Triple-Hyperknoten eingeführt. Ein Triple-Hyperknoten kann mehrere Tripel unter einem Knoten kombinieren, was ihm ermöglicht, komplexe Muster von Informationen zu verarbeiten.

In diesem Setup werden, sobald der KG erstellt ist, Einbettungen für alle Knoten und Beziehungen berechnet und in einer Vektordatenbank gespeichert. Dies ermöglicht schnelle Suchen während der Abrufphase.

Die Abrufphase ist entscheidend, um relevante Antworten auf Benutzeranfragen zu liefern. Mithilfe der Chain of Explorations-Methode navigiert das Modell sorgfältig durch den KG, um die anwendbarsten Informationen zu finden, indem es durch seine Knoten und Beziehungen geht.

Schliesslich nutzt das LLM in der Antwortgenerierungsphase die in der Abrufphase gefundenen Wege, um klare und relevante Antworten auf Benutzerfragen zu erstellen. Dieser Prozess erfolgt unter Verwendung einer spezifischen Struktur, um sicherzustellen, dass die Antwort den Anforderungen der Anfrage entspricht.

#Experimenteller Aufbau

Die Tests wurden auf einem lokalen Rechner durchgeführt, der mit ausgeklügelten Werkzeugen ausgestattet war, um eine effiziente Ausführung sicherzustellen. Die KG-RAG-Pipeline wurde gegen einen spezialisierten Datensatz evaluiert, der für komplexe Fragen gedacht ist, die detailliertes Denken erfordern. Insgesamt besteht der Datensatz aus 34.689 schwierigen Fragen, was eine echte Herausforderung für jedes wissensbasierte System darstellt.

#Ergebnisse und Evaluationsmetriken

Die Leistung der KG-RAG-Pipeline wurde mit standardmässigen Systemen unter Verwendung strenger Masse wie Exact Match (EM) und F1-Score verglichen. Die Ergebnisse zeigten, dass das KG-RAG-System zwar niedrigere Punktzahlen als einige führende Modelle hatte, aber auch eine signifikant niedrigere Rate an ungenauen Informationen aufwies, was auf vielversprechende Verbesserungen hindeutet.

#Einschränkungen und zukünftige Arbeiten

Eine der Hauptbeschränkungen während der Tests war die Kosten, die mit der Umwandlung grosser Web-Schnipsel in KG-Tripel verbunden sind. Finanzielle Einschränkungen begrenzten die Daten, die für das Training verwendet wurden. Zukünftige Forschungen könnten diesen Prozess verbessern, wenn die Technologie fortschreitet und die Kosten sinken.

Darüber hinaus kann die Qualität der Eingabedaten die Ergebnisse erheblich beeinflussen. Schlechte Informationen können zu weniger genauen Ergebnissen führen, was den Bedarf an besseren Datenquellen oder Methoden anzeigt.

Weitere Anstrengungen könnten darin bestehen, einen neuen Datensatz zu erstellen, der darauf abzielt, die KG-Konstruktion mithilfe dieser Hyperknoten zu verbessern. Dies könnte es Forschern ermöglichen, Modelle zu verfeinern, während die Kosten gesenkt und qualitativ hochwertige Daten bereitgestellt werden.

#Fazit

Die Integration von strukturiertem Wissen mit LLMs bietet neue Möglichkeiten, wie diese Systeme Informationen verwalten. Der Übergang von unstrukturiertem Text zu organisierten KGs kann zu erheblichen Reduzierungen von Ungenauigkeiten führen, was KI-Agenten zuverlässiger macht. Die kontinuierliche Entwicklung von Werkzeugen, die diese Integration unterstützen, wie sie in der KG-RAG-Pipeline demonstriert wird, ist entscheidend, um effektiver und effizienter zu werden.

Das KG-RAG-Framework stellt einen bedeutenden Fortschritt bei der Schaffung von KI-Systemen dar, die schwierige Aufgaben bewältigen und genaue Antworten liefern können. Mit weiteren Verfeinerungen und Forschungen können diese Systeme in verschiedenen Bereichen hervorragende Leistungen erbringen, indem sie ihre Fähigkeiten zur logischen Schlussfolgerung und genauen Reaktion verbessern und hohe Standards für Zuverlässigkeit und faktische Richtigkeit sicherstellen.