VERA: Ein Rahmen für die Bewertung von RAG-Systemen

Die Nutzung von Retrieval-Augmented Generation (RAG)-Systemen wächst in vielen Bereichen, was es wichtig macht, strenge Methoden zu haben, um sicherzustellen, dass diese Systeme genaue und sichere Antworten liefern. In diesem Artikel stellen wir VERA vor, was für Validation and Evaluation of Retrieval-Augmented Systems steht. VERA ist dazu gedacht, die Ausgaben von grossen Sprachmodellen klarer und zuverlässiger zu machen. Dieses Framework bewertet RAG-Systeme auf zwei wichtige Arten: Es kombiniert viele wichtige Metriken zu einem einzigen Punktestand, was es einfacher macht, die Leistung eines Systems zu sehen, und es verwendet Bootstrap-Statistiken, um zu überprüfen, ob die Datenquellen relevant und umfassend sind.

#Die Bedeutung von RAG-Systemen

RAG-Systeme verbessern die Verarbeitung natürlicher Sprache, indem sie grosse Datensammlungen mit leistungsstarker Textgenerierung kombinieren. Diese Systeme sind besonders nützlich für Open-Domain-Fragenbeantwortung, Faktenprüfung und Kundenservice-Interaktionen. Sie liefern Antworten, die relevant und hilfreich sind.

Allerdings teilen RAG-Systeme auch einige Herausforderungen mit regulären Sprachmodellen. Zu diesen Problemen gehören unklare Denkprozesse, das Versagen, unterstützende Beweise für Antworten zu liefern, und die Produktion von Ungenauigkeiten, die zwar korrekt erscheinen, aber irreführend sind. Ausserdem kann die Nutzung dieser Systeme mit statischen Datenbanken zu veralteten oder irrelevanten Antworten führen, weil die Daten möglicherweise nicht alle notwendigen Themen abdecken und die grosse Menge an Daten hohe Kosten für Rechenressourcen verursachen kann.

#Traditionelle Bewertungsmethoden

Traditionelle Methoden zur Bewertung von RAG-Systemen umfassen umfangreiche manuelle Prüfungen und laufende menschliche Aufsicht, die viele Ressourcen beanspruchen können. Um diese Probleme anzugehen, haben wir VERA entwickelt, das dazu beiträgt, RAG-Systeme effektiv zu bewerten und dabei Zeit und Mühe zu sparen.

VERA prüft sowohl die Retrieval- als auch die Antwortphasen von RAG-Systemen mit Metriken, die messen, wie genau Informationen abgerufen werden und wie relevant und wahrheitsgemäss die generierten Antworten sind. Es verwendet auch einen Cross-Encoder, um diese Metriken zu einem Punktestand zu kombinieren, um einen einfachen Vergleich zwischen RAG-Systemen zu ermöglichen. Dieser Punktestand ermöglicht es den Nutzern, schnelle Entscheidungen über die Leistung ihrer Systeme zu treffen.

#Relevanz der Dokumentenrepositorys

Um sicherzustellen, dass RAG-Systeme gut funktionieren, ist es wichtig, die Relevanz der Datenquellen zu überprüfen, die sie verwenden. VERA führt eine Methode ein, um die Relevanz von Dokumentenrepositorys zu bewerten. Dieser Prozess misst, wie gut die Dokumente mit bestimmten Themen oder Themenbereichen zusammenhängen. Zum Beispiel wird in einem Repository, das sich mit "Cloud Computing Sales and Marketing" beschäftigt, die Relevanz bewertet, indem man schaut, wie viele Dokumente tatsächlich Strategien und Trends in diesem Bereich behandeln und irrelevante Themen vermeidet.

#Verwandte Arbeiten

RAG-Systeme wurden zuvor basierend auf ihrer Leistung bei spezifischen Aufgaben unter Verwendung etablierter Bewertungssysteme bewertet. Dazu gehörten Metriken wie EM- und F1-Werte für Klassifizierungsaufgaben und verschiedene andere für Fragenbeantwortung und Faktenprüfung.

Einige Tools automatisieren Bewertungen, doch viele haben immer noch Schwierigkeiten, verschiedene Aspekte von RAG-Systemen zu messen. Jüngste Forschungen haben gezeigt, dass bestimmte fortgeschrittene Sprachmodelle menschliche Urteile in Bewertungen erreichen können, was das Potenzial für die Nutzung dieser Modelle als automatisierte Prüfer unterstreicht.

#Die VERA-Methode

VERA bewertet die Integrität von Dokumentenrepositorys durch verschiedene LLM-basierte Metriken, wie Abrufgenauigkeit und -erinnerung, Treue und Relevanz. Es verwendet dann Techniken wie rangbasierte Aggregationen und Bootstrapping, um die Benutzerfreundlichkeit dieser Metriken zu verbessern.

VERA beginnt damit, Benutzeranfragen zu nehmen und sie mit abgerufenen Antworten von einem RAG-System zu kombinieren. Das bildet die Grundlage für die Bewertung, die sich auf Kontextrelevanz, Antworttreue und Antwortrelevanz konzentriert. Diese Metriken werden mithilfe eines Cross-Encoders kombiniert, um einen Gesamtscore zu generieren, der hilft, bestimmte Aspekte zu priorisieren und informierte Entscheidungen zu treffen.

#LLMs als Evaluatoren

Jüngste Fortschritte bei Sprachmodellen haben sie für die Bewertung von Systemen geeignet gemacht. VERA verwendet ein bestimmtes Modell als Standard-Evaluator aufgrund seines ausgewogenen Verhältnisses von Kosten und Effektivität. Dieses Modell hat starke Leistungen bei Denktests gezeigt und hat andere Modelle in verschiedenen Benchmarks übertroffen.

VERA generiert Metriken wie Treue, Abruf-Erinnerung und Abruf-Genauigkeit. Für jede Metrik werden spezifische Aufgaben zugewiesen, um zu bestimmen, wie gut die Antworten mit den bereitgestellten Kontexten übereinstimmen.

#Multi-Dimensionale Bewertungsmetriken

Die Kombination verschiedener Bewertungsmetriken zu einem Punktestand hilft, den Entscheidungsprozess zu vereinfachen. So müssen die Nutzer nicht durch mehrere Punktestände wühlen, um die Leistung eines Systems zu verstehen.

Traditionelle Methoden zur Kombination von Punkteständen verschleiern oft die individuellen Stärken und Schwächen der Metriken. VERA nutzt fortschrittliche Cross-Encoder-Modelle, die sich auf semantische Beziehungen konzentrieren, um diesen Prozess erheblich zu verbessern.

#Bootstrap-Metriken zur Analyse der Relevanz von Dokumentenrepositorys

Die Bewertung von RAG-Systemen erfordert das Tracking von Metriken wie Abrufgenauigkeit und Treue. Die Ergebnisse dieser Bewertungen können jedoch aufgrund der unberechenbaren Natur von Sprachmodellen variieren. Um die Zuverlässigkeit zu erhöhen, greift VERA auf Bootstrapping-Techniken zurück, die verschiedene Messszenarien ermöglichen und umfassendere Einblicke in die Leistung geben.

Die Bootstrapping-Methode umfasst das Ziehen von Proben aus beobachteten Metriken, um ein klareres Verständnis des Systemverhaltens zu gewinnen, was ein vollständigeres Bild der Leistung gibt.

#Kontrastive Analyse von Abfragen zur Relevanz von Dokumentenrepositorys

Es ist wichtig, den Inhalt innerhalb von Dokumentenrepositorys zu differenzieren, um sicherzustellen, dass sie für spezifische Themen geeignet sind. VERA verwendet einen kontrastrativen Analyse-Framework, um diese Relevanz zu bewerten.

Dazu werden zwei Gruppen von Abfragen erstellt - eine, die mit dem Thema zusammenhängt, und die andere, die völlig unrelated ist. Die Bewertung, wie gut das Repository auf diese beiden Arten von Abfragen reagiert, hebt seinen Fokus auf relevante Inhalte hervor.

#Experimentierung

In unseren Studien haben wir sowohl öffentlich verfügbare als auch proprietäre Datensätze verwendet, um verschiedene RAG-Systeme zu bewerten. Der Open-Source-Datensatz MS MARCO diente als Grundlage für allgemeine Wissensuntersuchungen, während branchenspezifische Datensätze für massgeschneiderte Bewertungen verwendet wurden.

Wir haben auch synthetische Daten mit fortgeschrittenen Modellen generiert, um Anfragen und Antworten zu erstellen, die unseren Testbedürfnissen entsprechen und Vielfalt und Relevanz sicherstellen.

Bei unseren Experimenten haben wir verschiedene Kombinationen von Sprachmodellen mit fortgeschrittenen Abrufsystemen gepaart. Diese gründliche Bewertung betonte, wie unterschiedliche Konfigurationen die Leistung von RAG-Systemen beeinflussen können.

#Ergebnisse und Analyse

Die Ergebnisse zeigten, dass leistungsstarke Sprachmodelle in verschiedenen Metriken gut abschnitten. In unseren Vergleichen schafften es die Modelle, hohe Punktzahlen in Treue und Relevanz zu erzielen, was auf ihre Effektivität beim Abrufen genauer Informationen hinweist.

Beim Vergleich der Leistung stärkerer Modelle mit schwächeren Modellen bemerkten wir konsistente Unterschiede in den Bewertungsmetriken, was die Vorteile der Verwendung fortgeschrittener Modelle hervorhebt.

#Fazit

Dieser Artikel stellt VERA vor, ein Framework, das entwickelt wurde, um RAG-Systeme effektiv zu bewerten. Durch den Fokus auf Schlüsselmetriken wie Treue, Antwortrelevanz und Abrufgenauigkeit zielt VERA darauf ab, Vertrauen in KI-Anwendungen aufzubauen.

Die Ergebnisse zeigen VERAs Fähigkeit, die Entscheidungsfindung in verschiedenen Szenarien zu verbessern, die Integrität von Datenrepositorys aufrechtzuerhalten und sich an sich verändernde Umgebungen anzupassen. Da die Technologie weiterhin voranschreitet, planen wir, VERAs Metriken zu verfeinern und ihre Nutzung in verschiedenen Bereichen auszubauen.

#Einschränkungen und zukünftige Arbeiten

Die Studie erkennt mehrere Einschränkungen an. Sie schloss keine Szenarien mit feinabgestimmten Sprachmodellen ein, die möglicherweise bessere Einblicke gegeben hätten. Der Fokus auf Englisch könnte auch seine Anwendbarkeit auf mehrsprachige Situationen einschränken. Ausserdem ist Bootstrapping, obwohl es einen detaillierten Blick auf komplexe Inhalte bietet, rechnerisch kostspielig.

Zukünftige Arbeiten haben zum Ziel, effizientere Messstrategien zu entwickeln. Wir werden auch die Leistung anderer öffentlich verfügbarer Benchmarks untersuchen, um einen breiteren Kontext für unsere Ergebnisse zu bieten.

#Beispielaufforderungen

#Aufforderung für die Treue-Metrik

Berücksichtige den gegebenen Kontext und die folgenden Aussagen und bestimme dann, ob sie von den Informationen im Kontext unterstützt werden. Gib eine kurze Erklärung für jede Aussage, bevor du zum Urteil (Ja/Nein) gelangst. Gib ein abschliessendes Urteil für jede Aussage in der angegebenen Reihenfolge am Ende im gegebenen Format an.

Kontext: Emma ist eine Doktorandin, die sich auf Meeresbiologie an der Coastal University spezialisiert hat. Sie hat ein grosses Interesse an Korallenriffen und arbeitet an ihrer Thesis über Korallenbleiche. Emma besucht mehrere Seminare über marine Ökosysteme und ist aktiv in der Feldforschung in den nahen Korallenriffen tätig. Sie arbeitet oft mit anderen Forschern zusammen, um ihre Ergebnisse zu veröffentlichen.

• Emma studiert Maschinenbau.
• Emma arbeitet an einem Projekt, das sich mit Korallenriffen befasst.
• Emma besucht oft Workshops zur Informatik.
• Emma arbeitet mit anderen Forschern zusammen.
• Emmas Forschung konzentriert sich auf marine Ökosysteme.

Abschliessendes Urteil für jede Aussage in der Reihenfolge: Nein. Ja. Nein. Ja. Ja.

#Aufforderung für die Abruf-Erinnerung-Metrik

Aufgabe: Gegebenen einen Kontext und eine Antwort, analysiere jeden Satz in der Antwort und klassifiziere, ob der Satz durch den gegebenen Kontext unterstützt wird oder nicht. Denk in Schritten und überlege, bevor du zu einem Schluss kommst.

Kontext: Isaac Newton (25. Dezember 1642 – 20. März 1726/27) war ein englischer Mathematiker, Physiker, Astronom, Alchemist und Autor. Er wird weithin als einer der einflussreichsten Wissenschaftler aller Zeiten und als Schlüsselfigur in der wissenschaftlichen Revolution anerkannt. Sein Buch "Philosophiæ Naturalis Principia Mathematica", das erstmals 1687 veröffentlicht wurde, legte die Grundlagen der klassischen Mechanik. Newton leistete bahnbrechende Beiträge zur Optik und teilt sich mit Gottfried Wilhelm Leibniz die Anerkennung für die Entwicklung des Kalküls.

• Isaac Newton war ein englischer Mathematiker, Physiker und Astronom.
• Er ist bekannt für das Schreiben von "Philosophiæ Naturalis Principia Mathematica."
• Newton erfand das Kalkül unabhängig von Leibniz.

Kandidatensätze:

• Isaac Newton war ein englischer Mathematiker, Physiker und Astronom. [Vom Kontext unterstützt]
• Er ist bekannt für das Schreiben von "Philosophiæ Naturalis Principia Mathematica." [Vom Kontext unterstützt]
• Newton erfand das Kalkül unabhängig von Leibniz. [Nicht vom Kontext unterstützt]

#Aufforderung für die Abruf-Genauigkeits-Metrik

Aufgabe: Bewerte, ob der gegebene Kontext die gestellte Frage beantworten kann, indem relevante Sätze extrahiert werden. Befolge diese Richtlinien:

Frage: Was verursacht das Steigen und Fallen der Gezeiten?

Kontext: Die Gravitationskraft des Mondes und der Sonne verursacht das Steigen und Fallen der Gezeiten. Die Schwerkraft des Mondes hat einen grösseren Einfluss, da er näher an der Erde ist, was hohe und niedrige Gezeiten erzeugt. Die Sonne spielt ebenfalls eine Rolle, jedoch in geringerem Masse.

Kandidatensätze:

• Die Gravitationskraft des Mondes und der Sonne verursacht das Steigen und Fallen der Gezeiten.
• Die Schwerkraft des Mondes hat einen grösseren Einfluss, da er näher an der Erde ist, was hohe und niedrige Gezeiten erzeugt.

#Fragen-Generierung-Aufforderung für die Antwortrelevanz-Metrik

Aufgabe: Erstelle eine Frage basierend auf der gegebenen Antwort. Die Frage sollte spezifisch, klar und direkt mit den Informationen in der Antwort verbunden sein.

Antwort: Die PSLV-C56-Mission ist für Sonntag, den 30. Juli 2023, um 06:30 IST / 01:00 UTC geplant. Sie wird vom Satish Dhawan Space Centre, Sriharikota, Andhra Pradesh, Indien, gestartet.

Generierte Frage: Wann ist das geplante Startdatum und die Uhrzeit für die PSLV-C56-Mission und wo wird sie gestartet?

#Beispiel für die Aufforderung zur RAG-Zusammenfassung mit abgerufenen Abschnitten

Aufgabe: Bewerte die Relevanz und Genauigkeit der Informationen, die als Antwort auf eine Benutzeranfrage abgerufen wurden. Jede Kandidatenantwort sollte hinsichtlich ihrer Übereinstimmung mit dem bereitgestellten Kontext bewertet werden.

Kontext: Die tatsächliche Antwort auf die folgende Frage ist: Basierend auf dem gegebenen Kontext beginnen Erwachsene typischerweise ab dem Alter von 40 Jahren, Knochenmasse zu verlieren. Die Hauptpunkte sind: - Die Knochenmasse erreicht ihren Höhepunkt im jungen Erwachsenenalter und anschliessend gibt es einen langsamen, aber stetigen Verlust der Knochen ab etwa 40 Jahren.

Antwort: Erwachsene beginnen normalerweise ab dem Alter von 40 Jahren, Knochenmasse zu verlieren.

Metriken-Bewertung:

• Antwort-Relevanz: 0.9531866263993314
• Kontext-Genauigkeit: 0.06666666666666667
• Kontext-Erinnerung: 0.2727272727272727
• Treue: 1.0