Umgang mit Beziehungs-Halluzinationen in multimodalen KI

Grosse Sprachmodelle (LLMs) haben die Art und Weise, wie wir mit künstlicher Intelligenz interagieren, verändert. Sie können Texte generieren, Fragen beantworten und sogar Bilder verstehen. Allerdings haben sie Probleme, die als "Halluzinationen" bekannt sind, bei denen sie falsche oder irreführende Informationen produzieren, die nicht auf echtem Wissen basieren.

Diese Probleme werden noch komplizierter, wenn wir uns multimodale grosse Sprachmodelle (MLLMs) anschauen, die Text und Bilder kombinieren. Hier können Halluzinationen auftreten, wenn das Modell Objekte oder Beziehungen in einem Bild falsch darstellt. Zum Beispiel, wenn ein Modell einen Jungen neben einem Tisch sieht, aber behauptet, dass der Junge auf dem Tisch steht, wäre das eine Halluzination. Es ist wichtig, diese Probleme anzugehen, um sicherzustellen, dass MLLMs in realen Szenarien vertrauenswürdig sind.

#Was sind Beziehungs-Halluzinationen?

Halluzinationen in diesen Modellen lassen sich in drei Haupttypen unterteilen: Objekt-Halluzinationen, Attribut-Halluzinationen und Beziehungs-Halluzinationen.

• Objekt-Halluzinationen konzentrieren sich darauf, ob das Modell grundlegende Objekte in einem Bild richtig identifizieren kann.
• Attribut-Halluzinationen schauen, ob das Modell Eigenschaften wie Farbe oder Form dieser Objekte genau beschreiben kann.
• Beziehungs-Halluzinationen sind komplexer. Sie drehen sich darum, wie gut das Modell die Beziehungen zwischen mehreren Objekten in einem Bild versteht.

Wenn ein Modell zum Beispiel eine Katze und einen Stuhl sieht und behauptet, die Katze sitze auf dem Stuhl, wo sie tatsächlich darunter ist, wäre das eine Beziehungs-Halluzination.

#Herausforderungen mit bestehender Forschung

Die meisten Forschungen zu Halluzinationen konzentrieren sich auf die ersten beiden Typen (Objekt und Attribut) und gehen nicht tief genug auf Beziehungs-Halluzinationen ein. Aktuelle Methoden zur Bewertung dieser Halluzinationen übersehen oft Details. Sie können sich auf einfache Methoden verlassen, die kein vollständiges Bild liefern. Das kann zu Verzerrungen führen, die davon abhängen, wie die Daten gesammelt und gekennzeichnet werden.

Zum Beispiel könnten bestehende Datensätze reale Situationen nicht gut repräsentieren oder gewisse Beziehungen überbetonen. Deshalb gibt es einen Bedarf, einen Benchmark zu erstellen, der Beziehungs-Halluzinationen in MLLMs besser bewertet.

#Einführung von Reefknot

Um diese Herausforderungen anzugehen, haben wir einen neuen Benchmark namens Reefknot geschaffen. Dieser Benchmark konzentriert sich auf Beziehungs-Halluzinationen in MLLMs und besteht aus über 20.000 realen Beispielen.

Zuerst definieren wir Beziehungs-Halluzinationen klar und kombinieren Ideen davon, wie wir Dinge wahrnehmen und wie wir über sie nachdenken. Dann erstellen wir einen Datensatz mit einer vertrauenswürdigen Quelle namens Visual Genome, die uns hilft, bedeutungsvolle Beziehungen zwischen Objekten zu sammeln.

In unserer Bewertung haben wir aktuelle MLLMs untersucht und festgestellt, dass sie erheblich mit Beziehungs-Halluzinationen kämpfen. Um dieses Problem zu lösen, schlagen wir eine neue Strategie vor, die darin besteht, das Vertrauen des Modells in seine Antworten zu messen, um das Auftreten dieser Halluzinationen zu reduzieren.

#Bewertung von Beziehungs-Halluzinationen

Unsere Bewertung nutzt drei Aufgaben:

1. Ja/Nein Fragen (Y/N): Diese Fragen fragen das Modell, ob eine bestimmte Beziehung basierend auf dem Bild existiert.
2. Multiple-Choice Fragen (MCQ): Diese Aufgabe präsentiert eine richtige Antwort und drei falsche Optionen, um das Verständnis des Modells zu testen.
3. Visuelle Frage-Antworten (VQA): In dieser Aufgabe beantwortet das Modell offene Fragen zum Bild.

Bei diesen Aufgaben haben wir entdeckt, dass aktuelle Modelle oft Schwierigkeiten haben, Beziehungs-Halluzinationen effektiv zu managen.

#Die Bedeutung des Vertrauens in Antworten

Ein zentrales Ergebnis ist, dass viele Halluzinationen auftreten, wenn Modelle kein Vertrauen in ihre Antworten haben. Wenn ein Modell unsicher ist, steigt die Wahrscheinlichkeit, dass es eine Halluzination erzeugt. Um dem entgegenzuwirken, haben wir eine Technik namens "Detect-then-Calibrate" entwickelt.

Die Idee ist einfach: Wenn das Vertrauen eines Modells unter ein bestimmtes Niveau fällt, deutet das darauf hin, dass die gegebene Antwort möglicherweise falsch ist. In diesen Fällen passen wir die Ausgabe des Modells mithilfe von Informationen aus früheren Verarbeitungsschichten an, um die endgültige Antwort zu verbessern. Diese Methode hat vielversprechende Ergebnisse gezeigt und Halluzinationen in unseren Tests um nahezu 10% reduziert.

#Aufbau des Reefknot-Datensatzes

Die Erstellung des Reefknot-Datensatzes war ein sorgfältiger Prozess. Wir haben damit begonnen, Beziehungs-Triaden aus dem Visual Genome-Datensatz zu identifizieren. Jede Triade besteht aus einem Subjekt, einer Beziehung und einem Objekt. Nach der Filterung weniger nützlicher Beispiele haben wir die Beziehungen in zwei Typen kategorisiert: perceptive und kognitive.

• Perceptive Beziehungen: Diese beinhalten klare, lokative Begriffe wie "auf" oder "hinter".
• Kognitive Beziehungen: Diese sind abstrakter und beziehen sich auf Aktionen wie "beobachten" oder "halten".

Als nächstes haben wir eine Reihe von Fragen basierend auf diesen Beziehungen konstruiert, wobei wir sichergestellt haben, dass jede Frage direkt mit dem Inhalt des Bildes verbunden ist und Mehrdeutigkeiten vermeidet.

#Bewertung von MLLMs mit Reefknot

Wir haben mehrere beliebte MLLMs mit dem Reefknot-Benchmark getestet. Die Ergebnisse zeigten erhebliche Unterschiede in der Leistung. Einige Modelle haben in bestimmten Aufgaben besser abgeschnitten und hatten in anderen Schwierigkeiten, was die Notwendigkeit massgeschneiderter Anpassungen zur Verbesserung ihrer Gesamtleistung zeigte.

Interessanterweise traten kognitive Halluzinationen seltener auf als perceptive. Das mag kontraintuitiv erscheinen. Die Modelle werden oft auf Datensätzen trainiert, die reich an visuellen Beschreibungen sind, was ihnen einen Vorteil beim Verständnis kognitiver Beziehungen gibt, während sie perceptive verfehlen.

#Analyse der Wahrscheinlichkeitsverteilungen

Unsere Studie hat auch untersucht, wie sich die Vertrauensniveaus ändern, wenn Halluzinationen auftreten. Es scheint, dass das Vertrauen der Modelle signifikant sinkt, wenn sie falsche Informationen generieren. Für genaue Vorhersagen zeigen Modelle in der Regel ein hohes Vertrauen von fast 95%. Wenn jedoch Halluzinationen auftreten, kann dieses Vertrauen auf etwa 70% sinken.

Durch die Untersuchung dieser Wahrscheinlichkeitsmuster konnten wir Halluzinationen effektiver identifizieren. Diese Analyse hilft uns, die tiefen Schichten in MLLMs zu verstehen, in denen Halluzinationen wahrscheinlicher auftreten.

#Detect-Then-Calibrate-Methode

Unsere "Detect-then-Calibrate"-Methode ist entscheidend, um Beziehungs-Halluzinationen zu bekämpfen. Indem wir überwachen, wann Modelle kein Vertrauen haben, können wir ihre Antworten besser anpassen. Wenn ein Modell unsicher ist, verwenden wir versteckte Zustände aus früheren Schichten, die im Allgemeinen zuverlässiger sind, um die endgültigen Ausgaben zu verbessern.

Durch rigorouses Testen zeigte diese Methode Verbesserungen über mehrere Datensätze hinweg und bestätigte ihre Wirksamkeit.

#Fazit und zukünftige Richtungen

Zusammenfassend hebt unsere Arbeit die erheblichen Lücken hervor, die bei der Behandlung von Beziehungs-Halluzinationen in MLLMs bestehen. Der Reefknot-Benchmark dient als wertvolles Werkzeug zur Bewertung dieser Modelle und zur Anleitung zukünftiger Verbesserungen.

Während unser aktueller Ansatz grundlegende Halluzinationen erfolgreich mindert, ist weitere Erforschung nötig, um Beziehungs-Halluzinationen in breiteren Kontexten zu verstehen und anzugehen. In Zukunft wollen wir die Ursachen dieser Probleme untersuchen und unsere Techniken zur Verbesserung der Zuverlässigkeit verfeinern.

Indem wir uns auf diese Bereiche konzentrieren, hoffen wir, zur Weiterentwicklung vertrauenswürdiger multimodaler KI-Systeme beizutragen, sodass sie genaue und sinnvolle Interaktionen in realen Anwendungen bieten.