Visual Halluzinationen in KI-Modellen ansprechen

Visuelle Halluzination (VH) tritt auf, wenn ein multimodales grosses Sprachmodell (MLLM) falsche Infos über ein Bild generiert, während es visuelle Fragen beantwortet. Frühere Forschungen haben sich hauptsächlich auf bestehende Bilddatensätze konzentriert, was zu einem engen Blick auf die Leistung von MLLMs führt, da diese Datensätze in VH-Beispielen nicht vielfältig sind. Diese Studie stellt ein Tool vor, das eine diverse Sammlung von VH-Instanzen erstellt.

#Überblick über das Tool

Das Tool generiert visuelle Halluzinationsinstanzen, indem es erste VH-Beispiele in bestehenden Bilddatensätzen identifiziert, wie zum Beispiel COCO. Es erstellt eine Textbeschreibung für jedes VH-Beispiel und nutzt ein Text-zu-Bild-Modell, um entsprechende VH-Bilder aus diesen Beschreibungen zu generieren. Insgesamt stellen wir einen Benchmark-Datensatz mit 1.200 VH-Instanzen aus acht VH-Typen zusammen. Tests zeigen, dass beliebte MLLMs oft stark halluzinieren, wenn sie mit diesem Benchmark bewertet werden. Zudem kann das Fine-Tuning eines MLLMs auf diesem Benchmark seine Neigung zur Halluzination verringern, ohne dass die Leistung bei anderen Aufgaben beeinträchtigt wird.

#Komponenten eines multimodalen grossen Sprachmodells

Ein multimodales LLM generiert Textantworten basierend auf Bildern und den dazugehörigen Fragen. Generell bestehen diese Modelle aus drei Hauptteilen: einem Vision-Encoder, einem Vision-Language-Connector und dem Sprachmodell selbst. Der Vision-Encoder wandelt ein Bild in eine Vektordarstellung um. Der Vision-Language-Connector mappt diesen Vektor in den Raum des Sprachmodells und kombiniert ihn mit den Fragestoken. Dieses Input ermöglicht es dem Sprachmodell, eine Textantwort zu erzeugen.

#Was sind visuelle Halluzinationen?

Visuelle Halluzinationen treten auf, wenn ein MLLM faktisch falsche Details über ein Bild angibt. Zum Beispiel, wenn ein MLLM eine Antwort generiert, die von zwei Lampen spricht, während das Bild tatsächlich drei zeigt, ist das ein klassischer Fall von visueller Halluzination. Die Häufigkeit von VHs stellt eine Herausforderung für die Entwicklung sicherer und zuverlässiger KI-Systeme dar, wie in jüngsten Richtlinien hervorgehoben, die die Notwendigkeit gründlicher Tests betonen, um potenzielle Risiken durch fortschrittliche KI-Technologien zu mindern.

#Frühere Forschungen und Einschränkungen

Frühere Studien versuchten, VHs in MLLMs zu benchmarken, beschränkten ihre Ergebnisse jedoch auf bestehende Bilddatensätze, was das Verständnis dafür einschränkt, wie MLLMs mit diesen Instanzen umgehen. Die Abhängigkeit von bekannten Datensätzen führt zu einer verzerrten Bewertung der Fähigkeiten eines MLLMs, da diese Datensätze möglicherweise Teil der Trainingsdaten des MLLMs waren. Daher können aus solchen Benchmarks gezogene Schlussfolgerungen irreführend sein.

#Unser Ansatz

Wir stellen eine neue Methode zur Generierung von VH-Instanzen zur Bewertung von MLLMs vor. Dabei gibt es drei Schritte:

1. Finden von initialen VH-Instanzen: Wir identifizieren erste VH-Beispiele mithilfe existierender Bilddatensätze wie COCO. Das beinhaltet das Finden von Bildpaaren, die in einem Modell hohe Ähnlichkeit, in einem anderen jedoch geringe aufweisen. Solche Diskrepanzen deuten auf das Potenzial für VHs hin.

2. Generierung von Textbeschreibungen: Für jeden in Schritt eins identifizierten VH-Modus erstellen wir eine Textbeschreibung, die seine visuellen Eigenschaften hervorhebt.

3. Erstellung von VH-Bildern: Schliesslich nutzen wir ein generatives Modell, um neue Bilder basierend auf diesen Textbeschreibungen zu erstellen und bereiten Fragen und Antworten vor, um die MLLMs zu bewerten.

Insgesamt entwickeln wir einen Benchmark mit 1.200 VH-Instanzen aus acht verschiedenen Modi, die verschiedene visuelle Eigenschaften wie Existenz, Form, Farbe, Orientierung und Zählen repräsentieren.

#Bewertung multimodaler grosser Sprachmodelle

Wir bewerten führende MLLMs basierend auf ihrer Leistung gegenüber unserem Benchmark. Die Ergebnisse zeigen, dass MLLMs häufig in vielen Instanzen halluzinieren. Zum Beispiel zeigten die Modelle niedrige Genauigkeitswerte bei unserem Benchmark, mit bemerkenswerten Leistungsunterschieden bei verschiedenen VH-Typen.

#Fine-Tuning und seine Effekte

Wir untersuchen auch, ob das Fine-Tuning eines MLLMs auf dem Benchmark seine Neigung zur Halluzination verringern kann. Unsere Experimente zeigen, dass Fine-Tuning zu einer verbesserten Leistung bei Halluzination-Aufgaben führt, während die Effizienz des Modells bei anderen Datensätzen erhalten bleibt.

#Verständnis der visuellen Halluzinationsmodi

Wir kategorisieren VHs in verschiedene Typen, die jeweils mit spezifischen visuellen Eigenschaften verbunden sind:

1. Existenz VH: Ein Modell erkennt Objekte in einem Bild nicht oder identifiziert fälschlicherweise nicht existente Objekte.
2. Form VH: Das Modell interpretiert die Formen von Objekten falsch oder vereinfacht sie.
3. Farbe VH: Es identifiziert die Farben von Objekten ungenau oder übersieht subtile Variationen.
4. Orientierung VH: Das Modell hat Schwierigkeiten mit der Richtung, in die Objekte schauen, besonders in komplexen Szenen.
5. OCR VH: Es kann Zeichen aufgrund visueller Störungen oder Fehlalignierung nicht korrekt lesen.
6. Grösse VH: Schwierigkeiten treten beim Vergleich der Grössen von Objekten aufgrund von Perspektive oder visueller Überlastung auf.
7. Position VH: Das Modell hat Probleme, räumliche Beziehungen zwischen Objekten zu verstehen.
8. Zählung VH: Es zählt Objekte ungenau und fusioniert oder übersieht sie oft.

#Generierung visueller Halluzinationsinstanzen

Um VH-Instanzen zu erzeugen, beginnt unser Ansatz damit, bestehende Bilder zu untersuchen, um geeignete Kandidaten basierend auf der Ähnlichkeit in den Embeddings zu finden. Wir formulieren spezifische Fragen und Referenzantworten, um erfolgreiche VH-Instanzen zu schaffen. Darüber hinaus stellen wir durch die Generierung von Textbeschreibungen und VH-Bildern sicher, dass die Modelle in abwechslungsreichen Szenarien getestet werden, um ihre Leistung genau zu beurteilen.

#Fazit und zukünftige Arbeiten

Diese Studie führt eine Methode zur Generierung und Bewertung von VH-Instanzen in MLLMs ein. Unsere Ergebnisse deuten darauf hin, dass bestehende MLLMs eine hohe Häufigkeit von Halluzinationen bei unseren Benchmarks aufweisen. Fine-Tuning kann helfen, diese Probleme zu mildern und die Genauigkeit zu verbessern, ohne die Funktionalität zu beeinträchtigen. In Zukunft wäre die Schaffung eines vollständig automatisierten Systems zur Generierung von VH-Instanzen ein wertvoller nächster Schritt, um umfassende Tests und Verbesserungen von MLLMs in verschiedenen Kontexten zu ermöglichen.

#Implikationen

Das Verständnis und die Bekämpfung visueller Halluzinationen in multimodalen LLMs ist entscheidend für den Fortschritt der KI-Technologie. Diese Forschung hebt die Bedeutung vielfältiger Testmethoden hervor und zeigt auf, wie KI-Systeme zuverlässiger und genauer im Verständnis visueller Informationen gemacht werden können. Durch die Schaffung eines umfassenden Sets von Evaluierungstools ebnen wir den Weg für besser funktionierende KI-Modelle, die komplexe visuelle Aufgaben mit verbesserter Genauigkeit bewältigen können.