Die Bewertungsmethoden für multimodale Modelle neu denken

Grosse multimodale Modelle (LMMs) sind fette Tools, die sowohl Text als auch Bilder verstehen und darüber nachdenken können. Die werden oft mit Multiple-Choice-Fragen (MCQs) getestet, wo eine Frage mit einem Bild und mehreren Antwortmöglichkeiten kombiniert wird. Aber viele Tests, die zur Bewertung dieser Modelle genutzt werden, haben Vorurteile, die die Ergebnisse beeinflussen. Überraschenderweise schneiden einige grosse Sprachmodelle (LLMs), die keine Bilder verarbeiten können, in diesen Tests trotzdem gut ab, was Bedenken hinsichtlich der Zuverlässigkeit der Bewertungen aufwirft.

Um den Testprozess zu verbessern und vertrauenswürdiger zu machen, stellen wir ein neues Benchmark vor, das darauf ausgelegt ist, Fehler zu minimieren und die Bewertung von LMMs zu verbessern. Dieses Benchmark beinhaltet einen sorgfältigen Prozess, bei dem menschliche Annotatoren zusätzliche Fragen zu Wahrnehmung und Wissen zu den ursprünglichen Fragen hinzufügen. Diese zusätzlichen Fragen helfen sicherzustellen, dass die Modelle wirklich das Material verstehen und nicht nur raten.

#Hintergrund

Standardisierte Tests wurden schon immer hinsichtlich ihrer Genauigkeit in der Messung von Kompetenzen in Frage gestellt. Dieses Problem betrifft auch die Bewertung von LMMs, besonders bei beliebten Modellen wie GPT4-o und Gemini-1.5. Normalerweise beinhalten diese Bewertungen MCQs, die Bilder, Fragen und Antwortmöglichkeiten enthalten. Die sind einfacher zu nutzen im Vergleich zu anderen Testmethoden. Aber viele Benchmarks, die für LMMs entworfen wurden, haben eine bedeutende Anzahl von MCQs, was Fragen aufwirft, ob diese Bewertungen die Fähigkeiten der Modelle wirklich widerspiegeln, insbesondere im Vergleich zur menschlichen Leistung.

Forschung hat gezeigt, dass multimodale Bewertungen Vorurteile enthalten können, die es LLMs ermöglichen, gute Ergebnisse zu erzielen, ohne wirklich die Fragen zu verstehen. Einige Studien haben zum Beispiel festgestellt, dass LLMs auch mit begrenzten visuellen Informationen gut abschneiden. Unser Papier konzentriert sich auf drei bekannte multimodale Benchmarks: MMMU, ScienceQA und MathVista.

#Das Problem mit aktuellen Benchmarks

Unsere ersten Studien haben gezeigt, dass LLMs in bestehenden Benchmarks gut abschneiden können, ohne visuelle Informationen verarbeiten zu müssen. Das lag oft an Datenlecks, irrelevanten visuellen Elementen oder einfaches Raten. Der kleine Leistungsunterschied zwischen LLMs und LMMs deutet darauf hin, dass diese Tests die Fähigkeiten der Modelle möglicherweise nicht genau bewerten.

Ein grosses Problem, das identifiziert wurde, ist die Häufigkeit von Typ-I-Fehlern in den Bewertungen. Das passiert, wenn ein Modell richtig antwortet, ohne die zugrunde liegenden Konzepte wirklich zu erfassen. Zum Beispiel könnte ein Modell in der Lage sein, einen Winkel zu berechnen, aber nicht den Namen des Winkels in einem gegebenen Bild erkennen. Das deutet auf ein mangelndes umfassendes Verständnis hin.

Um diese Probleme zu lösen, schlagen wir ein neues Benchmark vor, das die Fähigkeiten der Modelle genauer bewerten wird. Dieses Benchmark bewahrt die Einfachheit von MCQ-Bewertungen, während es Wahrnehmungs- und Wissensfragen einbezieht, um das Verständnis zu verbessern.

#Das neue Benchmark

Unser neues Benchmark enthält eine Vielzahl von Fragen, die darauf ausgelegt sind, die tatsächlichen Fähigkeiten der getesteten Modelle widerzuspiegeln. Wir erweitern jede ursprüngliche Frage um eine Wahrnehmungsfrage und eine Wissensfrage, wodurch ein Set von Dreifachfragen entsteht. Diese Dreifachfragen helfen sicherzustellen, dass die Modelle nicht einfach raten können, sondern echtes Verständnis zeigen müssen.

Durch diesen Ansatz wollen wir ein vertrauenswürdigeres Bewertungssystem ermöglichen, das zwischen echtem Verständnis und blossem Glück unterscheidet.

#Methodologie

#Datenquellen

Um unser neues Benchmark zu erstellen, haben wir drei etablierte multimodale Evaluierungsdatensätze verwendet: MMMU, ScienceQA und MathVista. Diese Datensätze decken eine Reihe von Bildungsthemen und -stufen ab, von der Mittelschule bis zum Bachelor-Studium.

#Annotierungsprozess

Unser Annotierungsprozess besteht aus mehreren Schritten, um die Qualität des neuen Datensatzes zu gewährleisten:

1. Datenüberprüfung: Annotatoren machen sich zuerst mit den ursprünglichen Fragen und den zugrunde liegenden Konzepten vertraut.
2. Frageerstellung: Nachdem die ursprünglichen Fragen verstanden wurden, erstellen die Annotatoren Wahrnehmungs- und Wissensfragen, die relevant zur ursprünglichen Frage sind.
3. Doppelüberprüfung: Jedes annotierte Triplet durchläuft einen Verifizierungsprozess, bei dem unabhängige Gutachter auf Fehler oder logische Inkonsistenzen überprüfen.

Diese strenge Methode gewährleistet, dass unser Benchmark sowohl genau als auch zuverlässig ist.

#Evaluierungsmetriken

Für unser Benchmark schlagen wir zwei Hauptmetriken vor: Echte Genauigkeit (GA) und Durchschnittliche Genauigkeit (AA). GA misst, ob ein Modell alle drei Fragen in einem Triplet korrekt beantworten kann, während AA die Gesamtpunktzahl über alle Fragen berechnet.

Zusätzlich bewerten wir die Wahrnehmungsgenauigkeit (PA) und die Wissensgenauigkeit (KA) basierend auf den hinzugefügten Fragen. Die Konsistenzlücke (CG) misst, wie stark die Leistung eines Modells zwischen der Beantwortung der ursprünglichen Frage und den hinzugefügten Fragen abweicht.

#Experimentelles Setup

In unserer Bewertung haben wir verschiedene LLMs und LMMs sowohl an den ursprünglichen Benchmarks als auch an unserer neuen Evaluierungsmethode getestet. Um die Ausgaben der Modelle zu standardisieren, haben wir ein festes Eingabeformat verwendet, das die Modelle anweist, Antworten basierend auf den gegebenen Optionen zu liefern.

#Bewertete Modelle

Wir haben eine Mischung aus Open-Source-Modellen und proprietären Modellen bewertet. Unter den LLMs haben wir Versionen aus den Qwen- und LLaMA-Serien sowie API-Modelle wie GPT-3.5-Turbo einbezogen. Für LMMs haben wir Modelle wie LLaVA und MiniCPM getestet, zusätzlich zu fortgeschrittenen proprietären Modellen wie GPT-4o.

#Ergebnisse und Diskussion

#Leistungsanalyse

Unsere Ergebnisse zeigen eine signifikante Leistungsdifferenz zwischen den ursprünglichen Benchmarks und unserem neuen Benchmark. Zum Beispiel haben wir beobachtet, dass fortschrittliche Modelle hohe Punktzahlen in den ursprünglichen Benchmarks erreichen konnten, aber bei der Bewertung mit unserer Methode drastisch in der Leistung abfielen. Das deutet darauf hin, dass die ursprünglichen Benchmarks die Fähigkeiten der Modelle möglicherweise nicht vollständig erfassen.

#Konsistenzlücke

Die Ergebnisse hoben auch eine klare Konsistenzlücke (CG) zwischen LLMs und LMMs hervor. Im Allgemeinen zeigten LLMs eine grössere CG, was darauf hindeutet, dass sie möglicherweise kein konsistentes Verständnis des Materials besitzen. Im Gegensatz dazu hielten menschliche Experten eine kleinere CG aufrecht und demonstrierten ihre Fähigkeit, sowohl verwandte als auch ursprüngliche Fragen genau zu beantworten.

Diese Diskrepanz unterstreicht, wie unser Benchmark effektiv Modelle identifiziert, die das Material wirklich verstehen, im Vergleich zu denen, die auf Raten oder Glück angewiesen sind.

#Fazit

Unsere Studie zeigt die Grenzen bestehender multimodaler Benchmarks auf und bietet eine neue Bewertungsmethode, die die Vertrauenswürdigkeit der Bewertungen für LMMs erhöht. Durch die Einführung des Konzepts von Fragen-Dreiergruppen, die aus Wahrnehmungs- und Wissensfragen bestehen, ermöglichen wir eine genauere Messung der Fähigkeiten eines Modells.

Die Ergebnisse unserer Experimente zeigen nicht nur, dass selbst fortschrittliche multimodale Modelle mit unserem Benchmark kämpfen, sondern betonen auch die Wichtigkeit der Verfeinerung von Bewertungsmethoden. Während die Forschung in diesem Bereich weitergeht, zielt unser vorgeschlagenes Benchmark darauf ab, tiefere Einblicke in die Fähigkeiten der LMMs zu ermöglichen und zukünftige Entwicklungen in diesem Bereich zu lenken.

#Zukünftige Richtungen

Für die Zukunft empfehlen wir weitere Erkundungen zur Verbesserung des neuen Benchmarks, einschliesslich der Einbeziehung zusätzlicher Fächer und diversifizierter Fragetypen. Ständige Verbesserungen der Annotierungsprozesse und -methoden werden ebenfalls zu höheren Standards bei der Bewertung multimodaler Modelle beitragen.

Unsere Erkenntnisse ermutigen zu weiteren Untersuchungen der multimodalen Verständnisse, da sie eine entscheidende Rolle bei der Entwicklung anspruchsvollerer Modelle spielt, die in der Lage sind, menschliches Denken und Verständnis nachzuahmen. Das ultimative Ziel ist es, Modelle zu schaffen, die nicht nur bei Bewertungen gut abschneiden, sondern auch wirklich die Welt verstehen, die sie interpretieren.