Eine neue Art, Sprachmodelle zu bewerten

Sprachmodelle haben in den letzten Jahren beeindruckende Fortschritte gemacht und verändern, wie wir Aufgaben wie Textgenerierung und -verständnis angehen. Allerdings kann die richtige Bewertung dieser Modelle knifflig sein. Viele aktuelle Bewertungsmethoden konzentrieren sich nur auf ein oder wenige Eingabeaufforderungen, was möglicherweise nicht die volle Bandbreite zeigt, was ein Modell leisten kann. Dieser enge Ansatz kann zu irreführenden Ergebnissen führen, insbesondere wenn verschiedene Modelle mit unterschiedlichen Aufforderungen verglichen werden.

Ziel dieses Papiers ist es, mehrere Aufforderungen effektiv zu bewerten und einen besseren Überblick darüber zu geben, wie Sprachmodelle insgesamt abschneiden. Wir wollen eine Methode entwickeln, die schnell schätzen kann, wie gut ein Modell über eine Vielzahl von Eingabeaufforderungen funktioniert, mit minimalen Bewertungen.

#Das Problem mit aktuellen Bewertungen

Viele beliebte Methoden zur Bewertung von Sprachmodellen hängen von nur wenigen Eingabeaufforderungsvorlagen ab. Das kann zu unvollständigen Beurteilungen der Fähigkeiten eines Modells führen. Jüngste Studien haben hervorgehoben, wie empfindlich Modelle auf die spezifische Formulierung von Aufforderungen reagieren, was erhebliche Unterschiede in der Leistung zur Folge hat. Diese Probleme können auch zu inkonsistenten Ergebnissen auf Bewertungs-Ranglisten führen, bei denen verschiedene Modelle unterschiedlich abschneiden können, je nach den verwendeten Aufforderungen.

Um dies zu bekämpfen, schlagen wir eine neue Methode vor, die die Leistung über viele Variationen von Aufforderungen hinweg betrachtet. Anstatt uns nur auf eine Aufforderung zu verlassen, kombiniert unser Ansatz die Informationen aus mehreren Aufforderungen, um ein klareres Bild der Fähigkeiten eines Modells zu vermitteln.

#Vorstellung unserer Methode

Unsere Methode basiert auf Erkenntnissen aus der Bildungsbewertung, insbesondere der Item-Response-Theorie (IRT). Das ermöglicht uns, die Leistung über verschiedene Aufforderungen hinweg zu analysieren und präzise Schätzungen zu erstellen, selbst wenn wir nur wenige Optionen gleichzeitig bewerten können.

Wir zeigen, dass unsere Methode kontinuierlich Leistungverteilungen schätzen kann und wenden sie auf drei bekannte Benchmarks an: MMLU, BIG-bench Hard und LMentry. Zum Beispiel kann unsere Methode die Leistung über 100 Aufforderungsvorlagen schätzen, wobei wir nur ein Budget haben, das zwei traditionelle Bewertungen erlaubt.

#Leistungsdistribution und Quantile

Eines der Hauptmerkmale unseres Ansatzes ist der Fokus auf Leistungsdistributionen. Indem wir die Leistung über viele Aufforderungen hinweg betrachten, können wir nützliche Statistiken wie den Durchschnittswert oder andere spezifische Quantile sammeln. Zum Beispiel können wir die typische Leistung (den Median) oder die Leistung der besten 95%, die widerspiegeln könnte, was ein erfahrener Prompt-Engineer erreichen könnte, bestimmen.

Die Verwendung von Leistungsdistributionen ermöglicht es uns, zu untersuchen, wie verschiedene Modelle unter verschiedenen Kontexten abschneiden. Wenn du beispielsweise wissen möchtest, wie ein Modell in einem typischen Szenario abschneidet, könntest du den Median betrachten. Aber wenn du sehen willst, wie es in einer unterdurchschnittlichen Situation abschneiden könnte, könntest du das 5%-Quantil überprüfen.

#Sensitivität in Sprachmodellen angehen

Die Sensitivität von Sprachmodellen gegenüber verschiedenen Eingabeaufforderungsvorlagen wurde in verschiedenen Studien dokumentiert. Kleine Änderungen in der Wortwahl können zu erheblichen Unterschieden in der Genauigkeit führen. Einige Forscher haben vorgeschlagen, diese Sensitivität mit einer Kennzahl namens "Leistungsstreuung" zu messen, die den Abstand zwischen den besten und schlechtesten Leistungen über verschiedene Aufforderungen hinweg betrachtet.

Unsere Arbeit ergänzt dies, indem sie eine Möglichkeit bietet, die gesamte Leistungsdistribution effizient zu berechnen. Dieser Ansatz hilft dabei, einen robusteren Bewertungsrahmen zu schaffen, der das Risiko von unzuverlässigen Ranglisten reduziert, die auf einer einzigen Aufforderung basieren.

#Bewertung über mehrere Eingabeaufforderungsvorlagen

In unserem Papier bewerten wir unsere Methode gegen mehrere Modelle und eine Vielzahl von Eingabeaufforderungsvorlagen. Wir konzentrieren uns auf zwei Hauptaspekte bei der Bewertung:

1. Vergleich der gesamten Leistungsdistribution mit geschätzten Verteilungen, um die Genauigkeit zu bewerten.
2. Bewertung spezifischer Quantile, um zu sehen, wie genau unsere Schätzungen mit den tatsächlichen Werten übereinstimmen.

Dafür nutzen wir drei weithin anerannte Benchmarks: MMLU, BIG-bench Hard und LMentry. Im MMLU-Datensatz allein betrachten wir etwa 14.000 Beispiele, die sich über 57 Fachgebiete erstrecken, und bewerten 15 verschiedene Open-Source-Sprachmodelle.

#Ergebnisse

#Leistungsdistributionen

Unsere Ergebnisse zeigen, dass unsere Methode die Basislinie bei der Schätzung von Leistungsdistributionen deutlich übertrifft. Die Modelle, die zusätzliche Kovariaten wie Embeddings verwenden, schneiden im Allgemeinen besser ab und bieten genauere Schätzungen über verschiedene Aufforderungen hinweg.

#Quantilschätzungen

Wir haben auch untersucht, wie gut unsere Methode spezifische Quantile schätzt. Unsere Ergebnisse deuten darauf hin, dass es zwar schwierig ist, extreme Quantile zu schätzen und mehr Bewertungen erfordert, zentrale Quantile jedoch oft mit einer relativ geringen Anzahl von Bewertungen genau geschätzt werden können.

#Identifikation der besten Aufforderung

Eine weitere interessante Anwendung unserer Methode ist die Identifizierung der besten Aufforderung aus einer Auswahl. Indem wir dies als ein Banditenproblem formulieren, können wir effektiv entscheiden, welche Aufforderungen basierend auf den bisherigen Leistungen bewertet werden sollen. Unsere Methode übertrifft bestehende Ansätze, indem sie eine geringere Bedauernsrate erreicht, was bedeutet, dass sie zuverlässiger näher an die bestperformende Vorlage herankommt.

#Analyse der Aufforderungssensitivität

Wir werfen einen genaueren Blick darauf, wie empfindlich Sprachmodelle auf Änderungen in den Aufforderungsvorlagen reagieren, insbesondere im MMLU-Datensatz. Unsere Analyse zeigt, dass, obwohl die Gesamtmodellleistung konsistent sein kann, die Leistungen einzelner Fächer je nach verwendeter Aufforderung stark variieren können.

#Analyse der Leistungsstreuung

Wenn wir die Leistung über die Fächer hinweg mitteln, beobachten wir eine bemerkenswerte Streuung pro Sprachmodell, obwohl sie im Vergleich zu anderen Datensätzen relativ kleiner ist. Das deutet darauf hin, dass einige Modelle konstant gut abschneiden, die Wahl der Aufforderung jedoch die Leistung in bestimmten Bereichen erheblich beeinflussen kann.

#Konsistenz unter Vorlagen

Ein weiterer wichtiger Aspekt unserer Bewertung besteht darin, zu prüfen, wie konsistent verschiedene Aufforderungen über Fächer oder Modelle hinweg abschneiden. Einige Aufforderungen können in verschiedenen Aufgaben gut abschneiden, während andere möglicherweise nicht so zuverlässig sind. Wir haben festgestellt, dass Aufforderungsvorlagen oft an Konsistenz mangeln, was bedeutet, dass es nicht die eine beste Aufforderung für jede Aufgabe gibt.

#Die Notwendigkeit robuster Bewertungen

Unsere Methode ermöglicht eine gründlichere Bewertung von Sprachmodellen und geht Bedenken hinsichtlich der Zuverlässigkeit von Ergebnissen, die aus einzelnen Aufforderungen abgeleitet sind, nach. Durch die Bereitstellung eines Vergleichs der Verteilungen und Quantile über zahlreiche Eingabeaufforderungsvariationen hinweg können wir auf vertrauenswürdigere Ranglisten und Bewertungen hinarbeiten.

Es gibt jedoch immer noch Herausforderungen zu überwinden. Eine wichtige Frage ist, wie man die richtigen Aufforderungen für die Bewertung auswählt. Unsere Methode hilft dabei, löst aber nicht vollständig das Problem des Prompt-Engineerings, das nach wie vor ein bemerkenswerter Aspekt in der Bewertung von Sprachmodellen bleibt.

#Zukünftige Richtungen

Wenn wir in die Zukunft blicken, wird es interessant sein zu sehen, wie unser Ansatz erweitert werden könnte. Beispielsweise könnte die Anpassung unserer Methode zur Berücksichtigung dynamisch generierter Aufforderungen weitere Verbesserungen in den Modellbewertungen bieten.

Darüber hinaus könnte die Verfeinerung, wie wir mit Korrektheitsbewertungen umgehen, insbesondere in Fällen, in denen die Bewertungen begrenzt oder nicht binär sind, die Effektivität unserer Bewertungen verbessern und zu besseren Erkenntnissen führen.

#Fazit

Zusammenfassend lässt sich sagen, dass unsere Arbeit einen neuartigen und effizienten Ansatz zur Bewertung von Sprachmodellen über mehrere Aufforderungen hinweg einführt. Indem wir Leistungsdistributionen und Quantile mit weniger Bewertungen genau schätzen, können wir klarere Einblicke darin geben, wie verschiedene Modelle abschneiden. Während unsere Methode eine Verbesserung der Methodik darstellt, eröffnet sie auch neue Herausforderungen in der Auswahl von Aufforderungen und Bewertungsstrategien. Während wir Fortschritte machen, wird das Ziel darin bestehen, diese Bewertungen zu verfeinern und sie zuverlässiger und umfassender zu gestalten, um sicherzustellen, dass Sprachmodelle effektiv und sinnvoll bewertet werden können.