Messung der Varianz in Sprachmodell-Benchmarks

Evaluationsbenchmarks sind super wichtig, um zu messen, wie gut grosse Sprachmodelle (LLMs) performen und um zu zeigen, wie sich diese Modelle verbessern. Am Anfang wurden diese Benchmarks genutzt, um die Stärken und Schwächen von fertiggestellten Modellen zu demonstrieren. Jetzt helfen sie auch dabei, Entscheidungen über Trainingsmethoden zu treffen. Obwohl sie weit verbreitet sind, messen wir selten, wie viel Variation es in diesen Benchmarks gibt, was wichtig ist, um zu wissen, ob Unterschiede in den Ergebnissen signifikant sind.

In diesem Artikel besprechen wir verschiedene Methoden, um die Varianz in Evaluationsbenchmarks zu messen. Wir schauen uns die Varianz an, die durch unterschiedliche Seeds in der Modellinitialisierung verursacht wird, und wie stabil das Training über die Zeit ist. Durch das Testen vieler Modelle, von denen einige öffentlich verfügbar und andere von Grund auf neu trainiert wurden, geben wir praktische Schätzungen für verschiedene Varianzmasse und bieten Vorschläge für bessere Praktiken. Ausserdem betrachten wir die Vor- und Nachteile der Verwendung kontinuierlicher versus diskreter Leistungsmasse und schlagen Wege vor, um Varianz zu verstehen und zu reduzieren.

#Die Rolle der Benchmarks

Evaluationsdatasets sind entscheidend, um Fortschritte bei grossen Sprachmodellen nachzuweisen. Wenn ein neues Modell veröffentlicht wird, kommt es normalerweise mit Ergebnissen von gängigen Benchmarks, um zu zeigen, wie es im Vergleich zu älteren Modellen abschneidet. Diese Benchmarks spielen eine wichtige Rolle dabei, Fortschritte und den Titel „State-of-the-Art“ zu beanspruchen. Viele Entwicklungsentscheidungen basieren darauf, wie sie sich auf diese wichtigen Benchmarks auswirken, was ihre Bedeutung in Modelliterationen unterstreicht.

Trotz ihrer Bedeutung werden Benchmark-Werte oft als eine einzige Zahl betrachtet, und ein tieferer Blick auf diese Werte wird selten geworfen. Es ist gut bekannt, dass Werte durch die Formulierung der Fragen, die Verteilung der Antworten oder sogar die verwendeten Symbole in Multiple-Choice-Setups beeinflusst werden können. Doch die meisten Forschungsberichte geben nur eine einzige Punktzahl pro Benchmark an, ohne zu erklären, wie sie ermittelt wurde. Darüber hinaus werden wichtige Statistiken selten veröffentlicht, was es schwer macht, die Evaluierungsergebnisse zu vertrauen. Diese Unklarheit erschwert es, Modelle während der Entwicklung effektiv zu vergleichen.

#Varianz in Benchmarks

Um das Problem anzugehen, untersuchen wir die Varianz in Benchmark-Werten in einem grösseren Umfang als frühere Studien. Wir analysieren 13 Benchmark-Datasets mit Leistungsdaten von 280 Modellen, einschliesslich voll trainierter öffentlicher Modelle und einer Gruppe, die von Grund auf neu trainiert wurde und sich nur in den zufälligen Seeds unterscheidet.

#Was wir erreichen wollen

Unsere Studie hat drei Hauptziele:

1. Eine detaillierte Anleitung zu den Varianzlevels zu bieten, die für unterschiedliche Benchmarks unter verschiedenen Bedingungen erwartet werden.
2. Praktische Ratschläge zur Reduzierung der Varianz zu geben, insbesondere für kleinere Modelle, die mit wichtigen Auswahlaufgaben umgehen.
3. Vor der Verwendung von Methoden aus Tests für Menschen, wie der Itemanalyse, zu warnen, da wir festgestellt haben, dass sie ineffektiv zur Verringerung der Varianz sind.

Diese Arbeit hebt das oft ignorierte Problem der Benchmarkvarianz hervor, quantifiziert ihre Auswirkungen und zeigt praktische Wege, um damit umzugehen.

#Modelle und Benchmarks analysiert

In unserer Forschung vergleichen wir die Benchmark-Ergebnisse über zahlreiche Modelle, die unter verschiedenen Bedingungen trainiert wurden. Wir haben über 280 Modelle analysiert, darunter zehn Modelle, die auf der Llama-2-7B-Architektur basieren. Diese wurden von Grund auf neu mit einer spezifischen Mischung von Pre-Training-Daten trainiert, sodass alle Durchläufe identisch waren, abgesehen von den Seeds, die für die Initialisierung verwendet wurden.

Jedes Modell wurde auf 210 Milliarden Tokens trainiert, wobei 21 Trainings-Snapshots für jedes Modell gespeichert wurden. Wir haben auch 41 Zwischen- und voll trainierte Modelle auf Basis sowohl der Llama-1- als auch der Llama-2-Architekturen einbezogen, die alle auf derselben Datenmischung trainiert wurden. Schliesslich haben wir 32 öffentlich verfügbare Modelle genutzt, um eine vielfältige Auswahl an Modellarchitekturen und -grössen zu schaffen.

Bei den Benchmarks haben wir 13 gross angelegte, etablierte NLP-Benchmarks verwendet, die verschiedene Aufgaben abdecken, von allgemeinem Wissen bis hin zu komplexem Denken und Programmierung. Dieser Ansatz gab uns eine solide Grundlage, um die Varianz in den Leistungswerten über verschiedene Modelle hinweg zu erkunden.

#Varianz messen

Zunächst konzentrieren wir uns darauf, wie viel Varianz es zwischen verschiedenen Modellen und Datasets gibt. Wir entwickeln verschiedene Metriken, um diese Varianz zu quantifizieren. Zum Beispiel schauen wir uns die Varianz an, die durch Änderungen des Modellseeds bei ähnlichen Setups verursacht wird. Dadurch können wir unterscheiden, ob eine Leistungssteigerung auf einen besseren Trainingsdatensatz oder nur auf Unterschiede in den zufälligen Seeds zurückzuführen ist.

#Wichtige Metriken

Wir berechnen folgende Metriken:

• Seed Mittelwert: Der durchschnittliche Wert der Leistung von Modellen, die die Metrik nach dem Training verwenden.
• Seed Varianz: Die Streuung der Leistungswerte über Modelle, die durch ihre Seeds definiert werden.
• Konfidenzintervalle: Ein Mittel, um den Bereich zu zeigen, in dem wir erwarten, dass die tatsächlichen Leistungswerte liegen.
• Monotonie: Misst, wie konsistent die Werte während des Trainings steigen.

Die Verwendung dieser Metriken bietet einen klareren Blick darauf, wie sich die Varianz über verschiedene Benchmarks verhält.

#Beobachtungen zur Varianz

Wir tauchen tiefer in die beobachtete Varianz in unseren Seed-Modellen ein. Unsere Ergebnisse über verschiedene Benchmarks zeigen, dass die Werte sogar nach signifikantem Training nahe am Zufallswert bleiben können. Einige Benchmarks zeigen eine hohe Varianz aufgrund begrenzter Testproben, während andere eine niedrigere Varianz aufweisen, aber trotzdem eine sorgfältige Interpretation beim Vergleichen von Modellen erfordern.

Interessanterweise finden wir heraus, dass kleine Änderungen in der Formulierung von Aufgaben die Varianz in den Modellen, insbesondere in kleineren, erheblich reduzieren können. Zum Beispiel kann es zu stabileren Ergebnissen führen, wenn Auswahlaufgaben als Abschlussaufgaben behandelt werden. Andererseits haben Methoden, die aus der Literatur über menschliche Tests übernommen wurden, sich als ineffektiv bei der Senkung der Varianz in Evaluierungen von Sprachmodellen erwiesen.

#Vergleich von diskreten und kontinuierlichen Metriken

Während unserer Analyse vergleichen wir kontinuierliche Metriken mit diskreten. Kontinuierliche Metriken haben tendenziell ein höheres Signal-Rausch-Verhältnis (SNR) und sind daher zuverlässiger für den Vergleich verschiedener Modelle. Diese Beobachtung legt nahe, dass die Verwendung kontinuierlicher Masse während der Modellbewertungen klarere Einblicke bietet und beim Aufbau besserer Skalierungsgesetze für nachgelagerte Aufgaben hilft.

#Die MMLU-Herausforderung

Wir untersuchen den Multiple-Choice Language Understanding Benchmark (MMLU), um Probleme mit etablierten Benchmarks hervorzuheben. Durch den Vergleich von zwei Ansätzen zu MMLU (Standard und Cloze) stellen wir fest, dass das Cloze-Format zu einer geringeren Seed-Varianz und höherer Stabilität führt. Das deutet darauf hin, dass weniger konventionelle Methoden während des frühen Modelltrainings bessere Einblicke liefern könnten.

#Varianz reduzieren durch Itemanalyse

Um die Varianz zu reduzieren, wenden wir Konzepte aus der Itemanalyse an, einem Verfahren, das in standardisierten Tests verwendet wird, um die Effektivität einzelner Fragen zu bewerten. Dieser Ansatz erlaubt es uns, spezifische Metriken wie Item-Schwierigkeit und Diskriminierung zu betrachten.

Die Item-Schwierigkeit zeigt an, wie gut Modelle bei verschiedenen Items abschneiden, während die Item-Diskriminierung bewertet, wie gut einzelne Items zwischen den Leistungen der Modelle unterscheiden können. Obwohl dies einen Rahmen für die Bewertung bietet, stellen wir fest, dass die Item-Diskriminierungsergebnisse nicht viel nützliche Informationen über die Evaluierungen von Sprachmodellen liefern.

#Die Grenzen der Item-Response-Theorie

Wir prüfen auch die Item-Response-Theorie (IRT), einen statistischen Ansatz, der ursprünglich auf menschlichen Testergebnissen basierte. Neuere Anwendungen haben vorgeschlagen, dass diese Methode helfen kann, Evaluierungsproben für Modelle zu analysieren und zu clustern. Unsere Ergebnisse zeigen jedoch, dass die Verwendung von IRT-Methoden zu höherer Varianz führen kann, was die Vergleiche zwischen Modellen erschweren könnte.

#Verwandte Arbeiten

Zahlreiche Studien weisen auf die Lücken bei der Bewertung von Benchmarks hin, mit verschiedenen Verbesserungsvorschlägen. Diese Forschung baut auf früheren Arbeiten auf, indem sie die Bedeutung der Quantifizierung der Varianz über mehrere Dimensionen hinweg betont und Techniken zur Minderung vorschlägt.

#Praktische Empfehlungen

Basierend auf unseren Ergebnissen ermutigen wir Forscher und Praktiker dazu:

1. Varianz berücksichtigen: Immer die Varianz berücksichtigen, wenn Modelle gegen Benchmarks bewertet werden.
2. Kontinuierliche Metriken verwenden: Zu kontinuierlichen Leistungsmassen neigen, um bessere Vergleiche zu ermöglichen.
3. Alternative Formate ausprobieren: Wenn möglich, Aufgaben auf weniger konventionelle Weise formulieren, um das Rauschen zu reduzieren.
4. Vorsicht bei standardisierten Testmethoden: Methoden aus standardisierten Tests für Menschen können sich möglicherweise nicht gut auf die Evaluierung von Sprachmodellen übertragen lassen.

#Fazit

Während grosse Sprachmodelle immer verbreiteter werden, wird es zunehmend wichtiger, ihre Fähigkeiten durch Evaluationsbenchmarks zu verstehen. Dieser Artikel hebt die Bedeutung der Messung von Varianz in Benchmark-Werten hervor. Durch die Analyse verschiedener Ansätze und die Identifizierung effektiver Praktiken wollen wir die Zuverlässigkeit von Modellbewertungen und -vergleichen verbessern und letztendlich zu informierteren Entscheidungen in der Modellentwicklung und -bereitstellung beitragen.

Durch diese Arbeit hoffen wir, ein grösseres Interesse und Forschung zu Strategien zur Varianzreduktion anzuregen, die die gesamte Bewertung von Sprachmodellen verbessern können, was zu effektiveren und zuverlässigeren Fortschritten in diesem Bereich führt.