Evaluierung von Sprachmodellen mit neuen Bewertungsmethoden

Grosse Sprachmodelle (LLMs) werden zu nützlichen Tools für viele Programmieraufgaben. Es ist jedoch super wichtig, zu bewerten, wie gut sie bei bestimmten Codierungsaufgaben abschneiden. Traditionell nutzen die Leute Standardtests, die Benchmarks genannt werden, um diese Modelle zu bewerten.

Benchmarks sind hilfreich, aber sie bringen auch einige Probleme mit sich. Ein grosses Problem dabei ist, dass manchmal die Daten, die zur Erstellung dieser Benchmarks verwendet werden, in die Trainingsdaten der getesteten Modelle gelangen. Das schafft unfairen Vorteil bei den Bewertungen. Eine weitere Herausforderung besteht darin, herauszufinden, warum ein Modell bei bestimmten Tests scheitert, damit diese Probleme später behoben werden können.

Um diese Probleme anzugehen, wurde eine neue Methode zur Erstellung von Benchmarks für Programmieraufgaben vorgeschlagen. Diese Methode nutzt eine Struktur, die Abstract Syntax Tree (AST) genannt wird. ASTs spielen eine wichtige Rolle bei der Analyse von Programmen. Sie können auch helfen, bessere Metriken zu erstellen, um zu testen, wie gut Modelle mit Programmieraufgaben umgehen, besonders hinsichtlich ihrer Fähigkeit, mit verschiedenen Situationen umzugehen.

Der hier vorgestellte Ansatz generiert automatisch neue Benchmarks. Das ist vorteilhaft, weil das bedeutet, dass die Modelle die neu erstellten Benchmark-Daten während ihres Trainings nicht gesehen haben. Zusätzlich ermöglicht es diese Methode, ein Debugging-Wörterbuch zu erstellen. Dieses Wörterbuch enthält Elemente der Programmiersprache, die es für Modelle schwierig machen, sie richtig zu generieren. Sobald dieses Wörterbuch mit Beispielen gefüllt ist, kann es helfen, Probleme in neuen Ausgaben der Modelle einfach zu beheben.

#Wie der Prozess funktioniert

Der Prozess zur Erstellung von Benchmarks beginnt mit der Auswahl eines Quellcodes, der eingebaute Tests hat. Diese Unit-Tests sorgen dafür, dass die Ausgabe des Modells genau überprüft werden kann. Idealerweise sollte der ausgewählte Code aus einer Programmiersprache stammen, die sich von derjenigen unterscheidet, für die die Ausgabe gedacht ist. Nachdem dieser Code ausgewählt wurde, besteht der nächste Schritt darin, den AST mit einem Tool wie tree-sitter zu erzeugen.

Daraufhin können neue Benchmarks erstellt und getestet werden. Ein Beispiel für einen generierten Benchmark wird als Auto-Regressions-Benchmark bezeichnet. Dieser Benchmark basiert auf einem bestimmten Datensatz namens NAPS-Datensatz, der seine eigene AST-Darstellung bietet.

Dieser einzigartige Benchmark konzentriert sich darauf, Text in Code umzuwandeln. Jede Gruppe von Anweisungen, die als Problem bezeichnet wird, enthält Beispiele für Eingabe und Ausgabe. Der Text wird aus dem NAPS AST auf konsistente Weise erzeugt, um sicherzustellen, dass er korrekt ist. Dieser Auto-Regressions-Benchmark kann als Verbesserung angesehen werden, die eine weitere Ebene zu bestehenden Methoden hinzufügt, insbesondere im Hinblick auf codebezogene Aufgaben.

Beim Generieren von Tests erstellt die Methode ein Debugging-Wörterbuch basierend auf häufigen Programmierfehlern, die das Modell macht. Dieses Wörterbuch kann wiederholt verwendet werden, um Ergebnisse zu analysieren und herauszufinden, warum Fehler auftreten.

#Generierung englischer Anweisungen aus einem AST

Um englische Anweisungen aus dem AST zu generieren, durchläuft die Methode die Knoten des Baums und gibt Beschreibungen aus. Die Generierung bleibt einfach, indem der Prozess auf einen einzigen Durchgang durch den Baum beschränkt wird. Dieser Ansatz kann zu einigen Redundanzen führen, wie der Verwendung zusätzlicher Klammern in Ausdrücken, um Verwirrung zu vermeiden. Der Detailgrad und die Klarheit der Anweisungen können je nach Leistung des Modells und dem, was getestet wird, angepasst werden.

Die generierten Anweisungen werden dann dem Modell zusammen mit einem Satz grundlegender Richtlinien bereitgestellt. Diese Richtlinien helfen, die Ausgabe des Modells zu verbessern. Zum Beispiel könnte eine wichtige Regel das Modell anweisen, keine Benutzereingaben anzufordern. Das ist besonders wichtig für bestimmte Modelle, die oft unnötigen Code einfügen, der den Prozess stoppen könnte. Eine andere Richtlinie könnte vorschreiben, dass alle Array-Methoden durch Standard-Listenoperationen ersetzt werden müssen.

Nachdem das Modell Code basierend auf den gegebenen Anweisungen generiert hat, wird dieser dann gegen die Assertionen der Unit-Tests getestet, um seine Leistung zu bewerten. Die Ergebnisse werden ähnlich wie in einem Schulsystem bewertet, wobei jeder Test gleich gewichtet wird. Diese Bewertungsmethode ist bevorzugt, weil sie die Gesamtversuche eines Modells wertschätzt und nicht nur die Bestehensraten.

Der generierte Code kann auch verwendet werden, um Eingabeaufforderungen für weitere Aufgaben zu erstellen. Die Struktur des generierten Codes bleibt in der Regel konsistent, was minimale Abweichungen in den Ausgaben gewährleistet und beim Debuggen hilft.

#Identifizierung häufiger Fehler

Während der Testphase werden Statistiken gesammelt, um herauszufinden, mit welchen Programmierkonstrukten das Modell am meisten Schwierigkeiten hat. Diese Statistiken decken grundlegende Konstrukte wie If-Anweisungen und Schleifen ab, einschliesslich ihrer Verschachtelungsebenen. Zudem umfasst diese Analyse Operationen auf verschiedenen Datenstrukturen wie Listen oder Dictionaries.

Um die für die Tests verwendeten Datensätze zu erstellen, wurde der NAPS-Datensatz ausgewählt. Dieser Datensatz besteht aus Lösungen für Programmierprobleme, die online gefunden wurden. Er ist vorteilhaft, weil er reale Probleme, mehrere Codebeispiele und verwandte Testfälle enthält. Allerdings enthielten die von Menschen verfassten Anweisungen in diesem Datensatz viele Fehler, was zur Entscheidung führte, sich auf die AST zu verlassen, um klarere und konsistentere Anweisungen zu produzieren.

Die erstellten Auto-Regressionsdatensätze waren in unterschiedlichen Grössen verfügbar: einer klein mit 135 Problemen und einer kleineren mit 460 Problemen. Der kleinere Datensatz zeigte eine höhere Erfolgsquote unter den Modellen, offenbarte jedoch keine neuen Fehlerarten. Das deutete darauf hin, dass die bestehenden Anweisungen relativ einfach waren.

#Debugging-Wörterbuch

Die Auto-Regressionsmethode generiert Eingabeaufforderungen, die klar beschreiben, was für die Implementierung benötigt wird. Diese Klarheit erlaubt die Erstellung eines Wörterbuchs, das grundlegende Codierungsprobleme auflistet, um beim Debuggen von Code zu helfen, der in Tests fehlschlägt. Dieses Wörterbuch kann während der Bewertung wiederholt verwendet werden, um die Leistung im Laufe der Zeit nachzuvollziehen.

#Benchmark-Ergebnisse

Die Benchmarks wurden an verschiedenen Modellen getestet, und die Ergebnisse wurden verglichen. Die Modelle wurden darauf bewertet, wie viele Programme sie korrekt abschliessen konnten im Vergleich zur Gesamtanzahl der Tests. Die Ergebnisse zeigten, dass ein Modell, gpt-4o, aussergewöhnlich gut abschnitt, während andere ebenfalls Stärken und Schwächen in verschiedenen Bereichen zeigten.

Bemerkenswert ist, dass einige Modelle Schwierigkeiten hatten, ihren Code aufgrund von nicht übereinstimmenden Klammern zu kompilieren, während andere sich im Umgang mit Schleifen oder bestimmten Operationen verbesserten. Die Ergebnisse demonstrierten erhebliche Fortschritte in der Leistung bestimmter Modelle gegenüber früheren Versionen und unterstrichen den Wert der fortlaufenden Entwicklung.

Die während der Tests gefundenen Fehler wurden zur einfacheren Analyse kategorisiert. Viele Modelle hatten Probleme, bei denen bestimmte Anweisungen entweder vollständig ignoriert oder falsch interpretiert wurden. Das bedeutet, dass, während einige Modelle es schafften, mehrere Tests zu bestehen, sie dennoch zugrunde liegende Fehler hatten, die behoben werden mussten.

#Fazit

Der neue Ansatz, der ASTs zur Erstellung von Benchmarks für Programmieraufgaben verwendet, erweist sich als nützlich bei der Bewältigung von zwei häufigen Problemen in der Bewertung – Datenleckage und Debugging-Herausforderungen. Diese Methodik ermöglicht die Generierung von Benchmarks, die auf verschiedene Aufgaben und Programmiersprachen anwendbar sind.

Weitere Arbeiten sind notwendig, um diese Methodik auf andere Aufgaben und Sprachen anzuwenden. Das Testen der Zuverlässigkeit des Debugging-Wörterbuchs und seiner Wirksamkeit beim Helfen von Modellen kann ebenfalls wertvolle Einblicke für zukünftige Entwicklungen liefern.

Zusammenfassend zeigt die Einführung neuer Methoden zur Generierung von Benchmarks und zur Bewertung codebezogener Aufgaben erhebliches Potenzial zur Verbesserung der Leistung von LLMs in Programmieranwendungen. Durch die Fokussierung auf einen systematischen Ansatz kann das Ziel, die Modellbewertungen zu verbessern, effektiver erreicht werden.