Bewertung von Programmier-Challenges für Sprachmodelle

Grosse Sprachmodelle (LLMs) zeigen grosses Potenzial im Bereich Software Engineering, besonders wenn's um Programmieraufgaben geht, wie das Schreiben und Vervollständigen von Code. Die Bewertung dieser LLMs dreht sich normalerweise um allgemeine Metriken, die mit bestimmten Benchmarks berechnet werden. Während diese Benchmarks eine allgemeine Idee davon geben, wie gut verschiedene LLMs abschneiden, zeigen sie nicht wirklich, wie jede Programmieraufgabe die Fähigkeiten des LLM beeinflusst.

Ein wichtiger Aspekt ist das Schwierigkeitsniveau der Aufgaben in diesen Benchmarks, das nicht genau in den Bewertungen widergespiegelt wird, die zur Messung der Leistung des Modells verwendet werden. Zum Beispiel könnte ein Modell, das 90% bei einem Set aus hauptsächlich einfachen Aufgaben erreicht, weniger fähig sein als ein anderes Modell, das ebenfalls 90% erzielt, aber an einem Set von überwiegend schwierigen Aufgaben arbeitet. Um diese Lücke zu schliessen, haben Forscher ein Framework namens HardEval entwickelt, das darauf abzielt, die Schwierigkeit von Aufgaben für LLMs zu bewerten und neue Aufgaben basierend auf den als schwierig identifizierten zu erstellen.

Das Wesentliche des HardEval-Frameworks liegt in der Generierung einer Vielzahl von Eingabeaufforderungen für eine einzige Aufgabe über verschiedene LLMs hinweg. Dadurch können die Forscher eine Schwierigkeitsbewertung für jede Aufgabe in einem Benchmark erhalten. Zum Beispiel kann das HardEval-Framework mithilfe zweier Code-Generierungs-Benchmarks namens HumanEval+ und ClassEval zuverlässig die schwierigen Aufgaben identifizieren. Die Forschung hat gezeigt, dass nur 21% der Aufgaben in HumanEval+ und 27% in ClassEval tatsächlich schwer für LLMs waren.

Aus ihrer Analyse der Aufgabenschwierigkeit identifizierten die Forscher auch sechs praktische Themen für schwierige Aufgaben, die sie zur Erstellung neuer herausfordernder Aufgaben verwendeten. Im Gegensatz zu bestehenden Methoden, die die allgemeine Benchmark-Leistung messen, bietet HardEval eine verfeinerte Bewertung der Fähigkeiten von LLMs. Die Schwierigkeitsbewertung von HardEval kann Forschern und Praktikern helfen, schwierige Aufgaben in aktuellen Benchmarks zu identifizieren und zusätzliche schwierige Aufgaben zu generieren, die auf spezifische Themen abzielen, was möglicherweise die LLMs verbessert.

Obwohl diese Forschung sich auf Code-Generierungsaufgaben konzentriert, kann das HardEval-Framework auch auf andere Bereiche wie Code-Vervollständigung oder Frage-Antwort-Aufgaben angewendet werden.

LLMs sind für verschiedene Programmieraufgaben im Software Engineering populär geworden. Obwohl die Leistung von LLMs beim Produzieren von Code für verschiedene Programmiersprachen – wie Python, Java und C – vielversprechend ist, ist es wichtig zu beachten, dass der von LLMs generierte Code immer noch Mängel aufweisen kann. Forscher haben darauf hingewiesen, dass dieser generierte Code oft anfällig für Bugs sein kann und möglicherweise Probleme in Bezug auf Sicherheit und Qualität hat.

Typischerweise werden zur Bewertung von LLMs in Code-Generierungsaufgaben und zum Vergleich ihrer Leistungen bekannte Benchmarks wie HumanEval, MBPP, CoderEval und ClassEval verwendet. Diese Benchmarks werden in der Regel durch Handarbeit oder durch das Mining öffentlicher Code-Repositories, wie etwa auf GitHub, erstellt. Dieser Ansatz bedeutet jedoch, dass die Bewertung der Code-Generierungsfähigkeiten von LLMs indirekt erfolgt und auf allgemeinen Eigenschaften basiert, anstatt auf dem spezifischen Schwierigkeitsgrad einzelner Aufgaben.

Ein Beispiel aus dem HumanEval-Benchmark hebt dieses Problem hervor. Die Aufgabe könnte darin bestehen, eine Funktion namens cycpattern_check zu implementieren, die prüft, ob das zweite Wort oder eine seiner Rotation eine Teilzeichenfolge des ersten Wortes ist. Um ein LLM zu bewerten, kann dieser Prompt ausgeführt werden, und das Ergebnis kann mit vorgegebenen Tests verglichen werden, um die Korrektheit zu überprüfen. Wenn jedoch die meisten Modelle bei dieser Aufgabe scheitern, stellt sich die Frage: Ist diese Aufgabe wirklich schwer?

Um diese Unsicherheit zu klären, stellt das HardEval-Framework fest, dass diese Aufgabe, wenn sie richtig bewertet wird, nicht besonders schwierig ist. Durch eine leichte Umformulierung des Prompts oder durch das Hinzufügen von Kontext waren die LLMs in der Lage, die Aufgabe effektiv zu bewältigen. So könnte der ursprüngliche Prompt als herausfordernd wahrgenommen werden, die zugrunde liegende Aufgabe ist es jedoch nicht.

Um ihre Forschung zu leiten, haben die Forscher mehrere Schlüsselfragen aufgestellt, die die Grundlage ihrer Studie bildeten. Das HardEval-Framework verbessert das Verständnis dafür, wie man schwierige Programmieraufgaben für LLMs bewertet und erkennt.

HardEval baut seine Bewertungen auf bestehenden Benchmarks auf, die Sets von Aufgaben enthalten, die durch einzelne Prompts dargestellt werden. Das Framework unterscheidet zwischen einer "Aufgabe", die die Kernfunktion darstellt, die implementiert werden soll, und einem "Prompt", der einfach eine Art ist, diese Aufgabe für das LLM darzustellen. Zum Beispiel könnte die Aufgabe darin bestehen, die Fibonacci-Folge zu berechnen, während die Prompts stark variieren könnten, wie diese Funktion angefordert wird, von einfachen Beschreibungen bis hin zu ausführlicheren Anweisungen.

Der Prozess von HardEval entfaltet sich in drei Hauptschritten. Zuerst identifiziert das Framework Transformationen für die Prompts, die das Wesen der Aufgabe bewahren, während die Art ihrer Präsentation variiert wird. Die Forscher konzentrierten sich auf zwei Arten von Transformationen: Umformulierung und Hinzufügen von Kontext. Durch die Nutzung dieser Transformationen generieren die Forscher multiple Prompts für jede Aufgabe.

Als nächstes werden diese Prompts in verschiedene LLMs eingegeben, um Code zu generieren. Das Ziel hier ist es, zu bewerten, wie gut die LLMs mit verschiedenen Formulierungen derselben Aufgabe abschneiden. Der generierte Code wird dann anhand seiner Korrektheit und Ähnlichkeit zu korrekten Beispielen bewertet.

Zuletzt, sobald schwierige Aufgaben identifiziert sind, analysiert das Framework diese, um neue gezielte Aufgaben basierend auf ähnlichen Themen zu erstellen. Durch das Clustern dieser Aufgaben in Gruppen, die thematische Elemente teilen, können die Forscher neue Programmieraufgaben generieren, die wahrscheinlich ebenso herausfordernd sind.

Im ersten Schritt konzentriert sich das Framework darauf, wie man verschiedene Prompts für jede Aufgabe produziert. Die Idee ist es, Variabilität einzuführen, ohne die Kernbedeutung zu ändern. Zum Beispiel kann das Vereinfachen oder Ausarbeiten der Informationen in einem Prompt zu unterschiedlichen Schwierigkeitsgraden führen. Die Forscher haben drei Kontextlevels festgelegt, die in den Prompts verwendet werden sollen.

Die erste Stufe enthält nur die grundlegenden Informationen und eine hochrangige Beschreibung. Die zweite Stufe umfasst eine detailliertere Erklärung der Funktion. Die dritte Stufe geht noch weiter, indem sie spezifische Referenzen wie Variablennamen und Pseudo-Algorithmusbeschreibungen gibt. Dieser strukturierte Ansatz bietet eine klare Methodik zur Generierung von Prompts, die die Leistung von LLMs beeinflussen können.

Der zweite grosse Schritt besteht darin, die Schwierigkeit der Aufgaben zu messen. Um dies zu tun, nutzen die Forscher verschiedene LLMs, um Code basierend auf den unterschiedlichen Prompts zu generieren. Jede generierte Codeprobe wird dann anhand vordefinierter Tests bewertet, um ihre Korrektheit zu bestimmen. Dieser duale Metrikansatz misst sowohl die funktionale Korrektheit als auch, wie ähnlich der generierte Code einem korrekten Beispiel ist, und bietet so einen umfassenden Überblick über die Schwierigkeit einer Aufgabe.

Durch die Analyse des Codes, der aus unterschiedlichen Prompts generiert wurde, versucht das Framework, eine Schwierigkeitspunktzahl für jede Aufgabe festzustellen. Die Ergebnisse ermöglichen es den Forschern, Aufgaben als einfach oder schwer zu kategorisieren, basierend auf dem Erfolg, den die LLMs erzielt haben.

Sobald die schwierigen Aufgaben identifiziert sind, besteht der letzte Schritt darin, neue Aufgaben zu generieren. Dies geschieht durch Themenmodellierung, bei der Aufgaben in Gruppen basierend auf ihren Ähnlichkeiten geclustert werden. Das Framework ermöglicht die Erstellung neuer Aufgaben, indem entweder Einschränkungen zu bestehenden schwierigen Aufgaben hinzugefügt oder einfache Aufgaben mit Elementen aus schwierigen Aufgaben ergänzt werden.

Um die Effektivität des HardEval-Frameworks zu validieren, führten die Forscher Studien zu zwei etablierten Benchmarks durch: HumanEval+ und ClassEval. Diese Benchmarks decken ein breites Spektrum an Aufgaben und Programmierherausforderungen ab, wodurch sie sich gut zur Bewertung der Leistung des Frameworks eignen.

In ihren Experimenten erzeugten sie insgesamt 18 verschiedene Prompts für jede Aufgabe. Sie nutzten fünf verschiedene LLMs, um die Programmieraufgaben basierend auf diesen Prompts durchzuführen. Jede generierte Codeprobe wurde mit der festgelegten Schwierigkeitspunktzahl bewertet, die es den Forschern ermöglichte, das Schwierigkeitsniveau für jede Aufgabe zu bestimmen.

Die Analyse ergab, dass 63% der Aufgaben in HumanEval+ und 65% in ClassEval unter einem bestimmten Schwellenwert lagen, was darauf hindeutet, dass die Mehrheit der Aufgaben einfach ist. Im Gegensatz dazu wurden nur 21% der Aufgaben in HumanEval+ und 27% der Aufgaben in ClassEval als schwierig eingestuft. Dies unterstrich die Wirksamkeit des Frameworks, zwischen einfachen und schwierigen Programmieraufgaben zu unterscheiden.

Durch die Untersuchung der schwierigen Aufgaben, die von HardEval identifiziert wurden, bemerkten die Forscher, dass LLMs oft wichtige Teile von Aufgaben aufgrund übermässiger oder unklarer Anweisungen übersehen. Diese Übersehenheit kann zu falschen Lösungen führen. In diesem Szenario wurde die Ähnlichkeitsmetrik essenziell, da sie hilft zu bewerten, wie eng der falsche Code den korrekten Codes ähnelt. Dies beweist weiter, dass die einfache Bewertung eines einzelnen Prompts in der Regel unzureichend ist, um die Schwierigkeit einer Aufgabe festzustellen.

Die Forscher überlegten auch, ob bestimmte Arten von Programmieraufgaben von Natur aus schwieriger sind als andere. Programmierherausforderungen, die viele Informationen benötigen, um Operationen und Einschränkungen zu beschreiben, gelten oft als komplexer. Ihre Ergebnisse zeigten, dass Aufgaben, die detaillierte Erklärungen und die Berücksichtigung von Grenzfällen erfordern, zu höheren Schwierigkeitsbewertungen führen.

Obwohl sie auf menschlichem Urteil basieren, argumentieren sie, dass die ausschliessliche Verlass auf dieses möglicherweise nicht genau die Fähigkeiten von LLMs widerspiegelt. Die Studie fand heraus, dass menschliche Bewertungen von Codewettbewerbsaufgaben nur schwach mit den tatsächlichen Testbestehensraten für LLMs korrelierten.

Zusammenfassend stellt das HardEval-Framework einen bedeutenden Fortschritt bei der Bewertung der Schwierigkeit von Programmieraufgaben für LLMs dar. Es bietet eine neue Möglichkeit zur Bewertung individueller Programmierherausforderungen und zur Generierung gezielter Aufgaben zur Verbesserung der Leistung von LLMs. Das Framework ist anpassbar, mit potenziellen Anwendungen, die über die Code-Generierung hinausgehen und andere programmierungsbezogene Aufgaben umfassen.

Für zukünftige Forschungen plant das Team, die Anwendungen von HardEval auf andere Programmieraufgaben auszudehnen, die Methoden zur Generierung neuer Aufgaben weiter zu verbessern und Benchmarks mit gewünschten Schwierigkeitsprofilen zu etablieren. Diese Arbeit bildet die Grundlage für fortlaufende Verbesserungen im Einsatz von LLMs für verschiedene Programmieraktivitäten und bietet die Möglichkeit, die Evaluierung und Erweiterung der Fähigkeiten dieser Modelle zu verfeinern.