Neuer Ansatz zur automatisierten Programmreparatur mit LLMs

Software-Systeme werden immer grösser und komplexer, was mehr Bugs bedeutet. Diese Bugs zu beheben, kostet Entwickler und Firmen viel Zeit und Geld. Automatisierte Programmreparatur (APR) ist ein Verfahren, das darauf abzielt, diesen Prozess zu erleichtern, indem es automatisch Lösungen für fehlerhaften Code generiert.

In den letzten Jahren haben Forscher viele APR-Methoden entwickelt, die diese Lösungen erstellen können. Traditionelle Methoden verwenden vordefinierte Vorlagen oder Regeln, haben aber oft Schwierigkeiten mit der grossen Vielfalt an Bugs in realen Programmen. Obwohl Deep-Learning-Techniken die APR-Methoden verbessert haben, sind sie immer noch stark auf hochwertige Trainingsdaten angewiesen. Das bedeutet, wenn das Modell eine bestimmte Art von Bug vorher noch nicht gesehen hat, kann es sein, dass es diesen nicht richtig behebt.

Grosse Sprachmodelle (LLMs) haben kürzlich vielversprechende Ergebnisse in verschiedenen Software-Engineering-Aufgaben gezeigt. Einige Studien haben sogar LLMs für die automatisierte Programmreparatur verwendet. Die ersten Ergebnisse deuten darauf hin, dass LLMs das Potenzial haben, Bugs in der realen Welt effektiv zu beheben.

Viele bestehende Methoden, die LLMs nutzen, verlassen sich jedoch einfach auf die Patches, die sie generieren, ohne diese weiter zu verfeinern. Oft erzeugen LLMs Patches, die nicht alle notwendigen Details des spezifischen Programms berücksichtigen, was zu unvollständigen oder falschen Lösungen führt. Ausserdem gehen viele Bewertungen davon aus, dass Entwickler Bugs perfekt lokalisieren können, was in der Realität selten der Fall ist.

Dieser Artikel präsentiert einen neuen Ansatz, um diese Probleme zu lösen, indem er LLM-generierte Patches effektiv für die automatisierte Programmreparatur nutzt.

#Automatisierte Programmreparatur

Die automatisierte Programmreparatur versucht, die Belastung der Entwickler zu verringern, indem sie automatisch Patches generiert, um fehlerhaften Code zu beheben. Traditionelle APR-Methoden lassen sich in drei Kategorien einteilen: heuristische, vorlagenbasierte und constraint-basierte Methoden.

Heuristische Methoden verwenden Regeln zur Identifizierung von Lösungen, während vorlagenbasierte Methoden auf vordefinierten Vorlagen beruhen, die über Zeit sorgfältig entwickelt werden müssen. Constraint-basierte Methoden definieren Regeln, denen die generierten Patches folgen müssen, aber die Skalierbarkeit kann ein Problem darstellen, da sie möglicherweise nicht alle möglichen Bugs abdecken.

In den letzten Jahren sind lernbasierte APR-Techniken aufgekommen. Diese Methoden behandeln die Code-Reparatur als Übersetzungsproblem, bei dem fehlerhafter Code in korrekten Code übersetzt wird. Der Erfolg dieser Techniken hängt jedoch stark von der Qualität der Trainingsdaten ab.

Neueste Entwicklungen in grossen Sprachmodellen (LLMs) haben neue Möglichkeiten in der Programmreparatur eröffnet. LLMs wurden mit riesigen Mengen an Code trainiert und können basierend auf dem Kontext Code generieren, was sie nützlich für Reparaturaufgaben macht. Einige Studien haben gezeigt, dass LLMs komplexe Bugs reparieren können, die vorherige APR-Methoden nicht beheben konnten.

#Herausforderungen

Trotz vielversprechender Ergebnisse gibt es mehrere Herausforderungen bei der Verwendung von LLMs für APR:

1. Direkte Abhängigkeit von LLM-generierten Patches: Aktuelle LLM-basierte APR-Methoden nehmen oft die von LLMs generierten Patches für bare Münze, ohne sie für den spezifischen Kontext des Programms zu verfeinern. Das kann zu falschen oder unvollständigen Lösungen führen.

2. Annahmen über perfekte Fehlerlokalisierung: Die meisten Bewertungen gehen davon aus, dass Entwickler die genaue Stelle von Bugs genau identifizieren können, was in der Realität selten der Fall ist. Automatisierte Fehlerlokalisierungstechniken sind oft ungenau, weshalb es wichtig ist, LLM-basierte APR-Methoden unter realistischeren Bedingungen zu bewerten.

#Vorgeschlagener Ansatz

Um diese Herausforderungen anzugehen, wird ein neuer APR-Ansatz vorgeschlagen, der die wertvollen Erkenntnisse der LLM-generierten Patches nutzt, selbst wenn die Patches selbst nicht vollständig korrekt sind. Der Ansatz besteht aus zwei Hauptphasen:

1. Skelettkonstruktion: In dieser Phase wird die Grundstruktur der von LLMs generierten Patches extrahiert. Durch die Erstellung eines "Patch-Skeletts" wird der mögliche Modifikationen eingegrenzt und der Suchraum für potenzielle Patches überschaubarer gemacht.

2. Skelettfüllung: In dieser Phase werden die Patch-Skelette mit programspezifischen Informationen gefüllt, wodurch qualitativ hochwertige Patches generiert werden, die die Bugs effektiv beheben können.

#Bewertung

Die Wirksamkeit dieses neuen Ansatzes wurde durch zwei grossangelegte Experimente unter Verwendung des weit verbreiteten Defects4J-Benchmarks evaluiert, der reale Bugs enthält. Die Experimente konzentrierten sich auf folgende Schlüsselfragen:

1. Wie effektiv ist die neue Methode, um die Fähigkeit der LLMs zur Behebung von realen Bugs zu verbessern?
2. Wie schneidet dieser neue Ansatz im Vergleich zu bestehenden hochmodernen APR-Methoden ab?
3. Was ist der Beitrag jedes Teils der neuen Methode?

#Experiment 1: Verbesserung der LLMs

Im ersten Experiment wurde der neue Ansatz mit verschiedenen LLMs integriert, um zu überprüfen, ob er mehr Bugs erfolgreich reparieren konnte als bei der direkten Verwendung von LLM-Patches. Die Ergebnisse zeigten signifikante Verbesserungen in der Anzahl der behobenen Bugs.

Beim Defects4J v1.2 Benchmark stieg der Anteil der reparierten Bugs um fast 30%, als die neue Methode verwendet wurde, im Vergleich zur ausschliesslichen Nutzung von LLM-generierten Patches. Ähnliche Ergebnisse wurden auch beim Defects4J v2.0 Benchmark erzielt, was die Effektivität des neuen Ansatzes über verschiedene LLMs hinweg verdeutlicht.

#Experiment 2: Vergleich mit hochmodernen APRs

Im zweiten Experiment wurde die neue Methode mit mehreren führenden APR-Techniken verglichen. Die Vergleiche wurden sowohl unter perfekten Fehlerlokalisierungsbedingungen als auch unter realistischeren Bedingungen, bei denen automatisierte Fehlerlokalisierung verwendet wurde, durchgeführt.

In Situationen mit perfekter Fehlerlokalisierung übertraf der neue Ansatz ständig bestehende APR-Methoden und reparierte deutlich mehr Bugs. Unter dem realistischeren Szenario der automatisierten Fehlerlokalisierung hielt der neue Ansatz dennoch ein hohes Leistungsniveau aufrecht und reparierte viele Bugs, die vorherige APR-Techniken nicht beheben konnten.

#Beitragsanalyse

Um zu verstehen, wie jeder Teil der neuen Methode zur Gesamtwirksamkeit beitrug, wurde eine detaillierte Analyse durchgeführt. Die Analyse ergab, dass der Schritt der Skelettkonstruktion eine entscheidende Rolle bei der Anleitung des Patch-Generierungsprozesses spielte. Indem die möglichen Modifikationen effektiv eingegrenzt wurden, verbesserte die Methode die Gesamtleistung.

#Fazit

Die Landschaft der Softwareentwicklung ist komplex und Bugs sind ein unvermeidlicher Teil des Prozesses. Die Automatisierung des Reparaturprozesses kann Entwicklern Zeit sparen und Kosten senken, aber traditionelle Methoden scheitern oft, weil sie sich auf vordefinierte Vorlagen, Regeln und die Qualität der Trainingsdaten verlassen.

Der Aufstieg grosser Sprachmodelle hat vielversprechende Fortschritte in der automatisierten Programmreparatur ermöglicht. Durch die Nutzung von LLM-generierten Patches und die Einführung eines strukturierten Ansatzes zu deren Verfeinerung zeigt die neue Methode eine signifikante Verbesserung bei der Behebung von Bugs in der realen Welt.

Durch umfassende Experimente wurde gezeigt, dass dieser neue Ansatz nicht nur die Fähigkeiten bestehender LLMs verbessert, sondern sich auch gegenüber hochmodernen APR-Techniken abhebt. Indem die Herausforderungen der Abhängigkeit von LLM-Ergebnissen und der Annahmen bezüglich der Fehlerlokalisierung angegangen werden, eröffnet diese Methode neue Möglichkeiten für effektivere und praktischere Lösungen zur automatisierten Programmreparatur.

Zusammenfassend zeigt der neue Ansatz das Potenzial für eine bessere Nutzung von LLM-Ergebnissen und erweitert die Grenzen dessen, was in der automatisierten Programmreparatur möglich ist. Zukünftige Forschungen können auf diesen Erkenntnissen aufbauen, um die Wirksamkeit und Effizienz der Fehlersuche in der Softwareentwicklung weiter zu verbessern.