Bewertung der Natürlichkeit in automatisierter Programmreparatur

Automatisierte Programmreparatur, oder APR, ist ein wachsendes Forschungsfeld, das darauf abzielt, Softwarefehler automatisch zu beheben. Es wird als hilfreiches Tool für Entwickler angesehen, die viel Zeit damit verbringen, Fehler manuell zu suchen und zu beheben. Kürzlich wurde eine neue Methode namens neuronale Programmreparatur (NPR) eingeführt, die Deep-Learning-Technologie und grosse Datensätze verwendet, um Fehler zu beheben, die zuvor noch nicht aufgetreten sind.

Eine der Herausforderungen bei NPR ist die Bewertung, wie gut es funktioniert. Forscher verwenden oft einen Datensatz namens Defects4J, der echte Fehler zum Testen enthält. Dieser Datensatz ist jedoch auf eine kleine Anzahl von Fehlern beschränkt, die möglicherweise nicht alle verschiedenen Arten von Fehlern repräsentieren, die in echter Software existieren.

Um dieses Problem zu lösen, haben einige Forscher begonnen, den Datensatz zu erweitern, indem sie neue Fehler erstellen, die in ihrer Bedeutung bestehenden ähneln. Sie machen dies, indem sie Änderungen an den ursprünglichen fehlerhaften Programmen vornehmen, um neue, aber ähnliche fehlerhafte Programme zu erstellen. Obwohl dieser Ansatz die Vielfalt der zu testenden Fehler erhöht, haben Forscher festgestellt, dass nicht alle diese Änderungen realistisch sind. Wenn die Änderungen unnatürlich sind, können sie zu irreführenden Ergebnissen darüber führen, wie effektiv NPR-Systeme sind.

#Die Bedeutung natürlicher Code-Transformationen

Die Prämisse hier ist, dass Fehlerbehebungen gegen realistische Code-Schnipsel getestet werden sollten. Wenn die Änderungen, die an den Fehlern vorgenommen wurden, nicht wie Code aussehen, den man tatsächlich in echter Software finden könnte, dann könnten die Testergebnisse nicht vertrauenswürdig sein. Um dies zu analysieren, haben Forscher die "Natürlichkeit" der vorgenommenen Änderungen am Code untersucht.

In einer kürzlich durchgeführten Studie sprachen die Forscher mit erfahrenen Softwareentwicklern, um Einblicke darüber zu gewinnen, was ein Stück Code natürlich oder unnatürlich erscheinen lässt. Sie entdeckten, dass viele Änderungen am Code leicht als nicht passend zu gängigen Programmierpraktiken identifiziert werden konnten, was Bedenken hinsichtlich ihrer Wirksamkeit bei der Bewertung von NPR-Systemen aufwirft.

Zum Beispiel, wenn eine Fehlerbehebung im Programm seltsame Variablennamen einführt, die nicht den gängigen Namenskonventionen folgen, könnte das einen Entwickler verwirren, der versucht, den Code zu verstehen, was es einfacher macht, ihn als unnatürlich zu klassifizieren. Ausserdem, wenn ein repariertes Programm übermässig kompliziert aussieht oder von bekannten Programmiermustern abweicht, wird es wahrscheinlich als unnatürlich angesehen.

#Einholen von Entwickler-Insights

In der Studie wurden Interviews mit erfahrenen Entwicklern durchgeführt, um einen klaren Kriterienkatalog zur Beurteilung der Natürlichkeit von Code-Transformationen zu erstellen. Die Entwickler äusserten, dass die Lesbarkeit des Codes und die Einhaltung von Programmierkonventionen entscheidend sind. Wenn eine Änderung die Lesbarkeit verringert oder Konventionen verletzt, wird sie wahrscheinlich als unnatürlich angesehen.

Mit diesen Erkenntnissen begannen die Forscher, die "Natürlichkeit" vieler Code-Transformationen zu bewerten, die auf bestehende Fehler angewendet wurden. Sie wollten nicht nur sehen, wie diese Transformationen funktionierten, sondern auch, ob sie für das Auge eines Entwicklers realistisch wirkten.

#Analyse von Code-Transformationen

Insgesamt wurden 1178 Transformationen von einer Gruppe von Entwicklern bewertet. Die Ergebnisse zeigten, dass nur etwa 58,8 % dieser Transformationen als natürlich angesehen wurden. Im Gegensatz dazu wurden etwa 19,3 % als unnatürlich eingestuft, was bedeutet, dass sie seltsame Änderungen enthielten, die in realen Codierungsszenarien wahrscheinlich nicht vorkommen würden.

Die meisten der unnatürlichen Transformationen fielen in eine Kategorie, die als "statement-level" Transformationen bekannt ist. Diese änderten oft die Struktur des Codes erheblich, was zu einem Verlust der Lesbarkeit führte. Zum Beispiel kann eine Transformation, die den Code innerhalb einer if-Anweisung umstellt, zwar technisch den Fehler beheben, kann jedoch auch den Zweck dieses Codes verwirren.

Die Studie untersuchte auch, wie verschiedene Arten von Transformationen die Bewertung von NPR-Systemen beeinflussten. Es wurde festgestellt, dass unnatürliche Transformationen zu Fehlalarmen führen können, was darauf hindeutet, dass die NPR-Systeme weniger effektiv waren als sie tatsächlich sind. Dies wirft Fragen zur Zuverlässigkeit auf, rein transformierten Code zur Bewertung der Robustheit dieser Systeme zu verwenden.

#Auswirkungen auf NPR-Systeme

Fünf NPR-Systeme wurden sowohl gegen die ursprünglichen als auch gegen die transformierten Fehler bewertet. Die Ergebnisse zeigten, dass diese Systeme bei Tests mit unnatürlichen Transformationen weniger korrekte oder plausible Patches generieren konnten. Tatsächlich zeigten NPR-Systeme einen erheblichen Leistungsabfall, wenn sie mit dem transformierten Code konfrontiert wurden.

Das bedeutet, dass, wenn die Code-Transformationen, die auf die Fehler angewendet wurden, unnatürlich waren, dies die Fähigkeit der NPR-Systeme zur Vorschlagserstellung von praktikablen Lösungen negativ beeinflusste. Die Forscher entdeckten, dass der ursprüngliche Datensatz und der transformierte Datensatz erhebliche Unterschiede in den Leistungsmetriken aufwiesen. Die Systeme schnitten besser ab, als sie gegen natürliche Transformationen bewertet wurden, im Vergleich zu unnatürlichen.

#Bedarf an besseren Ansätzen

Die Ergebnisse heben die Notwendigkeit besserer Methoden zur Bewertung der Leistung automatisierter Fehlerbeheber hervor. Sie legen nahe, dass Forscher sich bei der Erstellung von Tests für NPR-Systeme auf natürliche Transformationen konzentrieren sollten. Dies könnte dazu beitragen, dass die Ergebnisse realistischer in Bezug auf die reale Leistungsfähigkeit sind.

Eine mögliche Lösung besteht darin, strukturiertere Richtlinien zur Erstellung semantisch erhaltender Transformationen einzuführen, die auch die Natürlichkeit berücksichtigen. Solche Verbesserungen würden zu zuverlässigeren Bewertungen von NPR-Systemen führen und besser verstehen, wie effektiv sie Fehler in tatsächlichen Softwareumgebungen beheben können.

#Automatisierung der Natürlichkeitsbewertung

Zusätzlich zu manuellen Bewertungen haben die Forscher untersucht, wie Technologie potenziell die Bewertung von Code-Transformationen automatisieren könnte. Sie entwickelten eine neue Metrik zur Beurteilung der Natürlichkeit, die auf dem Konzept der Kreuzentropie basiert, das aus verschiedenen Sprachmodellen berechnet wird.

Durch den Vergleich des ursprünglichen Codes mit transformierten Versionen fanden sie heraus, dass diese Metrik dabei helfen konnte, zu identifizieren, wann eine Transformation wahrscheinlich unnatürlich ist. Erste Tests deuteten darauf hin, dass automatisierte Bewertungen nützliche Ergebnisse liefern könnten, was den Bewertungsprozess vereinfachen und den Bedarf an manuellen Überprüfungen reduzieren würde.

#Fazit

Zusammenfassend beleuchtet diese Studie die Bedeutung der Bewertung der Natürlichkeit von Code-Transformationen, die in der automatisierten Programmreparatur verwendet werden. Sie plädiert für einen systematischeren Ansatz zum Testen dieser Systeme, der Erkenntnisse von erfahrenen Entwicklern einbezieht und automatisierte Methoden zur Bewertung einsetzt.

Indem natürliche Code-Transformationen priorisiert werden, könnten sowohl Forscher als auch Entwickler sicherstellen, dass automatisierte Programmreparatursysteme effektiv in der realen Welt funktionieren. Die fortgesetzten Untersuchungen zur automatisierten Bewertung der Natürlichkeit werden wahrscheinlich das Feld verbessern und zu zuverlässigeren Softwarelösungen führen.