Nutzung von LLMs für verbesserte Test-Orakel-Generierung

Softwaretests sind wichtig, um Bugs in Programmen zu finden. Ein zentraler Teil dieses Prozesses ist das Test-Orakel, das hilft zu bestimmen, ob die Software richtig funktioniert. Es gibt zwar automatische Methoden zur Erstellung dieser Test-Orakel, aber viele davon liefern zu viele falsche Ergebnisse. Grosse Sprachmodelle (LLMs) haben in verschiedenen Softwareaufgaben wie Code schreiben, Testfälle erstellen und Bugs beheben vielversprechende Ergebnisse gezeigt, aber es wurde bisher nicht viel Forschung zur Effektivität von LLMs bei der Erzeugung zuverlässiger Test-Orakel betrieben.

In dieser Studie schauen wir uns an, ob LLMs korrekte, vielfältige und starke Test-Orakel erzeugen können, die einzigartige Bugs entdecken. Wir haben sieben verschiedene LLMs mit verschiedenen Eingabeaufforderungen auf einem Datensatz namens SF110 trainiert. Indem wir das effektivste Modell und die beste Eingabeaufforderung identifiziert haben, haben wir eine neue Methode zur Generierung von Test-Orakeln entwickelt. Um zu sehen, wie gut diese Methode funktioniert, haben wir sie an 25 grossen Java-Projekten getestet. Wir haben nicht nur die Korrektheit, sondern auch die Vielfalt und Stärke der erzeugten Orakel betrachtet und unsere Ergebnisse mit anderen Methoden wie EvoSuite und TOGA verglichen.

#Bedeutung von Test-Orakeln

Test-Orakel sind entscheidend beim Softwaretesten, da sie das erwartete Verhalten der Software definieren. Eine Testsuite besteht aus Testfällen, wobei jeder Fall einen bestimmten Teil des Programms testet. Das Test-Orakel überprüft, ob das Programm wie erwartet gehandelt hat. Es gibt zwei Haupttypen von Test-Orakeln:

1. Assertions-Orakel: Diese prüfen, ob die Ausgabe des Programms korrekt ist.
2. Exception-Orakel: Diese überprüfen, ob das Programm Fehler richtig erkennt.

Damit Test-Orakel effektiv sind, müssen sie nicht nur korrekt, sondern auch stark sein. Ein korrektes Orakel bedeutet, dass es dem erwarteten Verhalten entspricht, ohne falsche Alarme auszulösen. Ein starkes Orakel kann erkennen, wenn das Programm etwas falsch macht. Es ist wichtig, beide Eigenschaften zu haben, um eine genaue Fehlersuche zu gewährleisten.

Obwohl das manuelle Erstellen von Test-Orakeln effektiver ist, erfordert es viel Zeit und Aufwand. Um dieses Problem anzugehen, haben Forscher nach Möglichkeiten gesucht, diesen Prozess zu automatisieren.

#Methoden zur Generierung von Orakeln

Es gab mehrere Ansätze, um Test-Orakel automatisch zu erstellen, dabei wurden Techniken aus der Verarbeitung natürlicher Sprache und Mustererkennung verwendet. Einige Methoden generieren Orakel basierend auf Kommentaren und Dokumentationen. Diese können sowohl Assertions- als auch Exception-Orakel erzeugen.

Kürzlich wurden neuronale Netzwerke für die Orakel-Generierung eingesetzt. Die TOGA-Methode hat eine bessere Leistung als frühere Methoden gezeigt. Trotzdem hat sie noch Einschränkungen, da sie korrekte Assertions-Orakel nur in 38% der Fälle erzeugt, mit einer hohen Rate an falsch positiven Ergebnissen für sowohl Assertions- als auch Exception-Orakel. Das verdeutlicht den Bedarf an weiteren Fortschritten bei der Erstellung zuverlässiger automatischer Test-Orakel.

#LLMs zur Generierung von Test-Orakeln

LLMs gewinnen zunehmend an Aufmerksamkeit für verschiedene Software-Engineering-Aufgaben, einschliesslich Testing. Frühere Versuche, LLMs zur Generierung von Testfällen zu verwenden, hatten Schwierigkeiten, eine gute Testabdeckung zu erreichen. Einige Studien zeigten begrenzten Erfolg bei der Generierung von Test-Präfixen für grosse Java-Programme. Andere haben versucht, LLMs sowohl für die Erstellung von Test-Präfixen als auch von Test-Orakeln zu nutzen, aber die Qualität der erzeugten Orakel zur Fehlersuche wurde nicht bewertet.

In unserer Forschung haben wir die Aufgabe aufgeteilt. Wir haben bewährte Methoden wie EvoSuite verwendet, um Test-Präfixe zu erstellen, und uns ausschliesslich auf die Verwendung von LLMs zur Generierung von Test-Orakeln konzentriert. Wir haben sieben verschiedene Code-LLMs mit verschiedenen Eingabeaufforderungen feinjustiert, die unterschiedliche Mengen an Kontext über die getestete Software bereitstellten.

#Die verwendeten Modelle

Wir haben mehrere vortrainierte LLMs untersucht, die sich in Grösse und Fähigkeiten unterscheiden. Die Modelle, die wir betrachtet haben, sind:

1. CodeGPT: Ein kleineres Modell, das gute Ergebnisse in Java gezeigt hat.
2. CodeParrot: Dieses Modell funktioniert gut, obwohl es leichtgewichtig ist.
3. CodeGen: In verschiedenen Grössen erhältlich, sind diese Modelle gut darin, Code zu verstehen.
4. PolyCoder: Eine weitere Modellfamilie, die auf einer breiten Palette von Programmiersprachen trainiert wurde.
5. Phi-1: Obwohl hauptsächlich auf Python trainiert, hat dieses Modell in unseren Bewertungen für Java gut abgeschnitten.

#Vorbereitung der Trainingsdaten

Um unsere Modelle zu trainieren, haben wir den SF110-Datensatz verwendet, der zahlreiche Java-Projekte mit von EvoSuite generierten Testfällen enthält. Wir haben diese Daten verarbeitet, um Tupel zu erstellen, die den Test-Präfix, die getestete Methode und das entsprechende Orakel enthielten. Dieser Datensatz wurde dann in Trainings-, Test- und Validierungssätze aufgeteilt, um eine faire Bewertung unserer Methoden sicherzustellen.

#Gestaltung effektiver Eingabeaufforderungen

Wir haben sechs verschiedene Eingabeaufforderungen erstellt, um die LLMs feinzujustieren und schrittweise mehr Kontext hinzuzufügen:

1. P1: Nur der Test-Präfix.
2. P2: Test-Präfix und Methoden-Dokumentation.
3. P3: Test-Präfix und Methodensignatur.
4. P4: Test-Präfix, Dokumentation und Methodensignatur.
5. P5: Test-Präfix und der gesamte Methodencode.
6. P6: Test-Präfix, Dokumentation und der gesamte Methodencode.

Wir haben festgestellt, dass mehr Hintergrundinformationen die Genauigkeit verbesserten, aber manchmal schnitten grössere Modelle nicht besser ab als kleinere, wenn sie richtig feinjustiert wurden.

#Bewertung der Modelle

Nachdem wir die Modelle feinjustiert hatten, haben wir ihre Leistung an 25 neuen Java-Projekten getestet. Wir haben für jedes Projekt Test-Orakel generiert und sie validiert, indem wir die Tests ausgeführt haben. Die Genauigkeit wurde anhand der Anzahl der generierten Orakel gemessen, die die Tests bestanden haben.

#Vergleich mit anderen Methoden

Wir haben unsere von LLMs generierten Orakel mit denen verglichen, die von TOGA und EvoSuite erzeugt wurden. Das Ziel war zu sehen, wie viele korrekte Orakel jede Methode generieren konnte und wie gut sie Bugs erkennen konnte.

#Ergebnisse und Erkenntnisse

#Effektivität von LLMs

Unsere Ergebnisse deuten darauf hin, dass LLMs tatsächlich starke und korrekte Test-Orakel erzeugen können. Tatsächlich generierte das am besten abschneidende LLM deutlich mehr korrekte Assertions- und Exception-Orakel im Vergleich zu TOGA. Das bedeutet, dass die Verwendung von LLMs den Prozess der Generierung zuverlässiger Test-Orakel verbessert.

#Vielfalt der generierten Orakel

Ein weiterer wichtiger Aspekt, den wir betrachtet haben, war die Diversität. Die von LLMs generierten Orakel zeigten eine breite Palette von Assertions-Stilen, was sie geeignet macht, um traditionelle von Entwicklern geschriebene Orakel zu ergänzen. Diese Vielfalt ist entscheidend, um Bugs zu erkennen, die von einheitlicheren Ansätzen möglicherweise übersehen werden.

#Stärke der Orakel bei der Fehlersuche

Die Stärke der von LLMs erstellten Orakel wurde durch Mutationstests bewertet. Dieser Prozess beinhaltet, kleine Änderungen am Code vorzunehmen, um "Mutanten" zu erstellen, und zu sehen, ob die Test-Orakel diese Änderungen erkennen können. Unsere Ergebnisse wiesen darauf hin, dass die von LLMs generierten Orakel in der Lage waren, viele einzigartige Bugs zu identifizieren, die andere nicht fanden.

#Herausforderungen und Einschränkungen

Trotz der vielversprechenden Ergebnisse bleiben einige Herausforderungen bestehen. Zum Beispiel scheiterten etwa 5% der generierten Assertionen an der Kompilierung aufgrund kleiner Syntaxfehler. Auch ein kleiner Teil der generierten Ausgaben waren falsch positive Ergebnisse – Assertionen, die ein Problem anzeigten, als es keines gab.

#Zukünftige Richtungen

In Zukunft wird es prioritär sein, die Modelle zu verfeinern, um Kompilierungsfehler und falsch positive Ergebnisse zu reduzieren. Ein weiterer Schwerpunkt liegt darauf, bessere Qualität von Dokumentationen zu finden, die die generierten Orakel verbessern könnte.

#Fazit

LLMs haben grosses Potenzial, die Generierung von Test-Orakeln im Softwaretesting zu verbessern. Unsere Forschung zeigt, dass sie mehr korrekte, vielfältige und starke Test-Orakel erzeugen können als frühere Methoden. Indem wir bestehende Herausforderungen angehen und diese Techniken weiterhin verfeinern, können wir bedeutende Fortschritte in Richtung zuverlässigerer Softwaretestprozesse erzielen. Diese Arbeit legt den Grundstein für zukünftige Fortschritte in der automatisierten Test-Orakel-Generierung.