Analyse von Code-LLMs: Leistung und Empfindlichkeit

#Code-Zusammenfassung

In diesem Abschnitt schauen wir uns an, wie gut Code-Sprachmodelle (LLMs) mit Änderungen im Code umgehen, wenn sie ihn zusammenfassen. Der Fokus liegt auf zwei Arten von Änderungen: SP (semantisch erhaltende) Transformationen, die die Bedeutung des Codes gleich bleiben lassen, und SNP (semantisch nicht erhaltende) Transformationen, die die Bedeutung ändern.

Tabelle 1 zeigt die durchschnittliche Ähnlichkeit der von den Modellen produzierten Code-Zusammenfassungen, wenn der Originalcode diese Änderungen durchläuft. Die Ergebnisse zeigen, dass die Modelle mit beiden Arten von Transformationen ziemlich gut umgehen können. Bei SP-Transformationen liegt die durchschnittliche Ähnlichkeit zwischen den Original-Code-Zusammenfassungen und den transformierten Zusammenfassungen bei etwa 0,9. Im Gegensatz dazu fällt diese Ähnlichkeit bei SNP-Transformationen auf etwa 0,1. Das bedeutet, dass die Zusammenfassungen für Code, der seine Bedeutung behält, sehr ähnlich sind, während die für Code, dessen Bedeutung sich ändert, das nicht sind.

Zum Beispiel, nehmen wir mal einen Code, der überprüft, ob eine Zahl eine Primzahl ist. Die Zusammenfassung für diesen Code und die Zusammenfassung für eine Version dieses Codes, die sich geändert hat (durch Negation von Bedingungen), sind sehr ähnlich, obwohl die letztere nicht mehr auf Primzahlen überprüft. Das zeigt, dass die Modelle gut darin sind, ähnliche Zusammenfassungen zu machen, selbst wenn sich die Bedeutung des Codes geändert hat. Sie verlassen sich mehr auf die Struktur des Codes als darauf, die tatsächlichen Vorgänge zu verstehen, die er ausführt.

Insgesamt zeigen Code-LLMs eine starke Leistung bei der Zusammenfassung von Code, unabhängig von diesen Transformationen.

#Vorhersage von Methodennamen

Als Nächstes untersuchen wir, wie gut Code-LLMs Methodennamen vorhersagen, wenn der Code transformiert wird. Hier gelten die gleichen beiden Arten von Transformationen (SP und SNP). Laut den Ergebnissen in Tabelle 2 sind die Modelle bei dieser Aufgabe im Vergleich zur Zusammenfassung weniger konsistent.

Bei SP-Transformationen blieben nur etwa 62% der Methodennamen im transformierten Java-Code und 48% im Python-Code gleich wie die Original-Methodennamen. Bei SNP-Transformationen änderte sich ein erheblicher Prozentsatz der Methodennamen im Vergleich zu den Originalen. Das deutet darauf hin, dass die Modelle empfindlicher auf Änderungen bei der Vorhersage von Methodennamen reagieren als bei der Code-Zusammenfassung.

Zum Beispiel, ein Codebeispiel überprüft, ob eine Liste ein Palindrom ist. Der Originalcode könnte den Methodennamen "isPalindromeAndSumLessThen" haben, was seine Funktion genau beschreibt. Wenn jedoch die Parameter im Code neu angeordnet werden, könnte das Modell einen anderen Namen wie "isSymmetric" vorschlagen, auch wenn die Funktion gleich bleibt. Das zeigt, dass die Modelle nicht zuverlässig sind, wenn es darum geht, Methodennamen konsistent zu halten, besonders wenn Änderungen auftreten.

Die Ergebnisse deuten darauf hin, dass, obwohl Code-LLMs manchmal die Bedeutung des Codes erfassen können, ihre Ausgaben je nach angewendeten Transformationen erheblich variieren.

#Vorhersage von Ausgaben

Bei der Aufgabe der Vorhersage von Ausgaben beobachten wir, wie die Modelle mit Transformationen in Bezug auf die erwarteten Ausgaben umgehen. Die Ergebnisse aus Tabelle 3 zeigen, dass die Modelle besonders empfindlich auf diese Änderungen reagieren. Nur 64% des Originalcodes und seiner SP-transformierten Version produzierten die gleichen Ausgaben, während 47% des Originalcodes und der SNP-transformierten Version unterschiedliche Ausgaben ergaben.

Von den drei analysierten Aufgaben scheint es, dass Modelle robuster beim Umgang mit SP-Transformationen sind als mit SNP-Transformationen. In den Aufgaben zur Vorhersage von Methodennamen und Ausgaben sind die Modelle besser darin, Fälle zu erkennen, in denen die Bedeutung nach SP-Transformationen gleich bleibt.

#Analyse von Transformationsoperatoren

Tabelle 4 zeigt die Auswirkungen verschiedener Transformationsoperatoren auf die Modelle. Unter den SP-Operatoren hat das Umbenennen von Variablen den grössten Einfluss, da es sowohl Zusammenfassungen als auch Methodennamen betrifft. Zum Beispiel, nach dem Umbenennen von Variablen stimmten nur etwa 33% der Methodennamen mit den Originalen überein, was viel niedriger ist als bei anderen SP-Operatoren.

Das passiert, weil Variablenamen wichtigen Kontext über den Zweck des Codes tragen. Diese Namen zu ändern, kann zu einem Missverständnis der Absicht des Codes führen und unterschiedliche Ausgaben zur Folge haben.

Zusätzlich haben unter den SNP-Operatoren das Entfernen von bedingten Anweisungen die auffälligsten Unterschiede in den Ausgaben hervorgerufen, wobei die Modelle ihre Vorhersagen öfter änderten als bei anderen Transformationsarten.

Diese Ergebnisse verdeutlichen, dass die Modelle unterschiedlich auf verschiedene Transformationsoperationen reagieren, wobei das Umbenennen von Variablen besonders störend ist.

#Analyse der Modellgrösse

Als Nächstes analysieren wir, wie die Grösse des Modells die Leistung beeinflusst. Die Ergebnisse zeigen, dass die Art der Aufgabe und nicht die Anzahl der Parameter der Hauptfaktor ist, der die Robustheit und Sensitivität der Modelle beeinflusst.

Unabhängig von der Grösse erzeugten die Modelle ähnliche Zusammenfassungen für SP-Transformationen von etwa 0,92 und für SNP-Transformationen von etwa 0,09 in der Zusammenfassungsaufgabe. Ihre Leistung in der Vorhersage von Ausgaben war jedoch allgemein niedriger, mit Werten zwischen 0,64 und 0,69.

Das zeigt, dass die Modellgrösse die Leistung nicht signifikant beeinflusst; stattdessen scheint die Art der Aufgabe wichtiger zu sein.

#Korrektheitskorrelation

In dieser Analyse schauen wir uns an, wie gut die Modelle basierend auf der Korrektheit des analysierten Codes abschneiden. Die Ergebnisse zeigen, dass die Modelle bei der Verarbeitung von Transformationen in korrektem Code besser abschneiden als in inkorrektem.

Für korrekten Code erhielten etwa 84% der semantisch äquivalenten Snippets ähnliche Namensvorhersagen, während nur 77% der inkorrekten Snippets dies taten. Auch hatten die Modelle mehr Schwierigkeiten mit unterschiedlichen vorhergesagten Namen für inkorrekten Code nach der Transformation.

Das deutet darauf hin, dass es schwierig für die Modelle ist, die Bedeutung von inkorrektem Code nach einer Transformation genau zu erfassen, da dieser möglicherweise von dem abweicht, worauf die Modelle trainiert wurden.

#Analyse der semantischen Inferenz

In diesem Teil bewerten wir, wie gut Code-LLMs Beziehungen in Code-Snippets inferieren können. Die Modelle schnitten besser beim Erkennen von Kontrollabhängigkeiten ab als bei Datenabhängigkeiten.

Zusammenfassend konnten die LLMs bei etwa 30-40% der kontrollabhängigen Anweisungspaare korrekt vorhersagen, während ihre Genauigkeit bei Datenabhängigkeiten nur auf 12-15% fiel. Das liegt wahrscheinlich daran, dass Kontrollabhängigkeiten im Code klarer sind, wie bei if-else-Anweisungen, während Datenabhängigkeiten subtiler sein können und ein tieferes Verständnis davon erfordern, wie Variablen interagieren.

Ausserdem zeigten die Modelle eine bessere Leistung in Python als in Java, was darauf hindeutet, dass ihre Fähigkeit, Kontrollbeziehungen zu verstehen, je nach Programmiersprache variieren kann.

#Fazit

Zusammenfassend zeigt die Analyse, dass Code-LLMs in bestimmten Aufgaben wie der Zusammenfassung starke Fähigkeiten haben, während sie bei der Vorhersage von Methodennamen und Ausgaben, insbesondere bei Transformationen, die die Bedeutung des Codes ändern, auf Herausforderungen stossen. Die Grösse des Modells hat keinen signifikanten Einfluss auf diese Leistungsergebnisse; stattdessen spielen die Art der Aufgabe und die Korrektheit des Codes eine wichtigere Rolle.

Insgesamt zeigen Code-LLMs nützliche Verständnis- und Vorhersagefähigkeiten, haben jedoch Schwierigkeiten, die nuancierten Beziehungen zwischen Code-Elementen zu erfassen, was auf Bereiche für zukünftige Entwicklungen hinweist, um ihre Verständnisfähigkeiten zu verbessern.