Ein neues Tool für das Verstehen von Code

Code verstehen kann echt schwierig sein, vor allem wenn Entwickler in neuen und komplexen Umgebungen arbeiten. Kommentare und Dokumentationen sind zwar hilfreich, oft fehlen sie aber oder sind schwer zu finden. Grosse Sprachmodelle (LLMs), die KI-Tools sind und Text generieren können, haben das Programmieren verbessert. Aber können sie Entwicklern auch helfen, Code besser zu verstehen?

In diesem Artikel geht's um ein neues Tool, das LLMs direkt in die Softwareentwicklungsumgebung integriert und Entwicklern helfen soll, den Code, an dem sie arbeiten, zu begreifen. Mit diesem Tool können Nutzer mit dem LLM interagieren, ohne spezielle Eingaben schreiben zu müssen, was es einfacher macht, Informationen über den bearbeiteten Code zu bekommen.

#Die Herausforderung des Code-Verstehens

Entwickler verbringen viel Zeit damit, Code zu verstehen, wegen seiner Komplexität. Sie müssen oft lernen, wie verschiedene Teile des Codes zusammenarbeiten, welche APIS (Application Programming Interfaces) verwendet werden und spezifische Begriffe, die zum Domäne gehören, in der sie arbeiten. Jede dieser Infos kann an verschiedenen Stellen verstreut sein, was es schwer macht, ein vollständiges Bild zu bekommen, besonders für Neueinsteiger oder weniger erfahrene Leute.

Die meisten Dokumentationen sind unzureichend oder veraltet, was das Ganze noch komplizierter macht. Mit dem Aufkommen von LLM-gestützten Programmierwerkzeugen gibt's einen noch grösseren Bedarf, die Informationen, die diese Tools generieren, zu verstehen. Es ist nicht ungewöhnlich, dass Entwickler Code von diesen Tools erhalten, den sie nicht vollständig verstehen, was zu Frustration führt, wenn sie versuchen, ihn zu debuggen oder zu ändern.

#Entwicklung des LLM-Tools

Um diese Probleme zu beheben, wurde ein neues Tool entwickelt, das es Entwicklern ermöglicht, kontextbezogene Informationen direkt von LLMs zu bekommen, während sie programmieren. Dieses Tool wurde geschaffen, um Unterstützung zu bieten, ohne dass Nutzer manuell Eingaben schreiben müssen. Stattdessen nutzt es den Code, an dem bereits gearbeitet wird, um das KI-Modell relevante Fragen zu stellen.

Für die Studie wurde dieses Tool mit einer Gruppe von 32 Teilnehmern evaluiert, um die Fähigkeit zu vergleichen, mit und ohne das Tool Code zu verstehen und Aufgaben abzuschliessen. Die Teilnehmer nutzten das Tool, um verschiedene Arten von Informationen zu erhalten, darunter Erklärungen zu Codeabschnitten, Details zu API-Aufrufen und Nutzung Beispiele.

#Nutzerbewertung

Um zu sehen, wie nützlich dieses Tool war, wurden die Teilnehmer mit Aufgaben betraut, die erforderten, dass sie unbekannten Code mit neuen Konzepten aus ihrer Domäne verstehen und erweitern. Die Studie fand heraus, dass die Nutzung des Tools die Abschlussraten der Aufgaben im Vergleich zum Suchen im Internet verbesserten.

Zusätzlich zeigte sich, dass die Vorteile des Tools zwischen Studierenden und professionellen Entwicklern unterschiedlich waren, was darauf hindeutet, dass der Hintergrund eine Rolle dafür spielen könnte, wie effektiv das Tool für verschiedene Nutzer ist.

#Wie das Tool funktioniert

Das Tool funktioniert als Plugin innerhalb der beliebten Programmierumgebung Visual Studio Code. Entwickler können einen Abschnitt Code markieren und das Tool aktivieren, um eine Erklärung oder zusätzlichen Kontext zu erhalten. Diese interaktive Erfahrung ermöglicht eine nahtlose Integration in ihren bestehenden Arbeitsablauf.

Die Hauptfunktionen sind:

1. Überblick über den Code: Gibt eine Zusammenfassung des markierten Codeabschnitts.
2. API-Details: Bietet detaillierte Erklärungen zu den im Code verwendeten API-Methoden.
3. Konzept-Erklärungen: Erklärt spezifische Begriffe oder Konzepte, die zum Code relevant sind.
4. Nutzungsbeispiele: Gibt praktische Beispiele, wie man verschiedene APIs oder Funktionen nutzen kann.

Diese Funktionen ermöglichen es Nutzern, Informationen zu sammeln, ohne ihre Programmierumgebung zu verlassen oder im Internet zu suchen, was zu einer effizienteren Programmiererfahrung führt.

#Studiendesign

Die Studie folgte einem spezifischen Design, in dem die Teilnehmer Aufgaben unter zwei verschiedenen Bedingungen abschliessen mussten: mit dem LLM-Tool und beim Suchen im Internet. Jede Bedingung wurde bei verschiedenen Aufgaben getestet, um einen direkten Vergleich zu ermöglichen, wie gut jede Methode das Verständnis des Codes unterstützt.

Die Teilnehmer wurden in zwei Gruppen basierend auf ihrem Hintergrund unterteilt, wobei einige Studierende und andere Professionals waren. Diese Unterteilung half, Unterschiede in der Nutzung des Tools und den Vorteilen zu analysieren.

#Ergebnisse der Studie

Die Ergebnisse zeigten, dass das Tool die Zahl der abgeschlossenen Aufgaben im Vergleich zu Internetsuchen erheblich verbesserte. Teilnehmer, die das LLM-Tool verwendeten, konnten mehr Fortschritte bei ihren Aufgaben machen. Allerdings zeigte die Zeit, die für den Abschluss der Aufgaben benötigt wurde, und die Tiefe des Verständnisses keine signifikanten Unterschiede, was darauf hindeutet, dass das Tool zwar effektiv bei der Unterstützung des Abschlusses von Aufgaben ist, es aber Bereiche gibt, in denen es noch verbessert werden könnte.

Bei der Analyse der Daten basierend auf den Hintergründen der Teilnehmer stellte sich heraus, dass Professionals einen grösseren Nutzen aus dem Tool zogen als Studierende. Dieses Ergebnis veranlasste eine weitere Untersuchung der Gründe für diese Unterschiede, die zeigten, dass Professionals besser darin waren, Eingaben zu formulieren und ihre Anfragen effektiv zu verfeinern.

#Nutzerinteraktion mit dem Tool

Die Teilnehmer nutzten die verschiedenen Funktionen des Tools unterschiedlich. Das Tool zeichnete Interaktionen auf und zeigte, wie oft bestimmte Funktionen verwendet wurden. Die Überblicksfunktion war die beliebteste, vermutlich wegen ihrer Einfachheit und Zugänglichkeit. Die Möglichkeit, über Schaltflächen Eingaben zu machen, wurde ebenfalls geschätzt, aber seltener genutzt.

Während viele Teilnehmer das Tool als nützlich empfanden, äusserten einige Schwierigkeiten, effektive Eingaben für das LLM zu formulieren. Diese Herausforderung zeigte ein potenzielles Hindernis dafür, die Vorteile des Tools voll auszuschöpfen, besonders für diejenigen ohne starke Programmierkenntnisse.

#Wahrnehmungen und Feedback von Nutzern

In Umfragen nach der Studie gaben die Teilnehmer Feedback zu ihren Erfahrungen mit dem Tool. Viele schätzten die Möglichkeit, Code-Kontext bei Anfragen an das LLM einzubeziehen, da es die kognitive Belastung reduzierte und ihre Suchen relevanter machte. Allerdings gab es gemischte Meinungen zur allgemeinen Nützlichkeit verschiedener Funktionen, wobei einige Nutzer eine einfachere Benutzeroberfläche wünschten.

Teilnehmer, die das Tool verwendeten, berichteten, dass sie sich weniger gestresst und erfolgreicher bei ihren Aufgaben fühlten, was darauf hindeutet, dass es eine unterstützende Umgebung für das Verständnis von Code bot. Vorschläge für zukünftige Verbesserungen umfassten eine engere Integration des LLM mit bestehenden Programmierressourcen und eine benutzerfreundlichere Oberfläche.

#Der Wert von Kontext im Code-Verstehen

Ein wichtiges Ergebnis der Studie war die Bedeutung des Kontexts bei der Nutzung von LLMs für das Code-Verstehen. Teilnehmer hoben häufig die Vorteile hervor, ihre Codebasis als Kontext für Anfragen nutzen zu können. In Zukunft könnte das Tool verbessert werden, indem zusätzliche Kontext-Ebenen integriert werden, wie Projektinformationen oder persönliche Programmiererfahrungen, um die Antworten noch effektiver auf die Bedürfnisse der Nutzer anzupassen.

#Fazit

Zusammenfassend lässt sich sagen, dass die Integration von LLMs in den Softwareentwicklungsprozess das Potenzial hat, das Verständnis von Code erheblich zu fördern. Die Studie zeigte, dass Entwickler durch die Einbettung dieser Technologie in Programmierumgebungen kontextbezogene Informationen erhalten können, die ihnen helfen, Aufgaben effizienter abzuschliessen.

Während das Tool bedeutende Vorteile zeigte, hebt die Variation der Ergebnisse zwischen verschiedenen Nutzergruppen den Bedarf nach weiterer Forschung hervor. Das Feedback der Teilnehmer deutet darauf hin, dass noch mehr Arbeit nötig ist, um die Nutzererfahrung zu verbessern, insbesondere für diejenigen, die weniger mit Programmierkonzepten vertraut sind.

Da sich die Programmierlandschaft weiterentwickelt, könnten Tools wie dieses eine wesentliche Rolle dabei spielen, Entwicklern aller Fähigkeitsstufen zu helfen, sich in den Komplexitäten von Code zurechtzufinden, was letztlich zu einer verbesserten Produktivität und einem besseren Verständnis der Software führt, die sie erstellen.