Bewertung von ChatGPT's Rolle bei der Sicherheitsüberprüfung von Python-Code

In letzter Zeit ist künstliche Intelligenz (KI) in vielen Lebensbereichen wichtiger geworden. Ein Bereich, in dem KI helfen kann, ist die Überprüfung von Code auf Sicherheitsprobleme. Das nennt man Sicherheitscode-Überprüfung. Die Leute schauen sich jetzt KI-Tools an, um Probleme im Code zu finden, und ein Tool, das viel Aufmerksamkeit bekommen hat, ist ChatGPT. ChatGPT ist bekannt für seine Fähigkeit, Anweisungen zu befolgen und detaillierte Antworten zu geben. In diesem Papier wird untersucht, ob ChatGPT genutzt werden kann, um Sicherheitsprobleme im Python-Code zu finden.

Mit dem Aufstieg der Technologie ist auch die Menge an geschriebenem Code gestiegen. Zum Beispiel hat sich die Anzahl der Projekte auf GitHub in nur wenigen Jahren verdoppelt, von 100 Millionen im Jahr 2018 auf 200 Millionen im Jahr 2022. Diese Zunahme an Code bedeutet, dass es mehr Chancen gibt, dass Sicherheitsprobleme auftreten. Forschungen zeigen, dass die Anzahl der Schwachstellen in Software ebenfalls steigt, was die Wichtigkeit unterstreicht, diese Probleme zu finden und zu beheben. Schwachstellen sind Schwächen, die ausgenutzt werden können, was zu Datenlecks oder sogar zu Ausfällen von Diensten führen kann.

Um Schwachstellen im Code zu finden, nutzen viele Tools eine Methode namens statische Quellcode-Analyse. Diese Methode untersucht den Code, ohne ihn tatsächlich auszuführen, wodurch Tester Sicherheitsprobleme effizient finden können. Zu den gängigen Tools gehören Bandit, Semgrep und SonarQube. Während diese Tools hilfreich sind, haben sie auch einige Einschränkungen, wie das Produzieren vieler falsch positiver (falsche Warnungen) und falsch negativer (tatsächliche Probleme übersehen) Ergebnisse. Wenn Tools zu viele falsche Alarme generieren, kann es viel Zeit und Mühe kosten, alles zu überprüfen. Andererseits können das Übersehen echter Probleme ernsthafte Konsequenzen haben.

In den letzten Jahren haben Maschinelles Lernen und Deep Learning grosse Fortschritte in vielen Bereichen gemacht, auch im Verständnis der menschlichen Sprache. Da Code ähnlich wie natürliche Sprache ist, haben Forscher Interesse daran, Deep-Learning-Methoden für Aufgaben zu verwenden, die mit dem Finden von Schwachstellen im Code zu tun haben. Modelle des maschinellen Lernens können aus Daten lernen und Muster erkennen, die auf Sicherheitsprobleme hinweisen könnten. Studien haben gezeigt, dass diese Modelle weniger falsch positive Ergebnisse im Vergleich zu traditionellen Tools produzieren können. Einige Forschungen haben sogar gezeigt, dass Deep-Learning-Modelle bei der Auffindung von Problemen im C/C++-Code besser abschneiden als mehrere bestehende Open-Source-Tools.

Jetzt hat ChatGPT, das auf KI basiert und natürliche Sprachverarbeitung nutzt, Aufmerksamkeit für sein Potenzial in der Wirtschaft und anderen Bereichen erregt. Es kann Aufgaben automatisieren, die normalerweise menschlichen Aufwand erfordern, und so Zeit und Ressourcen sparen. Das Modell wurde mit einem grossen Datensatz bis 2021 trainiert, was ihm Wissen über verschiedene Muster vermittelt, einschliesslich der im Code gefundenen. Dieses Papier bewertet, wie gut ChatGPT Sicherheitsanfälligkeiten im Python-Code identifizieren kann, verglichen mit beliebten Sicherheitstools wie Bandit, Semgrep und SonarQube.

Python ist zu einer der beliebtesten Programmiersprachen geworden und rangiert in verschiedenen Umfragen oft unter den Top drei. Es wird in vielen Bereichen eingesetzt, nicht nur im maschinellen Lernen und in der Datenwissenschaft, sondern auch in der Webentwicklung mit Frameworks wie Django und Flask. Wegen seiner Beliebtheit ist es entscheidend, die Sicherheit von Python-Anwendungen zu gewährleisten.

Dieses Papier ist in mehrere Abschnitte unterteilt. Der erste Abschnitt bietet einen kurzen Überblick über frühere Forschungen in diesem Bereich. Der nächste Abschnitt diskutiert die für die Tests verwendeten Datensätze. Danach erklären wir die Details der mit ChatGPT durchgeführten Experimente. Als Nächstes präsentieren wir die Bewertung der erzielten Ergebnisse. Schliesslich gibt es eine Diskussion über die Faktoren, die die Validität der Ergebnisse beeinflussen könnten, gefolgt von einem Fazit.

#Frühere Forschung

In der Vergangenheit haben viele Studien darauf abgezielt, Schwachstellen mit verschiedenen KI-Modellen zu finden. Die meisten dieser Studien folgten einer Methode namens überwacht Lernen. In diesem Ansatz nutzen verschiedene Modelle des maschinellen Lernens Merkmale wie die Anzahl der Zeilen in einem Code oder die Komplexität dieses Codes. Forschungen haben gezeigt, dass textbasierte Modelle oft besser abschneiden als solche, die hauptsächlich auf Codemerkmalen basieren.

In letzter Zeit hat sich der Fokus auf Deep Learning verlagert. Forscher haben verschiedene Deep-Learning-Modelle erkundet, wie z. B. Convolutional Neural Networks (CNNs) und Long Short-Term Memory (LSTM)-Netzwerke. Einige Forscher haben sogar mit verschiedenen Arten von Code-Eigenschaftsgraphen experimentiert. Wenige Studien haben speziell untersucht, wie Deep-Learning-Modelle bei der Auffindung von Schwachstellen arbeiten, und gezeigt, dass das Feintuning von Modellen die Leistung verbessern kann.

Eine Studie schlug vor, dass transformerbasierte Modelle besser abschneiden als graphbasierte Modelle. Zum Beispiel wurde ein Modell namens VulBERTa entwickelt, das das RoBERTa-Modell verwendet, um Schwachstellen im C/C++-Code zu identifizieren. Andere Studien haben die Verwendung der BERT-Architektur zur Erkennung von Code-Schwachstellen untersucht und festgestellt, dass Transformator-Modelle effektiver sein können als traditionelle Deep-Learning-Modelle.

Kürzlich gab es Forschungen zur Bewertung von ChatGPT bei der Auffindung von Schwachstellen im Java-Code. Es gibt jedoch eine Lücke in den Studien, die ChatGPT mit bestehenden Sicherheitstools speziell für Python vergleichen, was dieses Papier zu füllen versucht.

#Verwendeter Datensatz für Tests

Unser Testdatensatz besteht aus 156 Python-Code-Dateien. Davon stammen 130 Dateien aus einem Sicherheitsbewertungsdatensatz, der 75 verschiedene Schwachstellentypen repräsentiert. Die restlichen 26 Dateien stammen aus einem Projekt, das sich auf die Erkennung von Schwachstellen in Python konzentrierte. Ein Sicherheitsexperte musste die Dateien überprüfen und die spezifischen Codezeilen markieren, die Schwachstellen enthielten.

#Verwendung der ChatGPT-API zur Erkennung

Für unsere Experimente haben wir das ChatGPT GPT-3.5-turbo-Modell verwendet, das eine fortgeschrittenere Interaktion im Vergleich zu früheren Versionen ermöglicht. Dieses Modell kann eine Reihe von Nachrichten verarbeiten und den Kontext beibehalten, was es einfacher macht, ihm Fragen zu spezifischen Code-Dateien zu stellen. Wir haben vier Arten von Experimenten mit diesem Modell durchgeführt.

1. Im ersten Experiment haben wir dem Modell anfällige Dateien zur Verfügung gestellt und gefragt, ob sie Sicherheitsprobleme enthalten, ohne dabei bekannte Schwachstellentypen anzugeben. Das Ziel war es herauszufinden, ob das Modell Schwachstellen nur anhand der Zeilennummern im Code identifizieren kann.

2. Im zweiten Experiment haben wir eine Liste bekannter Schwachstellentypen bereitgestellt und das Modell gefragt, welche Typen in den anfälligen Code-Dateien vorhanden sind. Die Antworten wurden im JSON-Format formuliert, um den Vergleich mit den Ergebnissen anderer Tools zu erleichtern.

3. Im dritten Experiment haben wir dem Modell Labels von bestehenden Sicherheitstools gegeben und es gefragt, ob spezifische Schwachstellen in jeder Datei vorhanden sind. Hier hatten wir auch die Möglichkeit, zusätzliche Schwachstellen hinzuzufügen, die das Modell möglicherweise identifiziert.

4. Im letzten Experiment haben wir dem Modell keine Labels gegeben und es gebeten, Schwachstellen basierend auf seinem Wissen zu identifizieren. Die Antworten waren im selben JSON-Format.

Die Wahl der Prompts, die wir zur Interaktion mit dem Modell verwendet haben, war entscheidend, da sie die Ergebnisse erheblich beeinflussen konnte. Wir haben die Art und Weise, wie wir die Prompts präsentiert haben, angepasst, um die Leistung des Modells zu optimieren.

#Bewertung der Ergebnisse

Um die Effektivität von ChatGPT im Vergleich zu den etablierten Tools zu bewerten, haben wir verschiedene Metriken berechnet, basierend auf der Genauigkeit der Identifizierung von Schwachstellen. Diese Metriken umfassten, wie viele echte Positive, echte Negative, falsch Positive und falsch Negative das Modell erzeugt hat. Danach haben wir die Ergebnisse von ChatGPT mit denen von Bandit, Semgrep und SonarQube verglichen.

Im ersten Experiment schnitt ChatGPT hinsichtlich Präzision oder Sensitivität nicht besser ab als die anderen Tools. Im zweiten Experiment waren die Ergebnisse des Modells, trotz der Verwendung der bereitgestellten Schwachstellen-Labels, mit den Ergebnissen der SAST-Tools vergleichbar.

Im dritten Experiment, in dem wir als Assistent zu SAST-Tools auftraten, zeigten die Ergebnisse eine deutliche Verbesserung. Besonders bemerkenswert war, dass ChatGPTs Ergebnisse deutlich besser waren als die der bestehenden Tools, als wir neue vom Modell identifizierte Labels ignorierten.

Als wir dem Modell erlaubten, sich auf sein Wissen zu stützen, ohne Eingabelabels, blieb seine Leistung ähnlich der der SAST-Tools.

#Herausforderungen und Einschränkungen

Mehrere Faktoren könnten die Ergebnisse unserer Studie beeinflussen. Die grösste Herausforderung bestand darin, geeignete Prompts für ChatGPT auszuwählen, da dies seine Leistung erheblich beeinflussen konnte. Die Grösse und Vielfalt des Datensatzes spielen ebenfalls eine Rolle, ebenso wie die Abdeckung unterschiedlicher Schwachstellen. Wir haben ChatGPT nur mit drei Sicherheitstools für Python verglichen, und zusätzliche Tools könnten andere Erkenntnisse liefern.

Schliesslich haben wir uns auf die GPT-3.5-Version von ChatGPT konzentriert, und es ist möglich, dass neuere Versionen in zukünftigen Studien noch bessere Ergebnisse erzielen könnten.

#Fazit

Zusammenfassend haben wir verschiedene Experimente durchgeführt, um die Fähigkeit von ChatGPT zu testen, Sicherheitsanfälligkeiten im Python-Code zu identifizieren. Obwohl die Ergebnisse zeigten, dass ChatGPT wertvolle Einblicke liefern kann, insbesondere wenn es als Assistent bestehender Sicherheitstools verwendet wird, ist es noch kein Ersatz für traditionelle Methoden. Die Ergebnisse unserer Studie, trotz ihrer Einschränkungen, deuten auf ein Potenzial für zukünftige Arbeiten hin, um fortschrittliche KI-Modelle zur Verbesserung der Codesicherheit zu nutzen. Mit der Veröffentlichung neuerer Modelle könnte weitere Forschung helfen, noch bessere Ergebnisse bei der Identifizierung von Schwachstellen in verschiedenen Programmiersprachen zu erzielen.