Herausforderungen und Lösungen bei der Erkennung von Softwareanfälligkeiten

Software-Sicherheitslücken (SVs) sind Schwachstellen in Software, die von Angreifern ausgenutzt werden können, was zu ernsthaften Schäden wie Datenlecks führen kann. Ein bekanntes Beispiel ist die Log4Shell-Sicherheitslücke, die bei Softwareentwicklern und Sicherheitsexperten Alarm auslöste. Diese Lücken können sowohl finanziell als auch in Bezug auf den Ruf sehr kostspielig sein. Daher ist es wichtig, sie so schnell wie möglich zu identifizieren und zu beheben, um mögliche Angriffe zu verhindern.

Die manuelle Erkennung von Software-Sicherheitslücken ist eine Herausforderung. Es erfordert erheblichen Aufwand und Fachwissen, besonders da Software-Systeme immer komplexer werden. Viele Sicherheitslücken können jahrelang unentdeckt bleiben, was Systeme in Gefahr bringt. Deshalb gibt es einen wachsenden Bedarf an automatisierten Lösungen, um Sicherheitslücken frühzeitig zu erkennen, wodurch der Schaden, den sie anrichten können, verringert und die Arbeitslast für Entwickler erleichtert wird.

In den letzten zehn Jahren haben datengestützte Ansätze wie maschinelles Lernen (ML) im Bereich der Vorhersage von Software-Sicherheitslücken an Bedeutung gewonnen. Diese Modelle analysieren historische Daten aus Software-Repositories, um Muster zu lernen, die verletzbaren und nicht verletzbaren Code unterscheiden, was eine effizientere Erkennung von Sicherheitslücken ermöglicht. Allerdings hängen diese Modelle stark von hochwertigen Datensätzen ab, die oft Mangelware sind. Die meisten vorhandenen Datensätze werden durch manuelle Kennzeichnung erstellt, was zeitaufwendig und unvollständig sein kann.

#Die Herausforderung der Datenkennzeichnung

Eine der zentralen Herausforderungen bei der Vorhersage von Software-Sicherheitslücken ist, genügend hochwertige Daten zu erhalten. Die häufigste Quelle für Daten zu Sicherheitslücken stammt von Sicherheitslücken-behebenden Commits (VFCs), also Änderungen am Code, um bekannte Sicherheitslücken zu beheben. Allerdings hat diese Methode der Datensammlung mehrere Nachteile:

1. Ressourcenintensiv: Manuelles Kennzeichnen von Sicherheitslücken erfordert erheblichen Zeit- und Arbeitsaufwand von Experten.

2. Unvollständige Daten: Viele Sicherheitslücken-behebende Commits werden nie gemeldet, was bedeutet, dass potenziell bedeutende Daten verloren gehen. Studien legen nahe, dass über 60 % der Commits, die Sicherheitslücken beheben, aufgrund von sogenannten stillen Fixes möglicherweise unberichtet bleiben.

3. Qualitätsprobleme: Die Abhängigkeit von manueller Kennzeichnung kann zu Ungenauigkeiten in den Daten führen. Das hat zur Folge, dass maschinelle Lernmodelle möglicherweise nicht effektiv aus solchen fehlerhaften Datensätzen lernen können.

Um diese Herausforderungen zu bewältigen, haben Forscher damit begonnen, automatisierte Methoden zur Kennzeichnung von Sicherheitslücken zu erforschen, um grössere Datensätze ohne die gleiche Ressourcenbelastung zu erstellen.

#Automatische Datenkennzeichnung

Automatische Kennzeichnung bezieht sich auf die Verwendung automatisierter Tools, um Sicherheitslücken in Codeänderungen zu identifizieren, was die Grösse der verfügbaren Datensätze erheblich erhöht. Ein solches Tool heisst D2A, das automatisch Sicherheitslücken-behebbende Commits kennzeichnet, indem es Kriterien wie die Frage, ob eine Änderung mit Sicherheit zu tun hat, und ob sie erfolgreich eine von einem statischen Analysetool entdeckte Sicherheitslücke behebt, verwendet.

Trotz der Vorteile der automatischen Datenkennzeichnung bleiben Fragen zur Zuverlässigkeit. D2A und ähnliche Tools können rauschige Daten erzeugen, was bedeutet, dass ein erheblicher Teil der automatisch gekennzeichneten Sicherheitslücken falsch sein könnte. Frühere Forschungen zeigen, dass mehr als die Hälfte der automatisch gekennzeichneten SVs fehlerhaft sein kann.

#Forschungsziele

Diese Studie zielt darauf ab, die Wirksamkeit von automatisch gekennzeichneten Datensätzen zur Vorhersage von Software-Sicherheitslücken zu untersuchen. Wir konzentrieren uns auf drei Hauptforschungsfragen:

1. Qualitätsvergleich: Wie vergleicht sich die Qualität von automatisch gekennzeichneten SVs mit menschlich gekennzeichneten SVs?
2. Beitrag zur Leistung: Inwieweit tragen automatisch gekennzeichnete SVs zur Leistung von Modellen zur Vorhersage von Sicherheitslücken bei?
3. Rauschreduzierung: Können Rauschreduzierungstechniken die Leistung von Modellen, die mit automatisch gekennzeichneten SVs erstellt wurden, verbessern?

#Methodologie

Um diese Fragen zu beantworten, haben wir zwei bekannte Open-Source-Projekte, OpenSSL und FFmpeg, genutzt, die aktive Entwicklergemeinschaften und etablierte Prozesse zur Meldung von Sicherheitslücken haben. Wir haben Daten von sowohl menschlich- als auch automatisch gekennzeichneten Sicherheitslücken-behebenden Commits aus diesen Projekten gesammelt.

#Datensammlung

Für die menschlich gekennzeichneten Daten haben wir eine Kombination aus öffentlich gemeldeten VFCs aus verschiedenen Sicherheitsdatenbanken und offiziellen Sicherheitswarnungen der Maintainer von OpenSSL und FFmpeg genutzt. Dieser erweiterte Ansatz hat die Anzahl der menschlich gekennzeichneten Sicherheitslücken erheblich erhöht, sodass wir mit einem umfassenderen Datensatz arbeiten konnten.

Wir haben auch automatisch gekennzeichnete Daten mithilfe der D2A-Technik gesammelt, die VFCs basierend auf Commit-Nachrichten und Änderungen im Code identifiziert. Auch wenn dies einen grösseren Datensatz lieferte, sind wir uns bewusst, dass die Qualität variieren kann, was eine Analyse des Rauschens in den gekennzeichneten Daten notwendig macht.

#Datenanalyse

Nach der Datensammlung haben wir eine manuelle Validierung der Kennzeichnungen sowohl in den menschlich gekennzeichneten als auch in den automatisch gekennzeichneten Daten durchgeführt. Dies half uns, Diskrepanzen zu identifizieren und ein klareres Bild der Qualität der automatisch gekennzeichneten Daten im Vergleich zu den menschlich gekennzeichneten Daten zu erhalten.

Basierend auf unserer Analyse haben wir festgestellt, dass ein erheblicher Teil der automatisch gekennzeichneten SVs nicht genau war. Dennoch haben Modelle, die mit diesen rauschigen Daten erstellt wurden, immer noch gut abgeschnitten, was darauf hindeutet, dass es möglicherweise wertvolle Muster im Rauschen gibt.

#Ergebnisse

#Qualität der automatisch gekennzeichneten SVs

Unsere Analyse zeigte, dass nur ein kleiner Prozentsatz der automatisch gekennzeichneten VFCs mit menschlich gekennzeichneten übereinstimmte. Genauer gesagt fanden wir heraus, dass nur 2 % der von D2A gekennzeichneten VFCs auch von der menschlichen Validierung als Sicherheitslücken identifiziert wurden. Dies weist auf eine erhebliche Diskrepanz zwischen manuell kuratierten Datensätzen und automatisch generierten hin.

Darüber hinaus haben wir festgestellt, dass viele der automatisch gekennzeichneten SVs Rauschen enthielten, was bedeutet, dass sie falsch gekennzeichnet wurden. Diese Fehlanpassung wirft Bedenken hinsichtlich der Verwendung automatischer Kennzeichnungstechniken zur Schulung von maschinellen Lernmodellen ohne ordnungsgemässe Validierung auf.

#Beitrag zur prädiktiven Leistung

Interessanterweise zeigten Modelle, die diese Daten nutzten, trotz des Rauschens in den automatisch gekennzeichneten Daten vielversprechende Leistungen. Die Ergebnisse zeigten, dass Modelle, die nur auf automatisch gekennzeichneten Daten trainiert wurden, angemessene prädiktive Werte erzielten. In einigen Fällen übertrafen sie sogar Modelle, die ausschliesslich auf menschlich gekennzeichneten Daten basierten.

Die Ergebnisse deuten darauf hin, dass, obwohl automatisch gekennzeichnete Daten rauschig sein können, sie dennoch genug wertvolle Informationen bieten, um die Leistung von maschinellen Lernmodellen zur Vorhersage von Software-Sicherheitslücken zu verbessern. Es ist jedoch wichtig, vorsichtig zu sein, da rauschige Datensätze auch zu irreführenden Ergebnissen führen können, wenn sie nicht ordnungsgemäss validiert werden.

#Rauschreduzierungstechniken

Um das Rauschen in den automatisch gekennzeichneten Daten zu bekämpfen, haben wir verschiedene Rauschreduzierungstechniken untersucht. Diese Methoden zielten darauf ab, die Qualität der Daten, die zum Training von Modellen verwendet werden, zu verbessern und die prädiktive Leistung weiter zu erhöhen. Die Techniken, die wir untersucht haben, umfassten:

1. Confident Learning: Diese Technik identifiziert und entfernt Proben, die wahrscheinlich falsch klassifiziert sind, indem sie die Vorhersagewahrscheinlichkeiten analysiert.

2. Zentroid-basierte Entfernung: Dieser Ansatz vergleicht eine Probe mit den durchschnittlichen Eigenschaften von bekannten verletzlichen und nicht verletzlichen Proben und entfernt die unähnlichsten.

3. Domänenspezifische Entfernung: Diese Methode filtert Proben heraus, die nicht mit bekannten Sicherheitsmustern oder Merkmalen übereinstimmen, die durch das statische Analysetool zur Kennzeichnung der Daten angezeigt werden.

Unsere Ergebnisse zeigten, dass Rauschreduzierungstechniken, insbesondere das Confident Learning, sich positiv auf die Modellleistung auswirkten. Die Anwendung dieser Techniken ermöglichte es uns, eine bessere prädiktive Genauigkeit zu erzielen, während wir einen kleineren Teil der automatisch gekennzeichneten Daten verwendeten.

#Diskussion

Die Ergebnisse dieser Studie bieten wertvolle Einblicke in die Potenziale und Grenzen automatisch gekennzeichneter Daten für die Vorhersage von Software-Sicherheitslücken. Während grossangelegte automatische Kennzeichnung bestehende Datensätze erheblich erweitern kann, muss die Qualität solcher Daten sorgfältig bewertet werden, um irreführende Ergebnisse zu vermeiden.

Ein wichtiger Punkt ist, dass automatisch gekennzeichnete Daten zur Verbesserung der prädiktiven Leistung beitragen können, selbst wenn sie Rauschen enthalten. Das eröffnet Möglichkeiten, solche Daten als ergänzende Ressource neben validierten menschlich gekennzeichneten Datensätzen zu nutzen. Forscher und Praktiker sollten jedoch immer automatisch gekennzeichnete Daten validieren, um die Zuverlässigkeit der auf ihnen basierenden Modelle sicherzustellen.

Darüber hinaus kann die Erforschung fortschrittlicher Rauschreduzierungstechniken sowohl die Qualität der gekennzeichneten Daten als auch die Leistung der auf ihnen basierenden Modelle verbessern. Während sich der Bereich der Erkennung von Software-Sicherheitslücken weiterentwickelt, könnten diese Ansätze zu effektiveren Tools und Methoden führen, um Sicherheitslücken in Software-Systemen zu identifizieren und zu mindern.

#Fazit

Die Studie hebt die fortwährenden Herausforderungen und Chancen im Bereich der Vorhersage von Software-Sicherheitslücken hervor. Sie betont die Bedeutung der Validierung automatisch gekennzeichneter Daten und erkennt gleichzeitig das Potenzial dieser Daten zur Verbesserung prädiktiver Modelle an.

Während die Software-Landschaft weiter wächst, wird die Notwendigkeit effizienter Methoden zur Erkennung von Sicherheitslücken entscheidend bleiben. Forscher und Organisationen müssen daran arbeiten, bessere automatisierte Kennzeichnungstechniken und Rauschreduzierungsstrategien zu entwickeln, um sicherzustellen, dass die Tools, die wir verwenden, sowohl effektiv als auch zuverlässig sind.

Indem wir für die Kombination von menschlich gekennzeichneten und automatisch gekennzeichneten Daten plädieren, wollen wir den Weg für ein robusteres Verständnis von Software-Sicherheitslücken ebnen. Diese Zusammenarbeit hat das Potenzial, zu sichereren Software-Systemen und einem besseren Schutz für Nutzer vor den Bedrohungen, die von Software-Sicherheitslücken ausgehen, zu führen.

Die Ergebnisse regen zu weiteren Forschungen an, um nicht nur bestehende Techniken zu verbessern, sondern auch innovative Ansätze zu erforschen, um die Erkennung und Minderung von Sicherheitslücken in der Zukunft zu verbessern. Indem wir die Qualität automatisch gekennannter Daten angehen und effektive Rauschreduzierungstechniken implementieren, können wir stärkere Grundlagen für die Software-Sicherheit schaffen.