Intrusion Detection mit visuellen Einblicken verbessern

Intrusion Detection Systeme (IDS) sind wie die Nachbarschaftswache der digitalen Welt. Sie beobachten, was in Netzwerken und auf Computern passiert und checken nach Anzeichen von Problemen oder Angriffen von Cyberkriminellen. Man kann sich das wie einen Sicherheitsdienst vorstellen, der sicherstellt, dass alles reibungslos läuft und niemand versucht, einzubrechen. Sie achten auf verschiedene Bedrohungen, wie zum Beispiel Denial-of-Service-Angriffe (wo das System mit Anfragen überflutet wird), Spoofing (wo sich jemand als jemand anderer ausgibt) und andere, die schaden könnten.

Aber hier ist der Haken: selbst die besten Sicherheitsleute können Fehler machen. In der Welt von IDS zeigen sich diese Fehler als False Positives (FP) und False Negatives (FN). Ein False Positive ist, wenn das System fälschlicherweise denkt, dass etwas eine Bedrohung ist, obwohl es das nicht ist. Das ist wie zu denken, dein freundlicher Nachbar wäre ein Einbrecher, nur weil er einen Kapuzenpulli trägt. Auf der anderen Seite ist ein False Negative, wenn das System eine echte Bedrohung übersieht. Stell dir vor, ein Dieb schleicht am Sicherheitsdienst vorbei, weil er sich zu gut integriert hat.

#Das Problem mit Fehlklassifikationen

Eine der grössten Herausforderungen bei der Nutzung von Machine Learning (ML) und Deep Learning (DL) Modellen zur Intrusion Detection sind diese Fehlklassifikationen. Wenn ein IDS etwas falsch macht, wird die Arbeit für menschliche Analysten viel schwieriger. Sie müssen Entscheidungen basierend auf den gelieferten Informationen treffen, und wenn diese Informationen nicht genau sind, kann das ernste Folgen haben.

In diesem Zusammenhang ist es unser Ziel, den Analysten zu helfen, False Positives und False Negatives einfach zu erkennen. Wir machen das mit einer Methode namens erklärbare künstliche Intelligenz (XAI). Mit XAI wird es einfacher zu sehen, warum ein IDS eine bestimmte Vorhersage getroffen hat. Durch den Einsatz visueller Werkzeuge wie SHAP-Plots können wir veranschaulichen, welche Merkmale zur Entscheidung des Systems beigetragen haben.

#Unser Ansatz zur Lösung

Wir nutzen mehrere Datensätze von Netzwerkverkehr in unserer Arbeit. Diese Datensätze enthalten eine Mischung aus benignem (sicherem) Verkehr und Angriffsverkehr. Um alles zu verstehen, konzentrieren wir uns auf das binäre Klassifikationsszenario, bei dem der Verkehr als 'benigne' oder 'Angriff' gekennzeichnet wird.

1. Datensammlung und Vorbereitung: Zuerst sammeln wir Daten von früheren Angriffen und normalem Verkehr. Diese Daten werden bereinigt und organisiert, um sicherzustellen, dass sie bereit für die Analyse sind. Wir gehen mit Ungleichgewichten in den Daten um, weil oft viel mehr benigne Instanzen als Angriffe vorhanden sind. Wir könnten Techniken wie Oversampling (Hinzufügen weiterer Angriffsbeispiele) oder Undersampling (Entfernen einiger benignen Beispiele) anwenden, um alles ins Gleichgewicht zu bringen.

2. Training der Modelle: Nach der Vorbereitung trainieren wir unsere Machine Learning Modelle. Wir verwenden verschiedene baumbasierte Klassifikatoren wie Entscheidungsbäume, XGBoost und Random Forests, um den Verkehr zu klassifizieren. Die Modelle lernen aus den Daten und versuchen, genau vorherzusagen, ob eine bestimmte Verkehrsinformation benign oder ein Angriff ist.

3. Verwendung von SHAP für Einblicke: Sobald unsere Modelle trainiert sind, wenden wir SHAP an, um Einblicke zu erhalten, wie sie Entscheidungen treffen. SHAP nutzt Konzepte aus der kooperativen Spieltheorie, um den Beitrag jedes Merkmals zu den Vorhersagen des Modells zu erklären. Das hilft den Analysten zu verstehen, warum eine bestimmte Vorhersage getroffen wurde, was den Entscheidungsprozess erleichtert.

#Visualisierung der Analyse

Stell dir vor, du bist ein Sicherheitsbeamter, der eine verdächtige Person überprüft. Anstatt nur auf dein Bauchgefühl zu vertrauen, hast du einen detaillierten Bericht, der zeigt, wie sie sich in verschiedenen Situationen verhält. Genau das machen die SHAP-Plots – sie liefern Einblicke in die Vorhersagen des Modells und helfen, Vertrauen aufzubauen.

So funktioniert das:

• Generierung von SHAP-Plots: Wir erstellen SHAP-Plots für True Positives (richtig identifizierte Angriffe), True Negatives (richtig identifizierter benignen Verkehr), False Positives und False Negatives. Diese Plots ermöglichen es uns, die Merkmalbeiträge visuell zu vergleichen.

• Überlappende SHAP-Plots: Der clevere Teil kommt, wenn wir diese Plots überlappen. Wenn wir zum Beispiel einen Fall haben, den das Modell als Angriff betrachtet (eine positive Vorhersage), können wir seine Merkmale mit denen von True-Positive- und False-Positive-Gruppen vergleichen. Wenn es mehr wie die False-Positive-Gruppe aussieht, wissen wir, dass es wahrscheinlich ein Fehler ist.

#Die Bedeutung roher Wahrscheinlichkeiten

Neben der Verwendung von SHAP-Plots berücksichtigen wir auch die rohen Wahrscheinlichkeiten unserer Vorhersagen. Das ist wie ein Gefühl darüber, wie wahrscheinlich es ist, dass jemand ein Einbrecher ist, basierend auf seinem Verhalten. Eine hohe Wahrscheinlichkeit könnte bedeuten, dass der Analyst mehr Vertrauen in die Vorhersage hat, während eine niedrigere Wahrscheinlichkeit einige Fragen aufwerfen könnte.

Durch die Evaluierung der überlappenden Plots und rohen Wahrscheinlichkeiten können Analysten entscheiden, ob eine Vorhersage vertrauenswürdig ist. Wenn alles auf ein False Positive hindeutet, können sie entsprechend handeln und diese Instanz als benign behandeln.

#Fallstudien zur Testung der Methodik

Wir haben Fallstudien mit verschiedenen öffentlich verfügbaren Datensätzen durchgeführt, um zu zeigen, wie unsere Methode in realen Szenarien funktioniert. Jeder Datensatz stellte seine eigenen Herausforderungen dar, aber das Ziel blieb gleich: False Positives und False Negatives genau zu identifizieren.

1. CIC-IoT-2023-Datensatz: Dieser Datensatz ist eine Goldmine für Tests, da er voller Angriffs- und benignen Verkehrsinformationen ist. Wir stellten fest, dass die Mehrheit der Instanzen Angriffe waren, was es wichtig machte, die Daten vor der Analyse ins Gleichgewicht zu bringen. Sobald alles ausgeglichen war, wendeten wir unsere Methodik an und analysierten die Ergebnisse.

2. NF-UQ-NIDS-v2-Datensatz: Dieser Datensatz hatte eine Vielzahl von netzwerkbasierten Anomalien. Durch die Anwendung unserer Methode sahen wir ein klares Bild davon, wie gut das Modell zwischen benignem und Angriffsverkehr unterscheiden konnte. Die visuellen Plots waren entscheidend, um den Analysten zu helfen, die Vorhersagen des Modells zu verstehen.

3. HIKARI-2021-Datensatz: Dieser Datensatz enthielt sowohl benignen als auch Angriffsinstanzen. Wir wandten unsere Methode an und fanden heraus, dass die überlappenden Plots die Unterschiede zwischen False Positives und False Negatives beleuchteten. Die Klarheit, die diese Visualisierungen brachten, war bemerkenswert.

#Bewertung der Effektivität der Methode

Nach unseren Experimenten bewerteten wir die Ergebnisse daran, wie gut die Analysten False Positives und False Negatives genau identifizieren konnten. Wir fügten einige zufällige Instanzen hinzu und liessen die Analysten mit ihnen unter Verwendung der von uns generierten SHAP-Plots arbeiten.

Die Ergebnisse waren ermutigend. Viele Analysten identifizierten erfolgreich False Positives und False Negatives basierend auf den visuellen Hinweisen aus den Plots. Sie trafen informierte Entscheidungen, die halfen, die Gesamtfehlklassifikationsraten zu senken.

#Einschränkungen der Studie

Obwohl wir unsere Methode als effektiv empfunden haben, ist sie nicht ohne Einschränkungen. Zum einen konzentrierten wir uns auf baumbasierte Modelle und erforschten nicht die Möglichkeiten des Deep Learning, was eine weitere Analyseebene hinzugefügt haben könnte.

Auch wenn unser systematischer Ansatz vorliegt, müssen die Analysten weiterhin die SHAP-Plots interpretieren. Diese Abhängigkeit von menschlichen Bewertungen kann manchmal zu Fehlern führen. Möglicherweise haben wir komplexe Szenarien der Mehrklassenklassifikation nicht vollständig berücksichtigt, was Raum für zukünftige Untersuchungen lässt.

Zu guter Letzt muss unser Modell regelmässig aktualisiert werden. Wenn es sich nicht an die sich ändernden Muster in den Daten anpasst, könnten die Entscheidungen, die ausschliesslich auf historischen Informationen basieren, zu Fehlklassifikationen führen.

#Fazit: Ein Schritt zu besseren Entscheidungen

Letztlich zeigt unsere Arbeit, wie visuelle Analysen in Kombination mit erklärbarer KI die Entscheidungsfindung in Intrusion Detection Systemen erheblich verbessern können. Durch die Verwendung von SHAP-Plots haben wir den Analysten Werkzeuge bereitgestellt, um die Vorhersagen des Modells zu zerlegen, was es ihnen ermöglicht, die Komplexität von False Positives und False Negatives selbstbewusster zu navigieren.

Da sich die Technologie weiterentwickelt, werden auch die Bedrohungen, denen wir in der digitalen Landschaft gegenüberstehen, zunehmen. Indem wir unsere Intrusion Detection Systeme heute stärken, ebnen wir den Weg für ein sichereres Morgen.