Herausforderungen im Machine Learning für die Netzwerkintrusionserkennung

Netzwerk-Intrusions-Erkennungssysteme (NIDS) spielen eine wichtige Rolle dabei, unsere Online-Räume sicher zu halten, indem sie den Netzwerkverkehr auf verdächtige Aktivitäten überwachen. Die Fähigkeit dieser Systeme, gut in verschiedenen Netzwerktypen zu funktionieren, ist entscheidend für ihren Erfolg und notwendig für die Anwendung in der realen Welt. In dieser Studie schauen wir uns an, wie Maschinelles Lernen NIDS helfen kann, Bedrohungen über verschiedene Datensätze hinweg zu erkennen.

In unserer Forschung haben wir Experimente mit vier unterschiedlichen Datensätzen aus verschiedenen Netzwerkumgebungen durchgeführt, darunter CIC-IDS-2017, CSE-CIC-IDS2018, LycoS-IDS2017 und LycoS-Unicas-IDS2018. Einer dieser Datensätze ist neu und wurde erstellt, um bestehenden Daten zu verbessern.

Unsere Ergebnisse zeigen, dass die maschinellen Lernmodelle zwar aussergewöhnlich gut funktionieren, wenn sie auf demselben Datensatz trainiert und getestet werden, ihre Effektivität jedoch erheblich sinkt, wenn der Datensatz für das Testen gewechselt wird. In einigen Fällen war die Genauigkeit fast genauso hoch wie bei Zufallsentscheidungen. Wir haben Datenvisualisierungsmethoden verwendet, um Muster innerhalb der Daten hervorzuheben, die Anomalien aufdecken, die die Fähigkeit der Klassifikatoren beeinträchtigen, erlernte Fähigkeiten auf neue Situationen zu übertragen.

#Bedeutung von Netzwerk-Intrusions-Erkennungssystemen

Mit unserem zunehmend vernetzten Welt wächst auch die Anzahl der Cyberangriffe. Diese Angriffe können wichtige Dienstleistungen stören und haben schwerwiegende finanzielle Folgen, wobei die geschätzten globalen Kosten für Cyberkriminalität 2020 bei etwa 1 Billion Dollar lagen. Diese Realität unterstreicht die Notwendigkeit effektiver Systeme zur Bekämpfung dieser Bedrohungen.

NIDS arbeiten, indem sie den Netzwerkverkehr analysieren, um ungewöhnliches Verhalten zu finden, was es Organisationen ermöglicht, schnell auf mögliche Angriffe zu reagieren. Es gibt drei Haupttypen von NIDS: statistikbasierte, wissensbasierte und auf maschinellem Lernen basierende (ML-basierte).

Statistikbasierte NIDS untersuchen aufgezeichnete Daten, um ein Modell zu erstellen, das normales Benutzerverhalten identifiziert. Wissensbasierte Systeme verwenden vordefinierte Regeln, die auf vorhandenen Daten basieren, um Abweichungen zu erkennen, die auf Eindringlinge hinweisen könnten. Eine Methode namens Deep Packet Inspection fällt in diese Kategorie, da sie einzelne Pakete auf Details untersucht.

ML-basierte NIDS hingegen verlassen sich auf das Training mit grossen Datensätzen, um Verhaltensmuster zu erkennen. Dieses Training kann entweder überwacht oder unüberwacht sein. Bei überwachten Lernen kommt jedes Datenstück mit einem Label, wie „normal“ oder „intrusiv“, was es dem Modell ermöglicht, den Zusammenhang zwischen der Eingabe und dem Label zu lernen. Unüberwachtes Lernen extrahiert Muster aus Datensätzen ohne Labels und behandelt die Daten als Zufallsvariablen, um Anomalien zu erkennen.

In ML-basierten NIDS kommen unterschiedliche Strategien zum Einsatz, darunter Entscheidungsbäume, neuronale Netze, Unterstützung-Vektor-Maschinen und k-nächste Nachbarn. Zum Beispiel führte eine Forschung ein System ein, das eine Kombination aus verschiedenen Algorithmen und Merkmalsauswahltechniken verwendet, um die Leistung zu verbessern.

In letzter Zeit haben Ansätze des tiefen Lernens an Bedeutung gewonnen, um NIDS zu entwickeln, indem fortgeschrittene neuronale Netze für eine bessere Genauigkeit bei der Identifizierung von Verkehrs mustern genutzt werden.

#Aktueller Forschungsschwerpunkt

Der Fokus dieser Forschung liegt darauf, zu analysieren, wie gut maschinell lernbasierte NIDS sich anpassen können, wenn sie auf verschiedenen Datensätzen trainiert und getestet werden. Verallgemeinerung ist der Begriff, der verwendet wird, um diese Fähigkeit zu beschreiben. Um dies zu bewerten, haben wir zwei Arten von Experimenten erstellt. Die erste Art beinhaltete Szenarien innerhalb des Datensatzes, bei denen wir auf demselben Datensatz trainiert und getestet haben. Die zweite Art beinhaltete Szenarien über Datensatzgrenzen hinweg, bei denen wir auf einem Datensatz trainiert und auf einem anderen getestet haben.

Unsere Studie nutzte die zuvor genannten vier Datensätze, die sowohl im Rohdatenformat als auch im verarbeiteten Merkmalsformat vorliegen. Wir haben CIC-IDS2017 und CSE-CIC-IDS2018 ausgewählt, weil ihre Angriffsklassen ähnlich waren, was sie für Kreuzdatensatzbewertungen geeignet macht.

#Überblick über die Datensätze

CIC-IDS2017 ist ein Datensatz, der sieben Tage Netzwerkverkehr von 14 Maschinen umfasst, die verschiedenen Cyberangriffen ausgesetzt sind. Der gutartige Verkehr wurde mit einem System generiert, das das Verhalten echter Benutzer nachahmt. Der Datensatz besteht aus 84 Merkmalen über 15 Klassen, darunter 14 für Angriffe und eine für den gutartigen Verkehr.

CSE-CIC-IDS2018 folgt einer ähnlichen Strategie, wurde jedoch in grösserem Massstab mit 500 Maschinen in der Cloud von Amazon Web Services durchgeführt. Der Datensatz bietet ebenfalls sowohl Rohdaten als auch verarbeitete Daten an.

LycoS-IDS2017 ist eine verbesserte Version des CIC-IDS2017-Datensatzes, die mehrere Probleme aus den Originaldaten behebt, wie Merkmalsduplikation und Fehlberechnungen.

LycoS-Unicas-IDS2018 ist ein neuer Datensatz, der auf den CSE-CIC-IDS2018-Daten basiert, mit verfeinerten Extraktionstechniken, um Probleme aus früheren Datensätzen zu korrigieren.

#Forschungsbeiträge

In dieser Studie haben wir zahlreiche Experimente durchgeführt, um zu bewerten, wie NIDS, die auf maschinellem Lernen basieren, mit verschiedenen Datensätzen umgehen können. Unsere Hauptbeiträge umfassen:

• Umfassende Experimente mit verschiedenen Modellen und Konfigurationen des maschinellen Lernens.
• Detaillierte Analyse der Leistung über Datensatzgrenzen hinweg, um zu untersuchen, wie gut sich Modelle verallgemeinern, wenn sie auf unterschiedlichen Datensätzen trainiert werden.
• Einführung des neuen Datensatzes, LycoS-Unicas-IDS2018, der Verbesserungen basierend auf früheren Herausforderungen integriert.
• Verwendung von Visualisierungstechniken, um die Struktur des Datensatzes und die Klassenverteilungen besser zu verstehen und die Ergebnisse zu interpretieren.

#Verwandte Arbeiten

Mehrere Studien haben die Effektivität von NIDS untersucht, insbesondere im Bereich der Verallgemeinerung. Frühere Arbeiten haben gezeigt, dass Klassifizierer Schwierigkeiten haben, gut zu arbeiten, wenn sie mit Daten konfrontiert werden, auf denen sie nicht trainiert wurden.

Zum Beispiel analysierte eine Forschung die Leistung verschiedener Klassifizierer auf Datensätzen wie CIC-IDS2017 und CSE-CIC-IDS2018 und schloss, dass diese Modelle erhebliche Herausforderungen hatten, als sie erlernte Informationen aus einem Datensatz auf ungesehene Daten aus einem anderen anwendeten.

Einige Forscher haben föderiertes Lernen als Möglichkeit untersucht, die Verallgemeinerung zu verbessern. Diese Methode ermöglicht es Organisationen, zusammenzuarbeiten, ohne sensible Daten auszutauschen, was zu einer verbesserten Intrusionsdetektion über verschiedene Datensätze hinweg führt. Viele dieser Studien verwendeten jedoch Daten aus allen Quellen in ihren Tests, was die Ergebnisse verzerren könnte.

#Methodik

Um die Verallgemeinerungsfähigkeiten von ML-basierten NIDS zu untersuchen, haben wir zwei Haupttypen von Experimenten entworfen: innerhalb des Datensatzes und über den Datensatz hinweg.

In den Experimenten innerhalb des Datensatzes wurde ein Datensatz im Verhältnis 80:20 in Trainings- und Testsets aufgeteilt. Für die Experimente über Datensatzgrenzen hinweg wurde ein gesamter Datensatz für das Training genutzt, während ein anderer, voneinander getrennter Datensatz für das Testen verwendet wurde. Jedes Setup zielte darauf ab, zu bewerten, wie gut das Modell erlernte Muster auf neue Daten anwenden konnte.

Die Merkmalsauswahl spielte auch eine entscheidende Rolle in unseren Experimenten. Techniken wie minimale Redundanz maximale Relevanz (mRMR) wurden verwendet, um die relevantesten Merkmale zu identifizieren und gleichzeitig die Redundanz zu minimieren.

#Ergebnisse und Diskussion

Die Ergebnisse unserer Experimente zeigten eine signifikante Leistungsdifferenz zwischen Bewertungen innerhalb des Datensatzes und über Datensatzgrenzen hinweg. Modelle schnitten deutlich besser ab, wenn sie auf demselben Datensatz getestet wurden, auf dem sie trainiert wurden. Im Gegensatz dazu fiel die Genauigkeit beim Übergang zu anderen Datensätzen oft auf ein Niveau, das nahe bei Zufallsentscheidungen lag.

Unsere Ergebnisse zeigten, dass für viele Angriffe nur wenige Merkmale erforderlich waren, um sie effektiv zu identifizieren, was auf einen Mangel an Variabilität in den Angriffsmustern hindeutet.

In Experimenten mit einzelnen Angriffen zeigten einige Angriffe vielversprechende Ergebnisse, wenn sie innerhalb desselben Datensatzes klassifiziert wurden, hatten jedoch Schwierigkeiten, als sie über verschiedene Datensätze hinweg evaluiert wurden. Diese Inkonsistenz deutete darauf hin, dass sie stark auf datensatzspezifische Merkmale angewiesen waren, die sich nicht gut übertragen liessen.

Wir haben auch festgestellt, dass einige Klassifizierer in bestimmten Szenarien über Datensatzgrenzen hinweg recht gut funktionierten, insbesondere bei Angriffen wie DoS GoldenEye und DoS Slowloris, aber bei anderen Schwierigkeiten hatten.

#Ergebnisse der Merkmalsauswahl

Die Verwendung von Methoden zur Merkmalsauswahl führte in einigen Fällen, insbesondere in Experimenten innerhalb des Datensatzes, zu einer verbesserten Leistung. Es wurde klar, dass die Begrenzung der Anzahl der Merkmale helfen könnte, Überanpassung zu reduzieren und Modellen zu ermöglichen, breitere Muster zu erlernen, die auf verschiedene Szenarien anwendbar sind.

Bei unserer Analyse der Datensätze stellten wir fest, dass viele Angriffe niedrige Werte an einzigartigen Werten aufwiesen, was auf starke Stichprobenredundanzen hinweist. Diese Erkenntnis wirft Bedenken hinsichtlich der Vielfalt und Variabilität der Daten auf, die für robuste Anwendungen des maschinellen Lernens erforderlich sind.

#Visuelle Analyse des Merkmalsraums

Wir haben auch eine visuelle Analyse durchgeführt, um die Verteilung der Angriffe im Merkmalsraum besser zu verstehen. Beobachtungen zeigten, dass sich die Verteilungen zwischen verschiedenen Datensätzen für viele Angriffe deutlich unterschieden. Diese Unterschiede könnten die Fähigkeit der Modelle beeinträchtigen, sich effektiv zu verallgemeinern.

Einige Angriffsarten wiesen über beide Datensätze hinweg ähnliche Verteilungsmuster auf, während andere drastische Unterschiede zeigten. Diese Diskrepanz verdeutlicht die Herausforderungen, die beim Training von Systemen bestehen, die in unterschiedlichen realen Situationen gut funktionieren müssen.

#Fazit

Diese Forschung beleuchtet die Herausforderungen, mit denen maschinell lernbasierte NIDS konfrontiert sind, wenn es um die Verallgemeinerung über verschiedene Datensätze hinweg geht. Die Ergebnisse deuten darauf hin, dass das Training von Modellen auf einem einzelnen Datensatz nicht ausreicht, um effektive NIDS für vielfältige reale Szenarien zu entwickeln.

Die Hauptprobleme, die identifiziert wurden, betreffen die Zusammensetzung der Datensätze, Überanpassung und Schwierigkeiten bei der Kennzeichnung. Das deutet darauf hin, dass die Erstellung umfassender Datensätze, die eine breite Palette von Angriffen repräsentieren, entscheidend für die Entwicklung effektiver NIDS ist.

Für die Zukunft kann die Nutzung von föderiertem Lernen mit einer ausreichenden Anzahl vielfältiger Datensätze die Verallgemeinerungsfähigkeiten verbessern und die Widerstandsfähigkeit von Intrusionsdetektionssystemen erhöhen.

Die Komplexität, die mit dem Training von Modellen verbunden ist, um anomalen Verkehr in unterschiedlichen Netzwerk Kontexten zu erkennen, hebt die Bedeutung fortlaufender Forschung zur Entwicklung effektiver, zuverlässiger NIDS hervor.