Untersuchung der Sparsamkeit in rekurrenten neuronalen Netzwerken

In den letzten Jahren haben sich neuronale Netzwerke von einfachen Designs zu komplizierteren entwickelt. Dabei funktionieren Convolutional Neural Networks (CNNs) gut für Aufgaben, die nicht von der Reihenfolge der Eingaben abhängen, wie zum Beispiel Bilderkennung. Recurrent Neural Networks (RNNs) hingegen sind ideal, wenn die Eingabereihenfolge wichtig ist, wie bei der Übersetzung von Sprachen.

Ein gängiger Ansatz zur Verbesserung der Leistung von neuronalen Netzwerken ist das Hinzufügen weiterer Schichten. Das macht sie jedoch komplexer und erfordert mehr Zeit und Energie zum Trainieren. Eine Möglichkeit, dieses Problem zu lösen, besteht darin, Sparsamkeit in das Netzwerk einzuführen. Das bedeutet, dass man gezielt Gewichte oder Verbindungen entfernt, die nicht entscheidend sind.

Pruning ist eine Methode, um ein neuronales Netzwerk spärlich zu machen, indem man Gewichte entfernt, die unter einem bestimmten Wert liegen. So kann das Netzwerk weiterhin gut arbeiten, während es weniger Ressourcen verbraucht. Andere Methoden beinhalten das Erstellen zufälliger Strukturen, die dem Netzwerk hinzugefügt werden können. Während viele Forscher das Pruning bei CNNs untersucht haben, gibt es nur wenig Forschung dazu bei RNNs. Diese Arbeit konzentriert sich darauf, wie Pruning und zufällige Strukturen die Leistung von RNNs beeinflussen.

Zuerst schauen wir uns an, was Pruning für RNNs bedeutet. Wir untersuchen die Auswirkungen auf die Leistung und die Trainingszeit, die benötigt wird, um die Genauigkeit nach dem Pruning wiederherzustellen. Als Nächstes erkunden wir die Erstellung und das Training von Sparse Recurrent Neural Networks (Sparse-RNNs) und wie ihre Leistung mit den Eigenschaften der verwendeten zufälligen Strukturen zusammenhängt. Wir führen diese Experimente mit verschiedenen Arten von RNNs durch, einschliesslich solcher, die Tanh- und ReLU-non-lineare Funktionen sowie Gated Recurrent Units (GRUs) und Long Short-Term Memory-Netzwerke (LSTMs) verwenden. Schliesslich werden wir die Ergebnisse dieser Experimente besprechen.

Viele Leute haben mich während meines Masterstudiums unterstützt und ermutigt, und ich möchte ihnen meinen Dank aussprechen. Besonders möchte ich Julian Stier danken, meinem Betreuer, für seine unschätzbare Anleitung und Ermutigung, über meine ursprünglichen Forschungsfragen hinauszudenken. Sein Feedback hat mir geholfen, meine Arbeit rechtzeitig abzuschliessen.

Ich möchte auch meinen Betreuern für ihre aufschlussreichen Kommentare danken, die mir geholfen haben, meine Forschung zu verbessern. Ausserdem habe ich in Passau Freundschaften geschlossen, die diese Stadt wie ein zweites Zuhause für mich gemacht haben. Ich habe gelernt, dass wahre Freundschaft keine Grenzen kennt.

Zum Schluss bin ich meinen Eltern und meiner Schwester für ihre unermüdliche Unterstützung sehr dankbar. Sie haben dafür gesorgt, dass ich die bestmögliche Ausbildung bekomme. Ihr Glaube an mich und ihre Opfer haben es mir ermöglicht, meine Masterausbildung in Deutschland fortzusetzen.

#Hintergrund zu Neuronalen Netzwerken

Ein neuronales Netzwerk, insbesondere ein Artificial Neural Network (ANN), ahmt nach, wie ein menschliches Gehirn funktioniert. Durch Millionen von Jahren der Evolution haben unsere Gehirne die Fähigkeit entwickelt, die Welt um uns herum schnell zu interpretieren und zu bewerten. Wenn wir zum Beispiel handgeschriebene Ziffern betrachten, können unsere Gehirne sie fast sofort erkennen, dank des Netzwerks von Neuronen, das wir haben. Im Gegensatz dazu ist es schwierig, Computerprogramme zu erstellen, die ähnliche Muster erkennen, da es viele Ausnahmen und spezifische Regeln zu beachten gibt.

Neuronale Netzwerke gehen dieses Problem an, indem sie Regeln aus umfangreichen Datensätzen lernen. Um ein neuronales Netzwerk zu trainieren, das handgeschriebene Ziffern erkennen kann, braucht man einen grossen Datensatz mit unterschiedlichen Stilen dieser Ziffern.

Neuronale Netzwerke und ihre Variationen haben sich in zahlreichen Anwendungsbereichen als effektiv erwiesen, darunter Bilderkennung, maschinelle Übersetzung und Empfehlungssysteme. Trotz ihrer beeindruckenden Leistung können neuronale Netzwerke komplex sein und benötigen erhebliche Speicherkapazität.

Sparse Neural Networks bieten eine Lösung, indem sie die neuronalen Netzwerke einfacher und speichereffizienter machen. Sparsamkeit in diesen Netzwerken kann das Entfernen von Gewichten, die Verwendung von Skip-Verbindungen oder das Erzeugen zufälliger Architekturen auf Basis von Graphen beinhalten. Dies kann die Grösse des Netzwerks erheblich reduzieren, ohne die Leistung merklich zu beeinträchtigen.

Wie bereits erwähnt, schneiden tiefe neuronale Netzwerke oft besser ab, bringen aber mehr Komplexität und Speicheranforderungen mit sich. Sparsamkeit kann helfen, die Leistung aufrechtzuerhalten und gleichzeitig diese Probleme zu lösen. Viele Forscher haben sich mit Sparsamkeit in traditionellen neuronalen Netzwerken und CNNs beschäftigt, aber sie ist in RNNs, die aufgrund ihrer Natur schwieriger zu trainieren sind, relativ unerforscht geblieben.

#Forschungsfragen

Das Ziel dieser Arbeit ist es, zu untersuchen, wie spärliche Strukturen die Leistung von RNNs beeinflussen, insbesondere die Varianten von Long Short-Term Memory und Gated Recurrent Units. Um dies zu erreichen, haben wir mehrere Forschungsfragen formuliert:

1. Welche Auswirkungen hat das Gewicht-Pruning auf die Genauigkeit eines rekurrenten Netzwerks?
2. Wie viel Gewicht-Pruning kann durchgeführt werden, ohne einen signifikanten Leistungsabfall zu verursachen?
3. Wie viele Retrainings-Epochen sind erforderlich, um die Genauigkeit nach dem Pruning eines bestimmten Prozentsatzes von Gewichten wiederzugewinnen?
4. Wie hängt die Leistung eines zufällig strukturierten rekurrenten Netzwerks mit den graphischen Eigenschaften seiner Struktur zusammen?
5. Kann die Leistung eines zufällig strukturierten rekurrenten Netzwerks mit Eigenschaften seines Basis-Zufallsgraphen vorhergesagt werden?

Wir werden diese Fragen für vier Typen von RNNs angehen: RNNs mit Tanh-Nichtlinearität, RNNs mit ReLU-Nichtlinearität, LSTM und GRU.

#Vorgeschlagener Ansatz

Um die Auswirkungen von sparsamen Strukturen in RNNs zu erkunden, skizzieren wir eine Reihe von drei Experimenten:

#Experiment 1: Untersuchung des Gewicht-Prunings

In diesem Experiment werden wir die Gewichte von sowohl Input-zu-Hidden- als auch Hidden-zu-Hidden-Verbindungen kürzen, und zwar sowohl gleichzeitig als auch einzeln. Der Prozess läuft folgendermassen ab: Wir trainieren ein rekurrentes Netzwerk auf einem Datensatz für eine festgelegte Anzahl von Epochen. Nach dem Training holen wir die gelernten Gewichte zurück, kürzen einen Prozentsatz der Gewichte und trainieren das Modell erneut, um zu bewerten, wie viele Epochen benötigt werden, um die Genauigkeit zurückzugewinnen.

#Experiment 2: Analyse zufällig strukturierter Netzwerke

In diesem Experiment generieren wir zufällige Strukturen mit rekurrenten Verbindungen, um Sparse RNNs zu erstellen. Wir trainieren diese Sparse RNNs und untersuchen die Beziehung zwischen Leistung und den graphischen Eigenschaften der zugrunde liegenden Struktur.

#Experiment 3: Leistungsprognose

Nachdem wir unsere Sparse RNNs trainiert haben, werden wir drei verschiedene Regressionsmodelle basierend auf den graphischen Eigenschaften und ihrer entsprechenden Genauigkeit trainieren. Wir werden einen R-Quadrat-Wert für jeden RNN-Typ und jedes Regressionsmodell berichten.

Alle drei Ansätze werden in späteren Kapiteln ausführlicher beschrieben.

#Verwandte Arbeiten

Einige Forscher haben in den letzten Jahrzehnten das Pruning bei RNNs untersucht. Nach unserem Wissen berichtet nur ein Artikel über das Generieren von Sparse Neural Networks aus zufälligen Graphen. Im Folgenden fassen wir relevante Forschung in diesem Bereich zusammen.

1994 veröffentlichten Forscher eine der ersten Pruning-Techniken für RNNs. Ihr Ansatz folgte einem Trainieren, Prunen und Retrain-Verfahren. Sie trainierten ein grosses Netzwerk auf einem Grammatikdatensatz, schnitten es dann und trainierten es neu, bis sie eine zufriedenstellende Leistung erreichten. Die Autoren kamen zu dem Schluss, dass ihr Algorithmus die Generalisierungsleistung effektiv verbessert.

2017 schlug eine andere Studie ein Recurrent Self-Organising Neural Network (RSONN) vor, das einen adaptiven Wachstums- und Pruning-Algorithmus (AGPA) verwendete, um die Struktur von RNNs selbst zu organisieren. Die Autoren berichteten von einer erfolgreichen Vereinfachung des Netzwerks mit besserer Leistung als bestehende Modelle.

In einem separaten Projekt in demselben Jahr wandten Forscher das Pruning der Gewichte während des anfänglichen Trainings des Netzwerks an und stellten fest, dass die Netzwerkparameter spärlich sein könnten, während die Genauigkeit nahe der des ursprünglichen dichten Netzwerks lag.

Später, 2017, führte ein anderes Team eine Blockpruning-Technik ein, die während der Trainingsphase rekurrenter Netzwerke Gruppen von Gewichten ausblenden konnte. Ihre Experimente zeigten eine effektive Block-Sparsity in RNNs.

Im Jahr 2019 versuchte eine Gruppe von der Universität Passau, die Leistung von CNNs anhand ihrer strukturellen Eigenschaften vorherzusagen. Sie erstellten Sparse Neural Networks, indem sie Graphen in ANNs einbetteten. Dieser Ansatz wird unsere Generierung von Sparse RNNs informieren.

#Technischer Hintergrund

Bevor wir ins Detail über Pruning und zufällige Strukturen eingehen, ist es wichtig zu verstehen, wie verschiedene RNN-Typen funktionieren. In diesem Abschnitt werden RNNs, LSTMs und GRUs erklärt.

Um RNNs zu verstehen, müssen wir zuerst anschauen, wie ein grundlegendes Bauelement von neuronalen Netzwerken, der Perzeptron, funktioniert.

Ein Perzeptron ist ein einzelnes neuronales Netzwerk, das als linearer Klassifikator fungiert. Es akzeptiert mehrere Eingaben und gibt eine einzelne Ausgabe zurück. Ein einfaches Perzeptron besteht aus Eingaben, Gewichten, einer gewichteten Summe und einer Aktivierungsfunktion.

#Nichtlineare Aktivierungsfunktionen

Neuronale Netzwerke benötigen oft nichtlineare Funktionen, da lineare Funktionen möglicherweise komplexe Muster nicht erfassen. Zu den gängigsten Aktivierungsfunktionen gehören ReLU, Sigmoid und Tanh.

Die Rectified Linear Unit (ReLU) bietet eine Ausgabe basierend darauf, ob die Eingabe positiv oder negativ ist. Die Sigmoid-Funktion ordnet Eingaben einem Bereich zwischen 0 und 1 zu und wird häufig in traditionellen Netzwerken verwendet. Tanh oder hyperbolische Tangens liegt zwischen -1 und 1 und bietet bessere Leistung als die Sigmoid-Funktion.

#Backpropagation

Das Ziel eines neuronalen Netzwerks ist es, Fehler zu minimieren. Dafür verwenden wir einen Prozess namens Backpropagation, der den Gradient einer Fehlerfunktion berechnet und die Gewichte entsprechend aktualisiert.

Recurrent Neural Networks integrieren Rückkopplungsverbindungen, was bedeutet, dass die Ausgaben früherer Schritte die zukünftigen Eingaben beeinflussen können. Diese Struktur ist entscheidend für Aufgaben, bei denen die Reihenfolge der Daten wichtig ist.

#Backpropagation Through Time

RNNs benötigen eine modifizierte Version der Backpropagation namens Backpropagation Through Time (BPTT), die die Abhängigkeiten über Zeitstufen hinweg berücksichtigt. Der Fehler aus späteren Zeitstufen wird durch das Netzwerk zurückpropagiert, sodass alle Beiträge zur aktuellen Ausgabe berücksichtigt werden.

#Long Short-Term Memory (LSTM)

LSTMs helfen, Problemen im Zusammenhang mit verschwindenden Gradienten zu begegnen, indem sie Tore einführen, die den Informationsfluss durch das Netzwerk steuern. Diese Tore ermöglichen es LSTMs, langfristige Abhängigkeiten effektiv zu lernen.

#Gated Recurrent Unit (GRU)

Ähnlich wie LSTMs verwenden GRUs Gating-Mechanismen, um den Informationsfluss zu steuern, aber mit einer einfacheren Architektur. Sie lernen ebenfalls langfristige Abhängigkeiten und sind dabei recheneffizient.

In dieser Arbeit werden wir mit RNNs arbeiten, die Tanh- und ReLU-Nichtlinearitäten, LSTMs und GRUs verwenden, aufgrund ihrer weit verbreiteten Nutzung und Vorteile.

#Pruning-Techniken

Wie bereits erwähnt, ist eine gängige Technik zur Verbesserung der Effizienz grosser neuronaler Netzwerke das Pruning. Dieser Prozess beinhaltet das Entfernen weniger wichtiger Gewichtparameter, während versucht wird, die Leistung des Modells aufrechtzuerhalten.

#Magnitude-Based Pruning

Magnitude-based Pruning konzentriert sich auf den Absolutwert von Gewichten und identifiziert die am wenigsten signifikanten zur Entfernung. Studien haben gezeigt, dass diese Methode zu erheblichen Reduktionen der Modellgrösse führen kann, ohne die Genauigkeit zu opfern.

#Graphentheorie

Die Graphentheorie beschäftigt sich mit Netzwerken von miteinander verbundenen Knoten. In dieser Forschung werden wir zwei Arten von Zufallsgraphen mit Small-World-Eigenschaften untersuchen: Watts–Strogatz- und Barabási–Albert-Modelle.

#Zufallsgraphen

Zufallsgraphen haben Kanten, die zufällig basierend auf bestimmten Wahrscheinlichkeitsmassen verteilt sind. Diese Graphen können komplexe Netzwerke darstellen, bei denen es nicht möglich ist, jedes Detail zu modellieren.

#Eigenschaften von Graphen

Wir werden verschiedene Eigenschaften von Graphen untersuchen, einschliesslich der Anzahl der Knoten, Kanten und deren Anordnung. Diese Eigenschaften können helfen, Einblicke in die Leistung von neuronalen Netzwerken zu geben, die aus diesen Graphen konstruiert wurden.

#Small World Netzwerke

Small World Netzwerke haben eine einzigartige Struktur, die kürzere Wege zwischen Knoten ermöglicht. Diese Eigenschaft ist für bestimmte Anwendungen wichtig.

#Barabási–Albert-Modell

Das Barabási–Albert-Modell erzeugt Scale-Free Netzwerke, bei denen die Verbindungen zwischen Knoten einem Potenzgesetz folgen. Dieses Modell zeigt, wie Netzwerke im Laufe der Zeit wachsen.

#Datensatz

Unsere Experimente werden einen Datensatz bestehen, der aus Reber-Sequenzen besteht, die aus einer bestimmten Menge von Zeichen gebildet werden. Diese Zeichenfolgen folgen spezifischen Regeln, und unser Ziel ist es, sie genau zu klassifizieren.

#Sparse Recurrent Neural Networks Experimente

In den folgenden Kapiteln werden wir die Experimente detailliert beschreiben, die sich auf die Leistung des Basis-Modells und die Änderungen der Leistung nach der Anwendung der Pruning-Technik und der Einbettung zufälliger Strukturen konzentrieren.

#Basis-Modell

Unser Basis-Modell besteht aus rekurrenten Schichten, einer linearen Schicht und einer Einbettungsschicht, um Eingabedaten effektiv zu verarbeiten. Dieses Modell wird als Grundlage zur Bewertung der Wirksamkeit verschiedener Sparsamkeitsmethoden dienen.

#Gepürnte Modelle

Wir werden die Leistung des ursprünglichen Modells bewerten und wie sich diese verändert, nachdem Gewichte von Input-zu-Hidden- und Hidden-zu-Hidden-Verbindungen gekürzt wurden. Jedes RNN-Variant wird gründlich getestet.

#Zufällig strukturierte Modelle

Wir werden auch zufällige Strukturen für RNNs generieren und deren Leistung untersuchen. Diese Modelle werden helfen, die Beziehung zwischen graphischen Eigenschaften und Netzwerkleistung zu klären.

#Experiment Ergebnisse

Wir werden die Ergebnisse unserer Experimente präsentieren, beginnend mit der Leistung des Basis-Modells und anschliessend zu den Ergebnissen der gepürnten und zufällig strukturierten RNNs übergehen.

#Basis-Modell Leistung

Durch unsere Experimente haben wir konsequent hohe Genauigkeitsraten über verschiedene RNN-Modelle hinweg erzielt, was auf deren Effektivität hinweist.

#Leistung nach Pruning

Unsere Ergebnisse zeigen, dass Pruning die Komplexität von RNNs reduzieren kann, während die Leistung aufrechterhalten wird. Jedes Modell hat eine unterschiedliche Schwelle für das Pruning gezeigt, aber in vielen Fällen können wir einen signifikanten Prozentsatz ohne Genauigkeitsverlust kürzen.

#Leistung von zufällig strukturierten Modellen

Die Leistungsbewertung zufällig strukturierter Modelle wird wertvolle Einblicke in deren Effektivität und wie graphische Eigenschaften die Ergebnisse beeinflussen, offenbaren.

#Leistungsprognose

Schliesslich werden wir die Ergebnisse der Leistungsprognose zusammenfassen und darstellen, wie genau wir die Leistung eines RNNs basierend auf seinen graphischen Eigenschaften vorhersagen können.

#Fazit

Das Hauptziel dieser Arbeit ist es, die Auswirkungen von Sparsamkeit in RNNs zu untersuchen. Wir haben zwei Methoden erkundet: Pruning und das Generieren zufälliger Strukturen. Die Ergebnisse bestätigten, dass erhebliches Gewicht-Pruning möglich ist, während die Leistung erhalten bleibt. Darüber hinaus zeigten zufällige Strukturen potenzielle Beziehungen zu Leistungsmetriken.

#Danksagung

Ich möchte meinen aufrichtigen Dank an alle aussprechen, die mich während meiner Forschung unterstützt haben. Eure Ermutigung hat meine Arbeit stark beeinflusst.