Optimierung von Deep Neural Networks mit CMDS

Tiefe neuronale Netzwerke (DNNs) sind mega wichtig für viele smarte Anwendungen, besonders in der Bild- und Audioverarbeitung. Die können echt gut performen, aber diese hohe Leistung bringt auch komplexe Berechnungen und verschiedene Netzwerkstrukturen mit sich. Netzwerke wie ResNet und MobileNetv2 sind populär für Aufgaben wie das Klassifizieren von Bildern und Geräuschen. Jede Schicht in diesen Netzwerken kann ziemlich unterschiedlich in Form und Typ sein, was es schwer macht, einen einheitlichen Weg zu finden, um alle Schichten effizient auf Computerhardware laufen zu lassen.

Es wurden viele Forschungsschritte unternommen, um den besten Weg zu finden, jede Schicht eines DNN auszuführen. Einige Tools können den besten Weg finden, eine bestimmte Schicht auf spezifischer Hardware auszuführen. Aber diese Tools betrachten normalerweise jede Schicht separat. Sie berücksichtigen nicht, wie die Daten zwischen verschiedenen Schichten im Speicher angeordnet sind, was zu Ineffizienzen führt, wenn man von einer Schicht zur nächsten wechselt.

Dieser Artikel stellt einen neuen Ansatz vor, der Cross-layer Memory-aware Dataflow Scheduler (CMDS) heisst. Diese Methode zielt darauf ab, wie DNNs Hardware nutzen, zu verbessern, indem sie bedenkt, wie Daten im Speicher über verschiedene Schichten organisiert sind. Das Ziel ist es, die Ausführung von DNNs effizienter zu gestalten, indem der Energieverbrauch und die Ausführungszeit reduziert werden.

#Probleme mit aktuellen Tools

Die bestehenden Tools, die die Ausführung von DNN-Schichten optimieren, behandeln jede Schicht als separates Problem. Das bedeutet, sie berücksichtigen nicht, wie der Output einer Schicht der Input einer anderen Schicht werden kann. Wenn Schichten unabhängig behandelt werden, kann es zu Diskrepanzen kommen, wie Daten im Speicher gespeichert sind. Diese Diskrepanzen können Ressourcen verschwenden und die Gesamtleistung des DNNs verlangsamen.

Zum Beispiel, wenn Schicht A Daten in einem bestimmten Format produziert und Schicht B diese Daten in einem anderen Format erwartet, muss die Hardware extra Zeit aufwenden, um die Daten ins richtige Format zu bringen. Das bremst nicht nur die Sache aus, sondern kann auch zu einem höheren Energieverbrauch führen, was in der modernen Computertechnik ein Anliegen ist.

#CMDS: Ein neuer Ansatz

Der Cross-layer Memory-aware Dataflow Scheduler (CMDS) nimmt einen neuen Ansatz, um diese Probleme zu lösen. Anstatt jede Schicht isoliert zu betrachten, berücksichtigt CMDS, wie Daten von einer Schicht zur nächsten fliessen. Es bezieht die interne Organisation des Speichers mit ein, was eine bessere Koordination zwischen den Schichten ermöglicht.

Durch die Einführung von Konzepten wie Bankbreite (BD), Portbreite (PD) und Speicherbreite (MD) kann CMDS beschreiben, wie der Speicher strukturiert ist. Das hilft, die Ausführung von DNNs effektiver zu optimieren. Der CMDS funktioniert, indem er die Daten im Speicher nach Bedarf umschichtet, was ihm ermöglicht, sich an die Anforderungen unterschiedlicher Schichten anzupassen, während die Kosten und der Aufwand minimiert werden.

#Speicherstruktur und ihre Bedeutung

In modernen DNN-Beschleunigern ist der Speicher oft in mehrere Bänke organisiert. Jeder Bank kann unabhängig arbeiten, was hilft, Daten gleichzeitig zuzugreifen und zu verarbeiten. Allerdings kann die Struktur dieses Speichers einen riesigen Einfluss auf die Leistung haben.

Indem CMDS die Organisation der Speicherbänke versteht und nutzt, kann es verwalten, wie Daten gelesen und geschrieben werden. Zum Beispiel kann es die besten Wege herausfinden, um die Datenformate für verschiedene Schichten in einem neuronalen Netzwerk auszurichten. Das stellt sicher, dass wenn die Daten einer Schicht bereit sind, in die nächste Schicht eingespeist zu werden, sie bereits im richtigen Format vorliegen, was Zeit und Energie spart.

#Arbeitslasten planen

Der CMDS optimiert nicht nur, wie Daten organisiert sind, sondern managt auch die Planung der Arbeitslasten. Der Datenfluss für jede Schicht kann basierend auf der Anordnung der Daten im Speicher angepasst werden. Das bedeutet, CMDS kann den Schichten helfen, nahtlos zusammenzuarbeiten und die Wahrscheinlichkeit von Ineffizienzen zu reduzieren, die aus nicht passenden Datenlayouts entstehen.

Während des Planungsprozesses bestimmt CMDS zuerst den besten Weg, um die Daten jeder Schicht basierend auf der vorhandenen Speicherstruktur zu handhaben. Dann schaut es sich an, wie diese Entscheidungen die nachfolgenden Schichten beeinflussen, um sicherzustellen, dass das gesamte Netzwerk reibungslos funktioniert.

#Leistungsbenefits

Mit CMDS haben Forscher signifikante Verbesserungen in Bezug auf Energieeffizienz und Ausführungszeit beim Ausführen von DNNs im Vergleich zu traditionellen Methoden festgestellt. Die Fähigkeit, die Speicherorganisation und Datenabhängigkeiten zwischen den Schichten zu berücksichtigen, hat es CMDS ermöglicht, eine bessere Leistung zu erreichen und dabei die Hardwarekosten niedrig zu halten.

Zum Beispiel kann der Energieverbrauch reduziert werden, weil das System unnötige Datenumwandlungen vermeiden kann. Wenn die Daten bereits im richtigen Format sind, muss die Hardware nicht so viel arbeiten, was zu weniger Energieverbrauch führt.

#Experimentelle Ergebnisse

Um die Effizienz von CMDS zu bewerten, wurden verschiedene Experimente mit mehreren unterschiedlichen DNN-Modellen durchgeführt. Die Ergebnisse zeigten, dass Netzwerke, die mit CMDS optimiert wurden, weniger Energie verbrauchten und niedrigere Ausführungszeiten im Vergleich zu denen erreichten, die mit älteren Methoden optimiert wurden, die keine Datenlayouts berücksichtigten.

Insbesondere wurde der Energieaufwand beim Ausführen von DNNs mit nicht passenden Datenlayouts erheblich reduziert. Das bedeutet, dass die gesamten Energiekosten während der Operationen niedriger waren, was es zu einer nachhaltigeren Option für die Ausführung komplexer DNN-Anwendungen macht.

#Fazit

Tiefe neuronale Netzwerke werden ein entscheidender Teil vieler Technologien, die wir heute nutzen. Aber diese Netzwerke effizient auf Hardware zum Laufen zu bringen, ist eine komplexe Herausforderung. Aktuelle Optimierungstools übersehen oft die Beziehung zwischen verschiedenen Schichten, was zu Ineffizienzen führt.

Der Cross-layer Memory-aware Dataflow Scheduler (CMDS) bietet eine vielversprechende Lösung für diese Probleme. Indem er die Art und Weise berücksichtigt, wie Daten zwischen den Schichten fliessen und wie der Speicher strukturiert ist, kann CMDS die Ausführung von DNNs optimieren, um eine bessere Leistung und einen reduzierten Energieverbrauch zu erzielen. Dieser neue Ansatz ist entscheidend für die Verbesserung der Nachhaltigkeit und Effizienz zukünftiger smarter Anwendungen.