Gestenerkennung mit ereignisbasierten Kameras und CSNNs

Neue Entwicklungen bei Kameras und Computern, inspiriert von der Funktionsweise des menschlichen Gehirns, haben zu neuen Möglichkeiten geführt, visuelle Informationen zu verarbeiten. Eine wichtige Entwicklung sind eventbasierte Kameras. Diese Kameras erfassen Veränderungen in einer Szene in Echtzeit und sind daher super nützlich für Aufgaben wie Gestenerkennung. Wenn man diese Kameras mit speziellen Computerprogrammen kombiniert, die als spiking neuronale Netzwerke bekannt sind, können wir Daten effizienter analysieren und klassifizieren.

In diesem Artikel wird ein Projekt vorgestellt, das ein bestimmtes Typ von spiking neuronalen Netzwerk, das als konvolutionales spiking neuronales Netzwerk (CSNN) bezeichnet wird, nutzt, um mit Daten von eventbasierten Kameras zu arbeiten, die Handgesten in American Sign Language (ASL) erkennen. Das Ziel ist es, Buchstaben basierend auf den von der Kamera erfassten Bewegungen zu identifizieren.

#Eventbasierte Kameras

Eventbasierte Kameras, im Gegensatz zu traditionellen Kameras, die Bilder in festen Intervallen aufnehmen, erfassen Veränderungen in der Helligkeit jedes Pixels, sobald sie passieren. Jede Veränderung wird als "Ereignis" bezeichnet. Das ermöglicht es ihnen, sich nur auf die Teile einer Szene zu konzentrieren, die sich verändern, was sie schneller und energieeffizienter macht. Sie sind sehr gut darin, Bewegungen aufzufangen, was ähnlich ist, wie unsere Augen funktionieren.

Wenn eine Veränderung erkannt wird, zeichnet die Kamera die Zeit, den Ort und die Art der Veränderung auf, was bei der späteren Dateninterpretation hilft. Die gesammelten Daten sind oft spärlich, was bedeutet, dass nicht jedes Pixel zur gleichen Zeit verändert wird. Hier kommen spiking neuronale Netzwerke ins Spiel, da sie gut mit dieser Art von Daten umgehen können.

#Spiking Neuronale Netzwerke

Spiking neuronale Netzwerke sind nach dem Gehirn modelliert. Sie verarbeiten Informationen mit Hilfe von Spitzen, ähnlich wie Gehirnzellen kommunizieren. Im Gegensatz zu traditionellen künstlichen neuronalen Netzwerken, die kontinuierliche Werte verwenden, nutzen spiking Netzwerke diskrete Spitzen, was sie besser geeignet macht für den Umgang mit den Daten, die von eventbasierten Kameras generiert werden.

In einem spiking neuronalen Netzwerk erzeugt ein Neuron seine eigene Spitze, wenn es genug Spitzen von anderen Neuronen erhält. Dieser Ansatz ermöglicht es dem Netzwerk, Timing in seine Berechnungen einzubauen, wodurch es möglich wird, die sequenzielle Natur von Ereignissen zu erfassen, wie die Bewegung einer Hand beim Zeichnen in ASL.

#Konvolutionale Spiking Neuronale Netzwerke (CSNNs)

Ein konvolutionales spiking neuronales Netzwerk fügt eine weitere Komplexitätsebene hinzu. Es kombiniert die Prinzipien der Raum-Zeit-Verarbeitung von traditionellen konvolutionalen neuronalen Netzwerken (CNNs) mit den Operationen spiking neuronaler Netzwerke. Das ist nützlich für Aufgaben, die die Mustererkennung in zeitvariablen Daten, wie Gesten, erfordern.

In diesem Projekt haben wir ein CSNN entworfen, um das ASL-DVS-Dataset zu analysieren, das Aufnahmen von Menschen enthält, die Buchstaben des Alphabets zeichnen. Das Dataset umfasst Handbewegungen für 24 Buchstaben, wobei J und Z aufgrund der Art und Weise, wie diese Buchstaben gezeichnet werden, ausgeschlossen sind.

#ASL-DVS-Dataset

Das ASL-DVS-Dataset wird mit einer speziellen Art von Kamera erstellt, die die präzise Bewegung von Handgesten erfasst. Es enthält Aufnahmen von mehreren Probanden, bei denen jeder Proband Gesten für verschiedene Buchstaben ausführt. Jede Aufnahme wird in kleinere Segmente aufgeteilt, um die Analyse zu erleichtern.

Jeder Datenpunkt enthält Informationen darüber, wann ein Ereignis aufgetreten ist, die Position des Ereignisses und die Veränderung der Helligkeit an diesem Pixel. Diese Informationen helfen dem CSNN, die einzigartigen Muster zu erkennen, die verschiedenen Buchstaben entsprechen.

#Datenvorverarbeitung

Bevor wir die Daten zum Trainieren des CSNN verwenden, sind einige Vorverarbeitungsschritte notwendig. Das beinhaltet, die Ereignisdaten in ein für das Modell geeignetes Format zu organisieren. Alle erfassten Ereignisse werden in Batches gruppiert, was es dem Modell erleichtert, sie zu verarbeiten.

Sobald die Daten organisiert sind, wählen wir zufällig Batches aus jeder Aufnahme aus und speichern sie in Dateien. Das hilft, einen ausgewogenen Satz von Trainings- und Validierungsdaten zu erstellen, sodass das Modell effektiv lernen kann.

#CSNN-Architektur

Die für dieses Projekt verwendete CSNN-Architektur besteht aus mehreren Schichten. Die Hauptbestandteile sind konvolutionale Schichten, die helfen, Merkmale aus den Eingabedaten zu extrahieren. Jede Schicht verarbeitet die Eingabe und reicht sie an die nächste Schicht weiter, die die Informationen schrittweise verfeinert.

Die letzte Schicht ist eine vollständig verbundene Schicht, die bestimmt, welchem Buchstaben jede Geste entspricht. Die Modellarchitektur ist so gestaltet, dass sie die raumzeitlichen Informationen in den Daten nutzt, wodurch es dem Modell ermöglicht wird, Gesten genau zu lernen und zu klassifizieren.

#Training des Modells

Um das Modell zu trainieren, haben wir eine spezielle Optimierungsmethode namens Adam-Optimizer verwendet. Der Trainingsprozess beinhaltet das Anpassen der Modellparameter, um den Fehler in seinen Vorhersagen zu minimieren. Das geschieht, indem man die Ausgaben des Modells mit den erwarteten Ergebnissen vergleicht und das Modell basierend auf den Abweichungen aktualisiert.

Während der Trainingsphase überwachen wir die Leistung des Modells, um sicherzustellen, dass es effektiv lernt. Wir verfolgen die Genauigkeit der Vorhersagen des Modells und den Verlust, der darstellt, wie weit die Vorhersagen von den tatsächlichen Ergebnissen entfernt sind.

Das Training findet auf einer Cloud-Computing-Plattform statt, um die grossen Datenmengen und die benötigte Rechenpower zu bewältigen. Das Modell wird mit verschiedenen Einstellungen getestet, um die beste Kombination zu finden, die eine hohe Genauigkeit liefert.

#Ergebnisse

Nach dem Training haben wir beeindruckende Ergebnisse mit dem CSNN-Modell erzielt. Die Trainingsgenauigkeit erreichte 100%, was darauf hindeutet, dass das Modell gelernt hat, Gesten basierend auf den Trainingsdaten zu erkennen. Allerdings war die Validierungsgenauigkeit niedriger, bei etwa 81%. Diese Diskrepanz könnte darauf hindeuten, dass das Modell die Trainingsdaten zu gut gelernt hat und Schwierigkeiten mit neuen, ungesehenen Daten haben könnte.

Längere Trainingszeiten führten in der Regel zu besseren Ergebnissen, wobei die Genauigkeit und der Verlust des Modells sich verbesserten, als die Anzahl der Trainingsepochen zunahm. Dennoch zeigt der Unterschied zwischen Trainings- und Validierungsgenauigkeit, dass weitere Arbeiten nötig sein könnten, um die Validierungsleistung zu verbessern.

#Fazit

Dieses Projekt zeigt das Potenzial der Verwendung konvolutionaler spiking neuronaler Netzwerke für die Gestenerkennung, insbesondere im Kontext der American Sign Language. Die Kombination aus eventbasierten Kameras und spiking neuronalen Netzwerken bietet eine energieeffiziente Möglichkeit, visuelle Informationen zu verarbeiten.

Obwohl die Ergebnisse vielversprechend sind, gibt es noch Raum für Verbesserungen, insbesondere um die Lücke zwischen Trainings- und Validierungsgenauigkeit zu schliessen. Zukünftige Arbeiten könnten sich darauf konzentrieren, das Modell zu verfeinern und zusätzliche Techniken zu erforschen, um die Leistung zu verbessern.

Insgesamt ebnet diese Forschung den Weg für weitere Fortschritte im Bereich der visuellen Erkennung, was zu besseren Anwendungen in der unterstützenden Technologie und Kommunikationshilfen für hörgeschädigte Menschen führen könnte.

#Danksagungen

Wir möchten allen danken, die zur Entwicklung dieses Projekts beigetragen haben. Ihre Unterstützung und Expertise waren von unschätzbarem Wert für unser Verständnis der Verarbeitung von eventbasierten Daten und spiking neuronalen Netzwerken.

#Code-Organisation

Das Code-Repository für dieses Projekt ist in drei Hauptverzeichnisse organisiert. Das Verzeichnis für Animationen enthält Visualisierungen, die die eventbasierten Daten zeigen. Das src-Verzeichnis enthält den Modellcode und Skripte zum Laden der Daten. Das utils-Verzeichnis umfasst Code zur Datenvorverarbeitung sowie Werkzeuge zur Analyse und Visualisierung.

In unserer Implementierung haben wir das PyTorch-Framework zusammen mit einer speziellen Erweiterung für spiking neuronale Netzwerke verwendet. Diese Kombination erlaubte es uns, die neuromorphen Datensätze effizient zu verarbeiten und spezifische Transformationen anzuwenden, die für die zeitliche Natur der Daten geeignet sind.

#Zukünftige Richtungen

In Zukunft könnte zusätzliche Forschung verschiedene Methoden erkunden, um die Modellleistung, insbesondere bei der Validierungsgenauigkeit, zu verbessern. Regularisierungstechniken könnten helfen, Überanpassungsprobleme zu adressieren, sodass das Modell besser auf neue Daten verallgemeinern kann.

Ausserdem könnte die Erweiterung des Datensatzes, um mehr Variabilität in Gesten und Lichtverhältnissen einzubeziehen, die Fähigkeit des Modells zur genauen Gestenerkennung weiter verbessern. Letztendlich ist das Ziel, ein robustes System zu schaffen, das die Kommunikation für hörgeschädigte Menschen durch genaue Gestenerkennung effektiv unterstützen kann.