Fortschritte in der Video-Streaming-Analyse für kleine Geräte

Tiny Machine Learning (TinyML) ist ein wachsendes Gebiet, das Machine Learning-Technologie auf kleine Geräte wie Sensoren und Kameras bringt. Diese Geräte haben oft nur begrenzten Speicher, Rechenleistung und Akkulaufzeit. TinyML ermöglicht es diesen Geräten, Daten direkt dort zu analysieren, wo sie gesammelt werden. Das ist wichtig, weil es hilft, Daten privat zu halten, Verzögerungen bei der Verarbeitung zu reduzieren und es Geräten ermöglicht, ohne ständige Internetverbindung zu arbeiten.

#Was ist Video Streaming Analyse?

Eine der aufregenden Anwendungen von TinyML ist die Video Streaming Analyse (VSA). Dabei schaut man sich eine Reihe von Videobildern an, um Muster oder interessante Ereignisse zu finden. Traditionell haben die meisten Methoden zur Analyse von Videos auf kleinen Geräten jedes Bild einzeln betrachtet, wodurch man verpasst hat, wie sich Dinge im Video über die Zeit verändern.

Dieses Paper stellt einen neuen Ansatz vor, der es ermöglicht, mehrere Bilder zusammen zu analysieren, um ein besseres Verständnis dafür zu bekommen, was im Video-Stream passiert.

#Der Bedarf an Mehrbild-Analyse

Die Einschränkung, nur ein Bild nach dem anderen zu überprüfen, bedeutet, dass Geräte Muster, die sich über die Zeit ergeben, nicht erkennen können. Zum Beispiel kann bei der Gestenerkennung das Wissen darüber, wie sich die Hand einer Person über mehrere Bilder bewegt, genauere Informationen liefern als nur das Betrachten eines einzelnen Bildes.

Diese Arbeit zielt darauf ab, eine neue Art von neuronaler Netzwerk zu präsentieren, die mehrere Bilder auf kleinen Geräten verarbeiten kann, ohne viel Speicher oder Rechenleistung zu benötigen. Die neue Architektur erhält nicht nur die Genauigkeit, sondern reduziert auch die Anforderungen an das Gerät, was es machbar macht.

#Überblick über verwandte Arbeiten

Um diese neue Methode zu verstehen, ist es wichtig, sich anzuschauen, was zuvor gemacht wurde. Frühere TinyML-Systeme konzentrierten sich darauf, die Grösse und Komplexität von Machine Learning-Modellen zu reduzieren. So konnten die Modelle auf Geräten mit begrenzten Ressourcen laufen. Diese Methoden beinhalteten oft zwei Strategien:

1. Approximate Computing: Dabei werden kleine Opfer in der Genauigkeit gemacht, um Speicher- und Rechenanforderungen zu verringern.

2. Neugestaltung der Netzwerkarchitektur: Viele TinyML-Modelle verwendeten vereinfachte Versionen traditioneller neuronaler Netzwerke, insbesondere Convolutional Neural Networks (CNNs), um die Einschränkungen kleiner Geräte zu berücksichtigen.

Trotz der Fortschritte führten bestehende Systeme normalerweise die Videoanalyse durch, indem sie Bilder einzeln überprüften, was ihre Effektivität einschränkte.

#Die vorgeschlagene Lösung

Die vorgeschlagene Architektur zielt darauf ab, die Art und Weise, wie wir räumliche Informationen (die Bilder selbst) und zeitliche Informationen (wie sich diese Bilder im Laufe der Zeit ändern) behandeln, zu trennen. Diese Methode besteht aus zwei Hauptschritten:

1. Merkmalextraktion: In diesem Schritt werden einzelne Bilder betrachtet, um wichtige Informationen zu sammeln.

2. Zeitliche Analyse: Nachdem die Merkmale aus mehreren Bildern gewonnen wurden, werden sie kombiniert, um eine finale Vorhersage basierend darauf zu treffen, wie sich das Video über die Zeit entwickelt hat.

Durch die Organisation des Prozesses auf diese Weise kann die neue Architektur mehrere Bilder effizient verarbeiten.

#Experimentation und Ergebnisse

Um zu zeigen, wie gut dieser neue Ansatz funktioniert, wurden Tests zu zwei Aufgaben durchgeführt: Gestenerkennung und Ereigniserkennung. Für die Gestenerkennung wurde ein Datensatz mit verschiedenen Handgesten verwendet. Das neue Modell wurde mit bestehenden Modellen verglichen, die nur ein Bild auf einmal betrachteten.

Die Ergebnisse zeigten, dass der vorgeschlagene Ansatz die Genauigkeit bei der Erkennung von Gesten erheblich verbesserte. Wichtig ist, dass es nicht viel mehr Speicher oder Rechenleistung als die bestehenden Methoden benötigte.

Für die Ereigniserkennung wurde ein weiterer Datensatz verwendet, der sich auf die Analyse von Golfschwüngen konzentriert. Dieser Datensatz enthält Videosequenzen, in denen Golfspieler spezifische Aktionen ausführen. Auch hier zeigte die neue Mehrbildmethode bessere Ergebnisse im Vergleich zu älteren Methoden.

#Portierung auf reale Geräte

Um sicherzustellen, dass diese neue Architektur unter realen Bedingungen funktioniert, wurde sie auf dem Arduino Nicla Vision getestet, einem kleinen Gerät, das sich gut für TinyML-Anwendungen eignet. Das Modell wurde an die Fähigkeiten des Geräts angepasst, und nach einigen Modifikationen arbeitete es gut bei der Echtzeit-Gestenerkennung.

Die Tests zeigten, dass das Gerät das Modell effizient ausführen konnte, während es minimalen Strom verbrauchte, was es zu einer praktischen Option für Anwendungen macht.

#Fazit und zukünftige Richtungen

Die Forschung hebt die Vorteile der Verwendung mehrerer Bilder zur Videoanalyse auf kleinen Geräten hervor. Die neue Architektur integriert erfolgreich ein zeitliches Element in die Analyse, was zu einer verbesserten Genauigkeit führt, ohne zu viel vom Gerät zu verlangen.

In Zukunft werden Projekte darauf abzielen, Methoden zu entwickeln, um die Bildrate basierend auf der Szene um das Gerät herum anzupassen. Das wird helfen, Energie zu sparen, besonders in statischen Situationen. Es besteht auch Interesse daran, Funktionen einzuführen, die erkennen können, wenn die Kalibrierung eines Geräts nicht stimmt, und Wege zu entwickeln, damit das Modell aus neuen Daten lernen kann, ohne umfangreiche Neuausbildung.

Zusammenfassend öffnet diese Arbeit Türen für fortgeschrittenere Anwendungen der Videoanalyse in kleinen Geräten und erleichtert den Einsatz von Machine Learning in verschiedenen Bereichen wie Smart Homes, Gesundheitsüberwachung und Sicherheitssystemen.