Neuer Datensatz MiliPoint bringt mmWave Radar Forschung voran

Millimeter-Wellen-Radar (MmWave) wird immer beliebter, um menschliche Aktivitäten zu erkennen, weil es kostengünstig ist und die Privatsphäre der Nutzer besser respektiert als traditionelle Kamerasysteme. Anstatt Bilder aufzunehmen, erkennt mmWave Radar Signale, die von Objekten reflektiert werden. Allerdings ist diese Technologie empfindlich gegenüber Geräuschen, was die Anwendung von Deep-Learning-Methoden in diesem Bereich erschwert.

Um die Forschung und Entwicklung in diesem Bereich zu unterstützen, haben wir einen Datensatz namens MiliPoint erstellt. Dieser Datensatz ist gross und offen für die Nutzung durch Forscher und Entwickler. MiliPoint ermöglicht es, zu erkunden, wie mmWave Radar effektiv zur Erkennung menschlicher Aktivitäten eingesetzt werden kann. Er umfasst eine Vielzahl menschlicher Aktionen und beinhaltet drei wichtige Aufgaben: Identifizierung von Personen, Klassifizierung von Aktionen und Schätzung von Schlüsselpunkten am menschlichen Körper.

#Bedeutung von mmWave Radar beim Sensing

Sensoren sind entscheidend für moderne Systeme, die bei Entscheidungen helfen. mmWave Radar wird oft in verschiedenen Bereichen wie Automobil, Industrie und zivilen Anwendungen eingesetzt. Es bietet eine gute Balance zwischen Auflösung, Genauigkeit und Kosten.

Im Vergleich zu traditionellen Sensoren wie WiFi und Bluetooth arbeitet mmWave Radar auf höheren Frequenzen, was eine bessere Auflösung und feinere Details ermöglicht. Es kann auch kleiner und günstiger gemacht werden, während die Qualität erhalten bleibt. Allerdings gibt es auch Nachteile; es kann unter Geräuschen leiden, da es auf reflektierten Signalen basiert.

Die Qualität von mmWave Radar im Vergleich zu anderen Sensoren zeigt seine Stärken. Es ist eine kostengünstige und nicht-intrusive Lösung, die effektiv in vielen Szenarien eingesetzt werden kann.

Forscher haben mmWave Radar für viele Aufgaben im Zusammenhang mit der Erkennung menschlicher Aktivitäten als nützlich erachtet, aber unterschiedliche Bedingungen und Aufgabenanforderungen machen den Vergleich verschiedener Methoden herausfordernd. Es gibt viele Studien, die sich auf spezifische Aspekte konzentrieren, wie die Verfolgung einer Person oder das Unterscheiden von zwei oder drei Personen, wobei verschiedene Stichprobengrössen und Aktionsarten angesammelt werden.

#Erstellung des MiliPoint-Datensatzes

MiliPoint wurde als standardisierter Datensatz entwickelt, um zukünftige Forschung im Bereich der Erkennung menschlicher Aktivitäten zu unterstützen. Seine wichtigsten Beiträge sind:

• MiliPoint enthält drei Hauptaufgaben zur Erkennung menschlicher Aktivitäten: Identifizierung, Aktionsklassifizierung und Schätzung von Schlüsselpunkten.
• Der Datensatz umfasst eine Vielzahl von Aktionen mit über 545.000 Frames, was viel grösser ist als bestehende Datensätze.
• Wir haben auch bestehende punktbasierte Deep-Neural-Networks (DNNs) auf MiliPoint getestet und eine Basislinie für zukünftige Verbesserungen festgelegt.

#Verständnis von mmWave-Signalen

Ein mmWave-Signal ist ein elektromagnetisches Signal, das normalerweise zwischen 30 und 300 GHz fällt, mit einer Wellenlänge von weniger als 1 cm. Diese höhere Frequenz ermöglicht eine breitere Bandbreite, was mmWave ideal für Radaranwendungen im Kurzstreckenbereich macht, da eine bessere Auflösung mit grösserer Bandbreite einhergeht.

Zusätzlich ermöglicht die kurze Wellenlänge die Integration vieler Antennen in einem kompakten Gerät, was wertvolle Daten über den Einfallswinkel und detaillierte 3D-Raummerkmale liefert. Obwohl mmWave Radar weniger genau ist als Kameras und Lidar-Systeme, hat es Vorteile wie Kosteneffizienz, Nicht-Intrusivität und Unabhängigkeit von Lichtbedingungen, was es für die Erkennung menschlicher Aktivitäten immer beliebter macht.

Typischerweise verwenden mmWave-Radare eine Methode namens frequenzmodulierte Dauerwelle (FMCW), um Objekte zu finden. Das Radar sendet Millimeterwellen-Signale aus, die von Objekten zurückprallen, und das Radar sammelt das reflektierte Signal. Die Entfernung und der Winkel eines Objekts sind in der Frequenz und Phase dieses zurückgegebenen Signals codiert. Die Verarbeitungseinheit des Radars analysiert dann die Signale, um Daten über die 3D-Koordinaten des Objekts zu erzeugen.

#Bestehende mmWave-Datensätze

Während viele mmWave-Radarframeworks für die Erkennung menschlicher Aktivitäten entwickelt wurden, sind nur wenige Datensätze öffentlich verfügbar. Die meisten dieser Datensätze konzentrieren sich auf eine spezifische Aufgabe, oft die Schätzung von Schlüsselpunkten. Es gibt einige Datensätze, die speziell für die Aktionsklassifizierung erstellt wurden, aber sie sind sowohl in der Grösse als auch in der Vielfalt der erfassten Aktionen eingeschränkt.

MiliPoint ist einzigartig, weil er alle drei Hauptaufgaben in der Erkennung menschlicher Aktivitäten umfasst und umfassendere Daten als zuvor verfügbar bietet. Er umfasst insgesamt 11 Teilnehmer, die 49 verschiedene Aktionen ausführen, und zeigt eine Vielzahl menschlicher Bewegungen, die den Forschungsbereich deutlich erweitern.

#Punktbasierte neuronale Netze

Punktwolken bestehen aus zahlreichen 3D-Punkten, die die Form eines Objekts darstellen und häufig in Computergrafik und 3D-Sensing verwendet werden. Punktbasierte neuronale Netze, wie PointNet und PointNet++, verarbeiten diese ungeordneten Punktmengen direkt, anstatt sie in andere Formate wie Bilder oder Raster zu konvertieren.

DGCNN, eine Variante des Graph-Neural-Networks, glänzt, indem es EdgeConv verwendet, um Informationen aus der lokalen Nachbarschaft zu sammeln, während PointTransformer Selbstaufmerksamkeitsmethoden verwendet, die ursprünglich für die Sprachverarbeitung entwickelt wurden. Es gibt auch einfachere Netze wie PointMLP, die weniger komplexe Architekturen erfordern, aber dennoch konkurrenzfähige Ergebnisse erzielen.

In unserer Arbeit haben wir Benchmarks erstellt, die verschiedene repräsentative Netzwerke wie PointNet++, PointMLP, DGCNN und PointTransformer verwenden, um ihre Leistung auf dem MiliPoint-Datensatz zu bewerten.

#Datenaufnahmeprozess

Die Datenaufnahme fand persönlich statt, wobei die Teilnehmer eine Reihe von Übungen mit niedriger Intensität durchführten. Jede Übung wurde sorgfältig nach Intensität und Vielfalt ausgewählt. Ein Video, das diese Übungen zeigt, wurde verwendet, um die Teilnehmer durch ihre Bewegungen zu leiten.

Um die Privatsphäre der Teilnehmer zu wahren, haben wir sichergestellt, dass sie anonym blieben, und der Datensatz enthält nur Punktwolken-Daten und Schlüsselpunkte, die aus dem Radar abgeleitet wurden. Alle Video-Inhalte wurden verworfen. Das verwendete mmWave Radar und die Stereo-Kamera für die Datenerfassung wurden so eingerichtet, dass hochwertige Datenströme gewährleistet sind.

Das mmWave Radar, das wir verwendet haben, ist bekannt für seine 3D-Bildgebungsfähigkeit. Es arbeitet im Frequenzbereich von 77-81 GHz und ist mit mehreren Sendern und Empfängern ausgestattet. Diese Einrichtung liefert signifikante Daten über die Bewegungen der Personen.

Wir haben auch eine Stereo-Kamera eingesetzt, um Ground-Truth-Daten zur Schätzung von Schlüsselpunkten zu liefern, die Tiefeninformationen und 3D-Koordinaten der Teilnehmer erfassen.

#Rekrutierung der Teilnehmer und Studiengenehmigung

Elf Teilnehmer haben sich freiwillig für die Studie gemeldet, die über E-Mail und Mund-zu-Mund-Propaganda rekrutiert wurden. Die Gruppe bestand aus vier Frauen und sieben Männern, die alle keine Mobilitätsprobleme hatten. Die Teilnehmer wurden über den Zweck der Studie informiert und stimmten durch die Unterzeichnung von Einwilligungsformularen zu, daran teilzunehmen. Sie erhielten einen kleinen Anreiz für ihre Teilnahme.

Die Studie wurde vom Ethikkomitee der Fakultät für Ingenieurwissenschaften an der Universität genehmigt.

#Aufgabendesign

Um die Leistung zu bewerten, haben wir drei Hauptaufgaben festgelegt: Identifizierung, Schätzung von Schlüsselpunkten und Aktionsklassifizierung.

1. Identifizierung: Diese Aufgabe umfasst die Analyse von Daten, um zwischen Personen anhand einzigartiger Merkmale zu unterscheiden. Jeder Teilnehmer erhält ein numerisches Label.

2. Aktionsklassifizierung: Dies erfordert das Erkennen von Verhaltensmustern aus den Radar-Daten, die in Frames angeordnet sind, die jeweils mit einer bestimmten Aktion verknüpft sind.

3. Schätzung von Schlüsselpunkten: Dabei geht es darum, wichtige Punkte am menschlichen Körper zu lokalisieren. Wir haben zwei Schlüsselpunkttasks entwickelt: eine, die sich auf einen Kern von Merkmalen wie Schultern und Knien konzentriert, und eine andere, die eine detailliertere Punktesammlung umfasst, einschliesslich Nase und Handgelenken.

#Datenverarbeitungs-Pipeline

Das mmWave Radar erzeugt Datenpakete in Form von Punktwolken. Die Anzahl der Punkte variiert je nach Reflexion des Objekts. Um die Konsistenz über die Frames hinweg zu gewährleisten, haben wir eine obere Grenze für die Anzahl der Punkte festgelegt und wo nötig zufällige Stichproben oder Null-Padding verwendet.

Um Datenpunkte für die Analyse zu erstellen, haben wir mehrere Frames von Daten der Teilnehmer gestapelt. Wir haben die Daten auch zur Identifizierung beschriftet, Schlüsselpunkte aus den Ergebnissen der Stereo-Kamera abgeleitet und Aktionslabel mit Zeitstempeln aus dem Video-Inhalt synchronisiert.

#Experimentelle Einrichtung

Wir haben verschiedene punktbasierte neuronale Netze mit unterschiedlichen Trainings-, Validierungs- und Testsplits getestet. Die Modelle wurden mit beliebten Frameworks wie PyTorch implementiert. Wir haben die Leistung über mehrere Durchläufe zur Verlässlichkeit und Genauigkeit hinweg verfolgt.

Es wurden verschiedene Stapelstrategien für die Datenpunkte eingesetzt, wobei unterschiedliche Ergebnisse darauf hinwiesen, dass eine ordnungsgemässe Datenanpassung die Leistung verbesserte.

#Wichtige Ergebnisse

Die Ergebnisse aus der Bewertung des MiliPoint-Datensatzes zeigten, dass punktbasierte Methoden gut darin waren, Personen zu identifizieren. Die Aktionsklassifizierung erwies sich jedoch als schwieriger, vor allem aufgrund der Herausforderungen, sinnvolle Abfolgen aus spärlichen und lauten Daten abzuleiten.

Die Leistung variierte zwischen den verschiedenen Netzwerken, wobei PointNet++ und PointMLP als Top-Performer in diesem Benchmark hervorgingen.

#Einschränkungen und zukünftige Arbeiten

Unser Datensatz hat Einschränkungen. Die Daten wurden mit einem einzelnen mmWave Radar in einer kontrollierten Umgebung gesammelt, die möglicherweise nicht die realen Komplexitäten vollständig widerspiegelt. Ausserdem haben wir uns auf eine begrenzte Reihe von Aktionen konzentriert, wodurch komplexere Haltungen fehlen.

Zukünftige Forschungen könnten mehrere Radare untersuchen, um umfassendere Daten zu erhalten, was jedoch auch die potenzielle Interferenz zwischen den Geräten managen muss. Wir planen auch, das rohe IF-Signal zu untersuchen, um herauszufinden, ob es zusätzliche Vorteile gegenüber bearbeiteten Punktwolken bietet.

#Fazit

MiliPoint ist ein umfangreicher Datensatz, der darauf abzielt, weitere Forschungen im mmWave Radar für die Erkennung menschlicher Aktivitäten zu fördern. Er bietet eine umfangreiche Sammlung von Daten über mehrere Aufgaben hinweg und eröffnet Möglichkeiten zur Verbesserung punktbasierter Deep-Learning-Methoden. Forscher können jetzt diesen Datensatz nutzen, um ihre Arbeit in diesem wachsenden Bereich voranzutreiben.