Fortschritt bei der Gang­erkennung durch Kamera- und LiDAR-Integration

Gangerkennung ist eine Methode, um Leute anhand ihres Gangs zu identifizieren. Diese Technik ist in vielen Bereichen nützlich, wie Sicherheit, Sport und Benutzeridentifikation. Es gibt zwei Haupttypen von Systemen zur Gangerkennung: solche, die Kameras nutzen, und solche, die LiDAR-Technologie verwenden.

Kamerabasierte Systeme gibt es schon lange und sie sind oft günstiger und einfacher zu bedienen. Allerdings haben sie Probleme bei schwachem Licht oder wenn das Subjekt weit entfernt ist. LiDAR hingegen nutzt Lasertechnologie, um 3D-Informationen über eine Person zu sammeln. Das funktioniert besser unter schwierigen Bedingungen, kann aber teurer und komplizierter in der Einrichtung sein.

Das Ziel dieser Studie ist es, beide Systeme zu kombinieren, um die Genauigkeit der Gangerkennung in verschiedenen Situationen zu verbessern. Dieser Ansatz könnte ein breiteres Anwendungsspektrum bieten.

#Herausforderungen bei der Gangerkennung

Eine der grössten Herausforderungen bei der Gangerkennung ist das Matching von Daten aus zwei verschiedenen Sensortypen. Kameras erfassen 2D-Bilder, während LiDAR 3D-Punktwolken bereitstellt. Da diese beiden Datentypen grundlegend unterschiedlich sind, kann es schwer sein, sie genau zu vergleichen.

Bei schlechten Lichtverhältnissen haben kamerabasierte Systeme Schwierigkeiten, Personen und deren Bewegungen zu erkennen. Die Details in den Bildern können verschwommen werden, was die Identifizierung von Personen erschwert. LiDAR-Systeme hingegen funktionieren in diesen Situationen gut, da sie nicht von Lichtverhältnissen beeinträchtigt werden.

Trotz ihrer Vorteile können LiDAR-Systeme teuer und kompliziert in der Nutzung sein, was ihre breite Einführung einschränkt. Daher kann die Kombination von Kameradaten und LiDAR für die Gangerkennung diese Herausforderungen möglicherweise adressieren.

#Bedarf an einem kombinierten System

Ein System zu schaffen, das sowohl Kameras als auch LiDAR nutzt, kann in Situationen helfen, in denen eine Methode Einschränkungen hat. Indem Kameras bei normalem Licht und LiDAR in schwach beleuchteten oder Fernansichten eingesetzt werden, kann ein kombinierter Ansatz ein zuverlässigeres Erkennungssystem bieten.

Der Fokus dieser Studie liegt auf der Erstellung eines Rahmens, der beide Systeme effektiv für die Gangerkennung nutzen kann. Dieser Rahmen wird CL-Gait genannt und verwendet ein zweigeteiltes Netzwerk, um Daten von Kameras und LiDAR-Geräten zu verarbeiten.

#Überblick über den CL-Gait-Rahmen

Der CL-Gait-Rahmen ist darauf ausgelegt, die Vorteile sowohl von Kamera- als auch von LiDAR-Systemen zu nutzen. Er verwendet ein Zwei-Strom-Netzwerk, was bedeutet, dass es zwei separate Wege zur Verarbeitung der Daten von Kameras und LiDAR gibt.

Um die Unterschiede zwischen den beiden Datentypen anzugehen, verwendet der Rahmen eine neue Trainingsstrategie. Diese Strategie richtet die Merkmalräume der beiden Datentypen aus, was hilft, die Herausforderungen beim Vergleichen zu überwinden.

Da es schwierig ist, passende Daten von sowohl Kameras als auch LiDAR zu sammeln, wurde eine neue Methode entwickelt, um grosse Mengen synthetischer Daten zu generieren. Diese neuen Daten verwenden 3D-Tiefenschätzungen aus einzelnen RGB-Bildern. Diese Methode ermöglicht ein umfassenderes Datenset für das Training des Erkennungsmodells.

#Einblicke aus Experimenten

Mehrere Experimente wurden durchgeführt, um die Effektivität des CL-Gait-Rahmens zu bewerten. Hier sind einige wichtige Ergebnisse:

1. CL-Gait erreichte eine hohe Genauigkeit bei der Gangerkennung und zeigte erhebliche Verbesserungen gegenüber bestehenden Methoden.
2. Die Verwendung der aus Punktwolken generierten synthetischen Tiefenbilder ergab bessere Ergebnisse als die direkte Verwendung von Punktwolken.
3. Die neue Datengenerierungsstrategie half, die Unterschiede zwischen den Modalitäten zu beheben, was die Leistung weiter verbesserte.

#Verwandte Arbeiten zur Gangerkennung

Es wurden verschiedene Methoden zur Gangerkennung mit unterschiedlichen Sensoren verwendet.

Kamerabasierte Methoden konzentrieren sich hauptsächlich auf die Extraktion von Merkmalen aus Bildern oder Videos. Sie haben sich im Laufe der Zeit erheblich verbessert, können aber in bestimmten realen Szenarien, wie bei schwachem Licht oder geringer Auflösung, Probleme haben.

LiDAR-basierte Methoden sind neuer, gewinnen aber aufgrund ihrer Fähigkeit, detaillierte 3D-Darstellungen bereitzustellen, an Bedeutung. Diese Systeme sind weniger von Lichtverhältnissen betroffen und können die 3D-Form und Bewegung einer Person erfassen.

Beide Methoden haben ihre Stärken und Schwächen. Sie in ein einziges System zu kombinieren, kann eine effektivere Lösung für die Gangerkennung bieten.

#Kontrastive Vortrainingsstrategie

Die kontrastive Vortrainingsstrategie ist entscheidend für den CL-Gait-Rahmen. Dieser Ansatz stammt aus anderen erfolgreichen multimodalen Lerntechniken. Ziel ist es, die Merkmale der beiden unterschiedlichen Datenquellen so auszurichten, dass sie effektiver verglichen werden können.

Durch die Verwendung von kontrastivem Lernen kann der CL-Gait-Rahmen die Modellleistung verbessern, ohne dass Daten von derselben Person in beiden Modalitäten benötigt werden. Diese Methode beruht auf der Idee, dass, selbst wenn die Daten aus verschiedenen Quellen stammen, ähnliche Muster gelernt werden können.

#Generierung synthetischer Gangdaten

Eine der Herausforderungen bei der Gangerkennung besteht darin, genügend gepaarte Daten von Kameras und LiDAR-Systemen zu erhalten. Um dies zu überwinden, wurde eine Methode zur Generierung synthetischer Gangdaten entwickelt. Dabei werden RGB-Bilder verwendet, um Tiefenbilder zu erstellen, die anschliessend mit den entsprechenden Punktwolken von LiDAR gepaart werden.

Dieser Ansatz ermöglicht die Erstellung von grossflächigen Datensätzen, die ein besseres Training der Erkennungsmodelle erleichtern und die Abhängigkeit von der Erfassung realer Daten verringern.

#Bewertung der Leistung

Die Leistung des CL-Gait-Rahmens wurde mithilfe eines grossflächigen Datensatzes bewertet, der sowohl Kamera- als auch LiDAR-Daten umfasst. Die Experimente wurden so eingerichtet, dass verschiedene Methoden und Strukturen verglichen werden, um den besten Ansatz zu identifizieren.

Die Ergebnisse zeigten, dass der CL-Gait-Rahmen andere Methoden übertraf und seine Fähigkeit demonstrierte, die unterschiedlichen Unterschiede zwischen Kamera- und LiDAR-Daten effektiv zu handhaben.

#Bedeutung von Tiefeninformationen

Tiefeninformationen spielen eine wichtige Rolle bei der Gangerkennung. Experimente zeigten, dass die Verwendung von Tiefenbildern, die aus Punktwolken abgeleitet wurden, bessere Ergebnisse lieferte, als diese Daten nicht einzubeziehen.

Die 3D-Geometrie, die von LiDAR erfasst wird, kann helfen, Veränderungen der Blickwinkel auszugleichen und zusätzliche Details zu bieten, die für eine präzise Erkennung entscheidend sind.

#Fazit und zukünftige Richtungen

Die Forschung stellte einen neuen Ansatz zur Gangerkennung vor, der Kameras und LiDAR-Daten mithilfe des CL-Gait-Rahmens kombiniert. Durch die Bewältigung der Herausforderungen, die verschiedene Datentypen mit sich bringen, und die Schaffung einer robusten Trainingsstrategie zeigt der Rahmen erhebliches Potenzial für praktische Anwendungen.

Obwohl CL-Gait starke Ergebnisse demonstriert hat, können weitere Verbesserungen vorgenommen werden. Zum Beispiel kann die Verbesserung der Qualität von Punktwolken oder die Entwicklung spezialisierter Encoder zu einer noch besseren Leistung bei der Gangerkennung führen.

Zusammenfassend lässt sich sagen, dass die Integration von Kamera- und LiDAR-Systemen eine wertvolle Gelegenheit bietet, die Fähigkeiten zur Gangerkennung zu verbessern, was zu effektiveren und zuverlässigeren Systemen in realen Szenarien führt.