Fortschritte in der markerlosen Posenschätzung für die Rehabilitation

Markerlose Pose-Schätzung ist eine Methode, um menschliche Bewegungen zu analysieren, ohne physische Marker am Körper zu brauchen. Diese Technologie kann besonders im Gesundheitswesen nützlich sein, da sie eine einfache und schnelle Beurteilung von Bewegungen wie Gehen ermöglicht. Das kann zu einer besseren Verfolgung von Gehproblemen und der Reaktion der Patienten auf Behandlungen führen. Allerdings müssen wir noch bewerten, wie verschiedene Techniken zur Erkennung von Körperteilen und zur Erstellung von Bewegungswegen die Genauigkeit dieses Systems beeinflussen.

#Zweck der Studie

Ziel dieser Studie war es, mehr Informationen darüber zu sammeln, wie verschiedene Methoden zur Erkennung von Schlüssel-Körperpunkten und zur Schätzung ihrer Positionen im 3D-Raum die Genauigkeit der markerlosen Pose-Schätzung beeinflussen. Genauer gesagt wollten wir herausfinden, welche Techniken die besten Ergebnisse bei der Beurteilung menschlicher Bewegungen liefern.

#Unsere Motivation

Als Team in der Rehabilitation ist unser Hauptziel, ein einfaches und zuverlässiges System zur Analyse physischer Bewegungen in klinischen Umgebungen zu entwickeln. Ein solches System kann uns helfen, Gehprobleme und Reaktionen auf Behandlungen besser zu bewerten, ohne die Komplikationen traditioneller Systeme, die oft spezielle Umgebungen benötigen.

#Unser Ansatz

Um unser Ziel zu erreichen, haben wir zwei verschiedene Methoden zur Erkennung von Schlüsselpunkten am Körper verglichen. Die erste Methode ist ein bekanntes System namens OpenPose, das die gesamte Szene betrachtet, um Gelenkpositionen aller sichtbaren Personen zu identifizieren. Die zweite Methode aus der MMPose-Bibliothek konzentriert sich auf eine Person zur Zeit, was normalerweise zu höherer Genauigkeit führt.

Zusätzlich haben wir drei Methoden zur Berechnung der Positionen dieser erkannten Gelenke im 3D-Raum basierend auf 2D-Bildern evaluiert. Die erste Methode trianguliert die Gelenkpositionen direkt aus den Bildern. Die zweite Methode nutzt Optimierung, um die besten Positionen für die Gelenke zu finden, sodass die Bewegungen glatt und konsistent erscheinen. Die dritte Methode verwendet ebenfalls Optimierung, aber sie geht einen einzigartigen Weg, der Zeit auf Gelenkpositionen mit einer bestimmten Art von Funktion abbildet.

#Datensammlung

Wir haben Daten mit einem massgeschneiderten Setup gesammelt, das mehrere Kameras umfasste. Insgesamt haben wir zehn synchronisierte Kameras verwendet, um Teilnehmer aufzufangen, die durch einen bestimmten Bereich in unserer Einrichtung gingen. Dieses Setup ermöglichte uns, Bilder aus verschiedenen Winkeln zu sammeln, was eine genauere Bewertung der Gelenkbewegungen ermöglichte.

Wir haben 25 Personen mit unterschiedlichen Bewegungsproblemen eingeschlossen, einschliesslich Erkrankungen wie Schlaganfall, Wirbelsäulentumoren, Gehirnverletzungen, mildem Fusshebersyndrom, Kniearthrose und Personen, die Prothesen benutzen. Die Teilnehmer waren zwischen 27 und 78 Jahren alt, und einige benötigten Mobilitätshilfen. Unser Ziel war es sicherzustellen, dass die Methoden, die wir entwickelt haben, gut für eine diverse Gruppe von Patienten funktionieren.

#Videoverarbeitung

Die Verarbeitung der Videos beinhaltete die Verwendung eines Tools, das wir entwickelt haben, um die Posen der Teilnehmer zu verfolgen und zu identifizieren. Dadurch konnten wir Gelenkpositionen, die in verschiedenen Kamerasichtungen erkannt wurden, zuordnen und die Bewegungen einer Person im Blick behalten.

Mithilfe von Software haben wir die gesammelten Videodaten verarbeitet, um die notwendigen Informationen über Gelenkpositionen zu extrahieren. Dies beinhaltete das Fokussieren auf spezifische Interessensgebiete, die mit Hilfe von Begrenzungsrahmen um jeden Teilnehmer umrissen wurden.

#Methoden zur Schätzung der Gelenkpositionen

Wir haben drei verschiedene Methoden zur Schätzung der Gelenkpositionen genutzt.

1. Robuste Triangulation: Diese Methode kombiniert Informationen aus mehreren Kamerasichtungen, um die Gelenkpositionen zu berechnen. Sie geht über die grundlegende Triangulation hinaus, indem sie Fehler berücksichtigt, die durch Fehlidentifikationen oder Hindernisse entstehen können, wenn mehrere Personen anwesend sind.

2. Gelenk-Optimierung: Diese Methode verfeinert die Gelenkpositionen, indem sie Diskrepanzen zwischen den erkannten Schlüsselpunkten und ihren projizierten 3D-Entsprechungen minimiert. Durch zusätzliche Bedingungen gewährleistet sie, dass die Ergebnisse glatt und anatomisch konsistent sind.

3. Implizite Repräsentations-Optimierung: Dieser innovative Ansatz lernt Gelenkpositionen im Laufe der Zeit durch einen fortschrittlichen Algorithmus, der Zeit auf Bewegungsbahnen abbildet. Dies ermöglicht eine flexible und effiziente Handhabung von Änderungen in den Gelenkpositionen.

#Bewertung der Genauigkeit

Um zu überprüfen, wie genau unsere Methoden waren, haben wir unsere Ergebnisse mit Daten aus einem traditionellen Gehbewertungssystem verglichen. Dieser Vergleich erlaubte es uns, die Unterschiede in den Gelenkpositionen zu identifizieren, die durch unsere Methoden im Vergleich zum etablierten System erfasst wurden.

Unsere Analyse ergab, dass die Methode mit einem Top-Down-Schlüsselpunktdetektor und die implizite Repräsentation zur Schätzung der Gelenkbewegungen die beste Genauigkeit ergab, mit Abweichungen von nur 8 mm in Bezug auf die Schrittbreite im Vergleich zum etablierten System.

#Benutzerfreundlichkeit des Systems

Wir fanden unser System benutzerfreundlich und effizient. Die schnelle Einrichtungszeit sowie das Annotationstool, das wir entwickelt haben, ermöglichten es uns, den Prozess der Identifizierung von Teilnehmern in den aufgenommenen Videos zu optimieren. Selbst bei mehreren Personen im selben Bereich konnten wir die Bewegungen jedes Teilnehmers erfolgreich verfolgen.

Insgesamt erleichterte die von uns verwendete Verarbeitungspipeline das einfache Management einer grossen Datenmenge, die während unserer Experimente gesammelt wurde.

#Qualitative Ergebnisse

Wir haben Videos erstellt, die unsere Bewegungsrekonstruktionen veranschaulichen. Durch das Überprüfen dieser Videos für verschiedene Methoden haben wir festgestellt, dass die Schlüsselpunkte, die mit MMPose erkannt wurden, genauer mit den tatsächlichen Gelenkpositionen übereinstimmten als die OpenPose-Schlüsselpunkte. Darüber hinaus führten die Optimierungstechniken, die wir anwendeten, zu glatteren und anatomisch korrekteren Bewegungen im Vergleich zur Roh-Triangulationsmethode, die beim Tracking mehr Rauschen erlebte.

#Konsistenzanalyse

Wir haben bewertet, wie gut unsere rekonstruierten Bewegungen mit den ursprünglichen 2D-Erkennungen übereinstimmten. Dies beinhaltete die Messung der Distanz zwischen den neu abgebildeten 3D-Punkten und den ursprünglich erkannten Schlüsselpunkten. Wir fanden einen signifikanten Leistungsunterschied basierend auf der Methode zur Schlüsselpunkt-Erkennung und dem verwendeten Rekonstruktionsalgorithmus.

Zum Beispiel übertraf die MMPose-Methode OpenPose ständig, insbesondere wenn es darum ging, die geometrische Konsistenz über die Rekonstruktionen aufrechtzuerhalten.

#Vergleich mit traditionellen Methoden

Durch den Vergleich unserer Ergebnisse mit dem GaitRite-System stellten wir fest, dass die MMPose-Methode erheblich niedrigere Fehlerraten aufwies als OpenPose. Dies hebt die Effektivität von Top-Down-Ansätzen zur Erkennung von Körperteilen bei der Analyse von Bewegungen hervor.

Wir erkannten, dass die Verwendung visueller Hinweise zur Erkennung von Bewegungen zu einigen Diskrepanzen im Vergleich zu druckbasierten Systemen wie GaitRite führen kann, die anders funktionieren. Dennoch glauben wir, dass unser Ansatz wertvolle Einblicke in Bewegungsmuster liefern kann, insbesondere wenn es darum geht, Veränderungen über die Zeit zu betrachten.

#Herausforderungen und zukünftige Arbeiten

Während wir beträchtlichen Erfolg mit unserer Analyse erzielt haben, haben wir auch Verbesserungsbereiche erkannt. Wir fanden heraus, dass die Genauigkeit unserer Ergebnisse von der Verfeinerung der verwendeten 2D-Schlüsselpunkt-Erkennungsmethoden profitieren könnte. Wir bemerkten einige spezifische Verzerrungen, wie bestimmte Körperteile erkannt wurden, die in zukünftigen Iterationen unseres Ansatzes angegangen werden könnten.

Ein weiterer Fokusbereich ist die Verbesserung unserer Methoden zur Reduzierung von Rauschen, das in Situationen auftreten kann, in denen Menschen nah beieinander stehen. Wir erwarten, dass die Implementierung neuer Mehrfachansichttechniken unsere Genauigkeit weiter verbessern kann.

Schliesslich wird die Entwicklung von Vertrauensmassen zur Quantifizierung der Genauigkeit unseres Trackings entscheidend für zukünftige klinische Anwendungen sein.

#Fazit

Zusammenfassend hat unsere Arbeit die Machbarkeit eines multicamera Systems zur Erfassung von Gangdaten in einer Rehabilitationsumgebung demonstriert. Der schnelle Datenbeschaffungsprozess und die Möglichkeit, diese Daten effektiv zu analysieren, machten es uns möglich, Gehgewohnheiten in einer vielfältigen Gruppe von Teilnehmern zu erkunden.

Letztendlich fanden wir, dass die Kombination von MMPose mit impliziter Trajektoriendarstellung uns die genauesten Schätzungen von Bewegungen lieferte, wobei Abweichungen bei Schrittbreite und -länge unter 10 mm blieben. Diese vielversprechenden Ergebnisse werden helfen, unser System für eine breitere klinische Nutzung bei der Bewertung von Bewegungsstörungen und dem Fortschritt in der Rehabilitation zu verfeinern.