Verbesserung des Handtracings in XR-Musikinstrumenten

Handtracking ist wichtig, um natürlich in virtuellen Realität (VR) Umgebungen zu interagieren, besonders wenn es um Musikinstrumente geht, die in diesen Räumen existieren. Es gibt allerdings ein Problem mit Handtracking, wenn ein Teil der Hand einen anderen blockiert. Das kann zu Fehlern beim Tracking der Handbewegungen führen, was das Erlebnis beeinträchtigt.

Um dieses Problem zu lösen, stellen wir ein System vor, das zwei Methoden für Handtracking nutzt: eine basierend auf Vision und die andere auf Muskelaktivität. Diese Kombination soll helfen, die Fingerbewegungen besser zu verfolgen. Wir haben unser System mit verschiedenen Handposen getestet, um verschiedene Gesten abzudecken, besonders die, die mit Blockierungen Probleme haben. Durch den Vergleich unserer Systemleistung mit einem Standard-Vision-Only-Tracking-System zeigen wir, dass es die Tracking-Genauigkeit für Fingerbewegungen, die typischerweise von Selbstblockierung betroffen sind, erheblich verbessern kann.

#Was ist Extended Reality?

Extended Reality (XR) ist ein Begriff, der Virtuelle Realität (VR), erweiterte Realität (AR) und gemischte Realität (MR) umfasst. Diese Technologien sind immer beliebter geworden, was zum Wachstum von XR-Musikinstrumenten (XRMIs) als neuem Forschungsbereich geführt hat. XRMIs ermöglichen es Musikern, mit Musik auf Arten zu interagieren, die traditionelle Instrumente nicht bieten.

XR-Geräte wie Headsets verbinden die reale und die virtuelle Welt. Sie können 3D-Bilder anzeigen, ohne separate Bildschirme zu benötigen. Das eröffnet Möglichkeiten für Musiker, Musik auf einzigartige Weise zu kreieren und aufzuführen. Viele XRMIs sind so gestaltet, dass Nutzer durch ihre Körperbewegungen interagieren können, was die Musikproduktion natürlicher und immersiver macht.

#Warum Handtracking wichtig ist

Instrumente, die in XR existieren, sind stark auf Handtracking angewiesen, damit Musiker sich frei ausdrücken können. Viele dieser Geräte nutzen visuelle Informationen und fortschrittliche Computertechniken, um Handbewegungen zu erkennen. Geräte wie das Oculus Quest 2 verwenden Kameras, um diese Informationen zu erhalten. Auch wenn diese Systeme genau sein können, sind sie nicht perfekt, und Selbstblockierungen können Probleme verursachen.

Wenn Teile der Hand andere Teile verdecken, kann das zu Tracking-Fehlern führen. Das kann zu Glitches oder Verzögerungen bei der Reaktion der Musik auf die Aktionen des Musikers führen. Solche Fehler können das Erlebnis für die Nutzer ruinieren. Um das zu beheben, haben wir uns die Nutzung von Oberflächen-Elektromyographie (SEMG) Daten angeschaut, die die elektrischen Signale misst, die Muskeln beim Bewegen erzeugen. Durch die Kombination dieser Informationen mit den visionären Daten wollen wir das Tracking zuverlässiger machen.

#Datenerhebung

Für unsere Forschung haben wir zwei Geräte verwendet: ein sEMG-Armband und ein XR-Headset. Das sEMG-Armband misst die Muskelaktivität am Unterarm, während das XR-Headset die Handpositionen verfolgt. Durch die gleichzeitige Nutzung beider Geräte können wir detaillierte Informationen über Fingerbewegungen und Muskelaktivität sammeln, ohne zusätzliches Equipment zu benötigen.

Wir haben Daten von einer Hand gesammelt, während wir verschiedene Fingerbewegungen ausgeführt haben. Die Gesten, auf die wir uns konzentrierten, umfassten das Öffnen und Schliessen der Finger einzeln und zusammen in verschiedenen Geschwindigkeiten. Die Einrichtung ermöglichte es uns, eine erhebliche Menge synchronisierter Daten zu sammeln, was entscheidend für das Training unseres Modells ist.

#Merkmalsextraktion aus den Daten

Nachdem wir die Daten gesammelt hatten, mussten wir sie verarbeiten, um nützliche Merkmale zu extrahieren. Wir haben verschiedene Aspekte der sEMG-Signale sowohl zeitlich als auch frequenzmässig betrachtet. Dazu gehörte es, Dinge wie den Durchschnittswert und die Frequenz, mit der die Signale auftreten, zu messen. Durch das Sammeln und Analysieren dieser Merkmale wollen wir eine detailliertere Darstellung von Handbewegungen schaffen.

#Modellaufbau

Als nächstes haben wir ein Modell erstellt, um die Bewegungen der Fingergelenke basierend auf den gesammelten Daten vorherzusagen. Unser Modell kombiniert zwei wichtige Elemente: eines, das zeitbasierte Informationen verfolgt (mithilfe von LSTM-Netzwerken), und ein anderes, das sich auf tiefere Details konzentriert, die durch die extrahierten Merkmale bereitgestellt werden. Dieses Design hilft uns, sowohl die allgemeinen Trends unserer Daten als auch die spezifischen Details der Muskelsignale festzuhalten.

Wir haben unser Modell mit einer grossen Menge an Daten aus den durchgeführten Sessions trainiert. Das Ziel war es, das Modell so genau zu machen, dass es die Winkel von acht Fingergelenken schätzen kann, die häufig von dem Selbstblockierungsproblem betroffen sind.

#Wie funktioniert das multimodale Tracking?

Unser Ansatz kombiniert die visionären und sEMG-Daten. Das visionäre Tracking gibt uns eine allgemeine Vorstellung von der Position der Hand, während das sEMG-Modell detaillierte Informationen über die Bewegungen der Fingergelenke liefert. Diese Kombination ermöglicht es uns, eine vollständige Darstellung der Handaktionen zu erstellen, die entscheidend für die Verbesserung von Genauigkeit und Reaktionsfähigkeit ist.

Unser System arbeitet in Echtzeit, das heisst, die Daten können schnell verarbeitet werden, sodass die Nutzer ihre Handbewegungen ohne Verzögerungen im VR-Raum reflektiert sehen können.

#Test unseres Systems

Um die Effektivität unseres Systems zu testen, haben wir eine Reihe von Aufgaben aufgestellt, die verschiedene Fingerbewegungen beinhalteten. Wir haben die Daten unseres multimodalen Systems mit denen eines Standard-Vision-Only-Systems verglichen. Wir haben auch ein präzises Tracking-Gerät als Massstab verwendet, um die Genauigkeit unserer Ergebnisse zu beurteilen.

Die experimentellen Bedingungen wurden so gestaltet, dass sie Situationen simulierten, in denen die Hand möglicherweise blockiert war. Wir haben aufgezeichnet, wie gut jedes System unter diesen Bedingungen abschneidet, besonders in Bezug auf die Genauigkeit der Fingergelenkwinkel.

#Ergebnisse der Tests

Unsere Ergebnisse zeigten, dass das multimodale System besser abschnitt als das visionäre System, insbesondere wenn die Hand teilweise blockiert war. Im Durchschnitt verbesserte der multimodale Ansatz die Tracking-Genauigkeit um 5 bis 15 Grad bei verschiedenen Fingerbewegungen.

Bei Tests, in denen die Hand vollständig sichtbar war, schnitt das visionäre Tracking besser ab, was zu erwarten war, da es eine klare Sicht auf die Hand hatte. Dennoch stellte sich das multimodale System als die bessere Wahl in Situationen heraus, in denen Teile der Hand verborgen waren.

#Einschränkungen und zukünftige Forschung

Trotz der positiven Ergebnisse gibt es noch einige Einschränkungen. Die Muskelsignale können von Person zu Person variieren, beeinflusst durch verschiedene Faktoren wie Müdigkeit oder die Platzierung der Elektroden. Daher könnte es erforderlich sein, das System für verschiedene Nutzer anzupassen, damit es effektiv arbeitet.

Zukünftige Forschungen werden sich mit komplexeren Szenarien befassen, die noch umfangreichere Blockierungsprobleme beinhalten. Ausserdem wäre es wertvoll, dieses System mit anderen Arten von XR-Geräten und Sensoren zu testen, um ein besseres Verständnis seiner gesamten Effektivität zu gewinnen.

Wir sind auch daran interessiert, wie dieses neue System die Benutzererfahrung in realen Anwendungen beeinflussen kann. Durch Studien, die untersuchen, wie gut Nutzer Aufgaben mit feinen Handbewegungen ausführen können, können wir Einblicke gewinnen, wie unser System Interaktionen in virtuellen Musikumgebungen verbessern kann.

#Fazit

Die Kombination von sEMG-Daten mit visionärem Tracking ist ein vielversprechender Ansatz, um die Probleme zu adressieren, die durch Selbstblockierung beim Handtracking für XR-Musikinstrumente verursacht werden. Unser System zeigt, dass es die Benutzererfahrung erheblich verbessern kann, indem es genauere und zuverlässigere Handtracking bietet.

Mit dem Fortschritt der VR-Technologie wird die Integration unterschiedlicher Tracking-Methoden wahrscheinlich wichtig sein, um reibungslosere und ansprechendere Interaktionen zu schaffen. Diese Kombination von Techniken könnte zu aufregenden neuen Möglichkeiten für Musiker und Künstler führen, die virtuelle Aufführungsräume erkunden möchten.