Handfreie Interaktion in Augmented Reality

Augmented Reality (AR) verändert, wie wir Geräte in verschiedenen Bereichen nutzen, besonders im Gesundheitswesen und in der Industrie. Mit AR können wir hilfreiche Informationen zu dem, was wir in der realen Welt sehen, hinzufügen. Das kann Aufgaben einfacher und sicherer machen und den Nutzern helfen, besser zu arbeiten, während sie Geräte und Systeme verwenden. Viele Aufgaben in diesen Bereichen erfordern jedoch beide Hände, was die Möglichkeiten einschränkt, wie Leute AR-Anwendungen steuern können. Das ist eine Herausforderung für Menschen, die ihre Hände nicht effektiv nutzen können, wie zum Beispiel Personen mit bestimmten Behinderungen.

Das Ziel dieser Studie ist es, neue, händefreie Methoden zu entwickeln, um mit AR-Technologie zu interagieren und dabei Unterstützung von künstlicher Intelligenz (KI) zu nutzen, um das Erlebnis für die Nutzer zu verbessern.

#Herausforderungen bestehender Eingabemethoden

In AR können Leute verschiedene Eingabemethoden nutzen, um Anwendungen zu steuern. Eine Methode ist das Handtracking, bei dem Nutzer mit ihren Händen auf virtuelle Objekte zugreifen können. Das ist aber nicht immer praktisch, wenn beide Hände für Aufgaben gebraucht werden. Es können zwar andere Werkzeuge hinzugefügt werden, aber die können teuer oder unbequem sein.

Diese Studie untersucht, wie Nutzer AR-Anwendungen ohne die Verwendung ihrer Hände steuern können. Durch natürliche Bewegungen, wie das Neigen des Kopfes oder Sprachbefehle, können Nutzer ihre Hände für andere Aufgaben frei behalten. Allerdings funktionieren Sprachbefehle oft nicht gut in lauten Umgebungen.

#Neue Eingabemethoden

Die Forschung konzentriert sich auf Methoden, die Kopfbewegungen zusammen mit bildbasierten Lösungen nutzen. Diese neuen Methoden werden mit traditionellen Eingabemethoden wie Maus oder Gamepad verglichen.

#Verwandte Forschung

Mensch-Computer-Interaktion (HCI) ist entscheidend in AR. Viele Studien haben versucht herauszufinden, wie man am besten mit AR-Systemen interagiert. Zum Beispiel haben einige Forschungen untersucht, wie virtuelle Tastaturen positioniert werden können und wie Nutzer Feedback beim Tippen bekommen können. Diese Methoden nutzen verschiedene Positionen für die Tastaturinteraktion basierend auf dem Blickwinkel des Nutzers oder der Position seiner nicht-dominanten Hand.

Andere Studien haben herausgefordert, wie man Freihandmethoden nutzen kann, um 3D-Objekte in virtuellen Umgebungen zu manipulieren. Verschiedene Ansätze, wie das Nutzen von Kopfbewegungen, Sprachbefehlen und sogar Fussbewegungen, wurden erkundet. Manche Methoden, wie das Nutzen der Füsse, sind allerdings nicht für jeden praktisch.

Augmented Reality ist eine weitere aufkommende Methode in HCI, besonders in Teleoperationssystemen, wo Nutzer ihre Augen auf mehrere Dinge gleichzeitig richten müssen. Das wird immer beliebter in Rollen, die händefreie Bedienung erfordern. Forscher entwickeln günstigere Eye-Tracking-Systeme für die Teleoperation, die auch Menschen mit Behinderungen helfen können.

#Vorgestellte KI-unterstützte Lösungen

Diese Studie präsentiert ein System, das KI-Unterstützung nutzt, um eine händefreie Bedienung in AR zu ermöglichen. Wenn Nutzer auf einen bestimmten Punkt schauen, können sie zusätzliche Informationen angezeigt bekommen. Wie lange jemand schauen muss, um diese Funktion zu aktivieren, wird als zeitliche Aktivierung bezeichnet, während die räumliche Aktivierung sich darauf bezieht, wie gross der Bereich ist, auf den sie schauen müssen.

Die Geräte, die betrachtet werden, können smarte Brillen und sogar Smartphones umfassen. Diese AR-Geräte können Echtzeitinformationen für Arbeiter bereitstellen, sodass sie wichtige Daten abrufen können, während sie ihre Hände frei haben.

Diese Forschung schaut sich Fälle an, wo die Hände aufgrund der Art der Arbeit oder wegen körperlicher Behinderungen nicht verwendet werden können. In lauten Umgebungen sind Sprachbefehle oft nicht zuverlässig, und händefreie Optionen werden unerlässlich.

#Methodik zum Testen

Um diese neuen Methoden zu testen, wurde eine Studie mit 20 Teilnehmern durchgeführt, die eine spezielle Anwendung verwendeten. Die App bot drei Modi mit verschiedenen Aufgaben an.

1. Locate Mode: Die Teilnehmer sollten ein Fadenkreuz auf statische Ziele in einer 3D-Umgebung richten. Ziel war es, zu messen, wie schnell sie das Ziel erreichen konnten.

2. Select Mode: Hier sollten die Teilnehmer das Fadenkreuz für eine bestimmte Zeit auf einem Ziel halten. In diesem Modus wurde die Genauigkeit der verschiedenen Eingabemethoden getestet.

3. Follow Mode: In diesem Modus verfolgten die Teilnehmer bewegliche Ziele, um zu bewerten, wie gut sie mit dynamischen Bewegungen Schritt halten konnten.

#Bewertungsmessungen

Verschiedene Messungen wurden aufgezeichnet, um die Leistung in jedem Modus zu bewerten.

• Im Locate Mode wurde die durchschnittliche Zeit gemessen, um ein Ziel zu erreichen, sowie die Erfolgsquote.
• Im Select Mode wurde die zusätzliche Zeit, die benötigt wurde, um Ziele genau auszuwählen, aufgezeichnet.
• Im Follow Mode wurde die Fähigkeit, bewegliche Ziele zu verfolgen, analysiert, wobei der Fokus darauf lag, wie gut die Teilnehmer in Kontakt mit dem Ziel blieben.

Daten wurden in Tabellen gesammelt, die die Effizienz der Methoden mit und ohne KI-Unterstützung zeigen.

#Ergebnisse

Die Ergebnisse zeigten, dass traditionelle Eingabemethoden, wie die Maus, insgesamt am besten abschnitten, aber die KI-unterstützten Methoden wie Kopfbewegungstracking mit Gravity-Map-Hilfe vielversprechend waren.

Im Locate Mode übertraf die Maus alle anderen mit einem deutlichen Vorsprung, obwohl die Lösungen mit Kopfbewegungen und KI-Unterstützung nicht weit zurücklagen.

Im Select Mode hatte die Maus erneut die beste Leistung, aber die kopfbasierten Eingaben mit Gravity-Map-Unterstützung verbesserten sich erheblich und führten zu einem besseren Gesamterlebnis.

Der Follow Mode zeigte, dass das Kopftracking mit Gravity-Map-Unterstützung ebenfalls gut abschnitt, was zeigt, dass diese Methode eine effektive Alternative zu traditionellen Eingabegeräten sein kann.

#Diskussion

Die Studie bestätigt, dass, während traditionelle Eingabegeräte immer noch dominant sind, die Nutzung von KI zur Verbesserung alternativer Eingabemethoden die Benutzerfreundlichkeit erheblich erhöhen kann. Das Kopftracking, insbesondere mit KI-Unterstützung, bietet eine realistische Möglichkeit, mit AR-Umgebungen zu interagieren.

Teilnehmer, die neu im Kopftracking waren, zeigten, dass ihre Leistung voraussichtlich besser werden würde, je mehr sie sich an das System gewöhnten. Vertrautheit mit Technologie führt oft zu besseren Ergebnissen.

Die Erkenntnisse bestätigen das Potenzial von KI-unterstützten Eingaben, natürliche Interaktionen in AR zu schaffen, insbesondere wo traditionelle Methoden möglicherweise nicht praktikabel sind.

#Fazit

Zusammenfassend gibt es ein grosses Potenzial für KI-unterstützte Methoden, um die Interaktion mit AR-Systemen zu verbessern. Diese Studie zeigt, dass händefreie Optionen, insbesondere solche mit Kopftracking, genauso effektiv sein können wie traditionelle Eingabegeräte. Während die AR-Technologie weiterhin wächst, können diese Alternativen die Zugänglichkeit für verschiedene Nutzer, einschliesslich Menschen mit körperlichen Behinderungen, erhöhen.

Die Förderung durch das Horizon Europe-Programm der Europäischen Union unterstreicht die Bedeutung dieser Forschung zur Förderung von Innovationen in der AR-Technologie.