Interaction sans les mains en réalité augmentée

La technologie de la Réalité Augmentée (RA) change notre manière d'utiliser les appareils dans différents domaines, surtout en santé et dans l'industrie. Avec la RA, on peut ajouter des infos utiles à ce qu'on voit dans le monde réel. Ça peut rendre les tâches plus simples et plus sûres, aidant les utilisateurs à mieux bosser avec leurs appareils et systèmes. Par contre, beaucoup de tâches dans ces domaines nécessitent les deux mains, ce qui limite les manières de contrôler les applis RA. C'est un défi pour ceux qui ne peuvent pas utiliser leurs mains efficacement, comme certaines personnes en situation de handicap.

L'objectif de cette étude est de trouver de nouvelles façons de contrôler la technologie RA Sans les mains, en utilisant le soutien de l'Intelligence Artificielle (IA) pour améliorer l'expérience utilisateur.

#Défis des Méthodes d'Entrée Existantes

En RA, les gens peuvent utiliser différentes méthodes d'entrée pour contrôler les applis. Une méthode, c'est le suivi des mains, qui permet aux utilisateurs d'interagir avec des objets virtuels en utilisant leurs mains. Mais ce n'est pas toujours pratique quand les deux mains sont nécessaires pour des tâches. D'autres outils peuvent être ajoutés, mais ils peuvent être chers ou inconfortables à utiliser.

Cette étude explore comment les utilisateurs peuvent contrôler les applis RA sans utiliser leurs mains. En utilisant des mouvements naturels, comme incliner la tête ou donner des commandes vocales, les utilisateurs peuvent garder leurs mains libres pour d'autres tâches. Cependant, les commandes vocales ne fonctionnent souvent pas bien dans des environnements bruyants.

#Nouvelles Méthodes d'Entrée

La recherche se concentre sur des méthodes qui utilisent le mouvement de la tête avec des solutions basées sur l'image. Ces nouvelles méthodes sont comparées aux méthodes d'entrée traditionnelles comme la souris ou le gamepad.

#Recherches Associées

L'interaction homme-machine (IHM) est cruciale en RA. Beaucoup d'études ont tenté de déterminer les meilleures façons d'interagir avec les systèmes RA. Par exemple, certaines recherches ont étudié comment positionner des claviers virtuels et comment les utilisateurs peuvent recevoir des retours pendant la saisie. Ces méthodes utilisent différentes positions pour l'interaction avec le clavier en fonction du point de vue de l'utilisateur ou de la position de sa main non dominante.

D'autres études ont remis en question l'utilisation de méthodes sans mains pour manipuler des objets 3D dans des environnements virtuels. Différentes approches, comme le regard, les commandes vocales, et même les mouvements des pieds, ont été explorées. Cependant, certaines méthodes, comme l'utilisation des pieds, peuvent ne pas être pratiques pour tout le monde.

Le suivi des yeux est une autre méthode qui émerge dans l'IHM, surtout dans les systèmes de téléopération où les utilisateurs doivent garder les yeux sur plusieurs choses à la fois. Ça devient populaire dans les rôles nécessitant une opération sans les mains. Les chercheurs développent des systèmes de suivi des yeux plus abordables pour la téléopération, ce qui peut aussi aider les personnes en situation de handicap.

#Solutions Proposées Soutenues par l'IA

Cette étude présente un système qui utilise le soutien de l'IA pour aider à l'opération sans les mains en RA. Quand les utilisateurs regardent un endroit précis, ils peuvent recevoir des infos supplémentaires affichées sur leur appareil. La durée pendant laquelle quelqu'un doit regarder pour activer cette fonction est connue sous le nom d'activation temporelle, tandis que l'activation spatiale désigne la taille de la zone qu'ils doivent observer.

Les appareils examinés peuvent inclure des lunettes intelligentes et même des smartphones. Ces dispositifs RA peuvent fournir des infos en temps réel aux travailleurs, leur permettant d'accéder à des données importantes tout en gardant les mains libres.

Cette recherche s'intéresse aux cas où les mains ne peuvent pas être utilisées à cause de la nature du travail ou en raison de handicaps physiques. Dans des environnements bruyants, les commandes vocales peuvent ne pas être fiables, rendant les options sans les mains essentielles.

#Méthodologie pour le Test

Pour tester ces nouvelles méthodes, une étude a été menée avec 20 participants utilisant une application spéciale. L'appli proposait trois modes avec différentes tâches à accomplir.

1. Mode Localiser : Les participants devaient viser une cible statique dans un environnement 3D. L'objectif était de mesurer la rapidité avec laquelle ils pouvaient atteindre la cible.

2. Mode Sélectionner : Ici, les participants devaient maintenir le viseur sur une cible pendant un temps défini. Ce mode testait la précision des différentes méthodes d'entrée.

3. Mode Suivre : Dans ce mode, les participants suivaient des cibles en mouvement pour évaluer leur capacité à suivre des mouvements dynamiques.

#Métriques d'Évaluation

Différentes métriques ont été enregistrées pour évaluer la performance dans chaque mode.

• Dans le Mode Localiser, le temps moyen pour atteindre une cible et le taux de réussite ont été mesurés.
• Dans le Mode Sélectionner, le temps supplémentaire pris pour sélectionner les cibles avec précision a été enregistré.
• Dans le Mode Suivre, la capacité à suivre les cibles en mouvement a été analysée, en se concentrant sur la manière dont les participants maintenaient le contact avec la cible.

Des données ont été collectées dans des tableaux montrant l'efficacité des méthodes avec et sans soutien de l'IA.

#Résultats

Les résultats montrent que les méthodes d'entrée traditionnelles, comme la souris, ont globalement mieux fonctionné, mais les méthodes soutenues par l'IA comme le suivi des mouvements de tête avec assistance Gravity-Map montrent du potentiel.

Dans le Mode Localiser, la souris a surpassé toutes les autres de manière significative, bien que les solutions de mouvement de tête avec support IA n'étaient pas loin derrière.

Dans le Mode Sélectionner, la souris a encore eu la meilleure performance, mais l'entrée basée sur la tête avec soutien Gravity-Map s'est significativement améliorée, offrant une expérience globale meilleure.

Le Mode Suivre a révélé que le mouvement de tête avec le soutien Gravity-Map a aussi bien fonctionné, montrant que cette méthode peut être une alternative efficace aux dispositifs d'entrée traditionnels.

#Discussion

L'étude confirme que même si les dispositifs d'entrée traditionnels dominent toujours, utiliser l'IA pour améliorer les méthodes d'entrée alternatives peut significativement améliorer leur utilisabilité. Le suivi de tête, en particulier, avec le soutien de l'IA, offre une façon réaliste d'interagir avec les environnements RA.

Les participants qui découvraient le suivi de tête ont montré que, en s'habituant au système, leur performance s'améliorait. La familiarité avec la technologie peut souvent mener à de meilleurs résultats.

Les résultats confirment le potentiel des entrées assistées par l'IA pour créer des interactions naturelles en RA, surtout là où les méthodes traditionnelles peuvent ne pas être faisables.

#Conclusion

En conclusion, il y a un fort potentiel pour les méthodes soutenues par l'IA d'améliorer notre interaction avec les systèmes RA. Cette étude montre que les options sans les mains, surtout celles utilisant le suivi de tête, peuvent égaler l'efficacité des dispositifs d'entrée traditionnels. Au fur et à mesure que la technologie RA continue de croître, explorer ces alternatives peut la rendre plus accessible pour divers utilisateurs, y compris ceux avec des handicaps physiques.

Le financement du programme Horizon Europe de l'Union Européenne souligne l'importance de cette recherche pour promouvoir l'innovation dans la technologie RA.