Faire avancer le suivi corporel en réalité virtuelle
Une nouvelle méthode améliore le suivi corporel complet pour des expériences virtuelles immersives.
Denys Rozumnyi, Nadine Bertsch, Othman Sbai, Filippo Arcadu, Yuhua Chen, Artsiom Sanakoyeu, Manoj Kumar, Catherine Herold, Robin Kips
― 9 min lire
Table des matières
- Le Problème des Systèmes Actuels
- Une Nouvelle Approche
- Comment Ça Marche ?
- Entraîner le Système
- Suivi des Mouvements du Corps Entier
- Tests dans le Monde Réel
- Le Facteur Fun
- Conclusion
- Développements Futurs
- Accepter l'Imprévisible
- Un Terrain de Jeu de Possibilités
- Apprendre de ses Erreurs
- En Résumé
- Source originale
- Liens de référence
Dans le monde de la réalité virtuelle et augmentée, c'est super important que les mouvements du corps de l'utilisateur soient Suivis avec précision pour avoir une expérience réaliste. Imagine mettre un casque et avoir tes mouvements reproduits dans le monde virtuel comme si tu les faisais dans la vraie vie ! Mais voilà le hic : suivre tout le corps, surtout les jambes, c'est un vrai casse-tête. Les systèmes actuels devinent souvent ce que fait le bas du corps parce qu'ils ne peuvent pas bien le voir, et ça peut donner lieu à des situations drôles ou gênantes dans le monde virtuel.
Le Problème des Systèmes Actuels
La plupart des systèmes de suivi aujourd'hui utilisent juste trois points sur le corps : la tête et les mains. Cela veut dire qu'ils devinent comment le reste du corps bouge. C'est comme regarder un magicien qui ne te montre qu'une partie du tour mais s'attend à ce que tu crois que tout est réel !
Pour arranger ça, les systèmes modernes de réalité virtuelle (VR) et de réalité augmentée (AR) utilisent des caméras de profondeur pour recueillir des infos sur l'espace autour de l'utilisateur. Ces caméras donnent une vue en trois dimensions des alentours. Malheureusement, cette technologie a ses défis. Par exemple, si la caméra ne peut pas voir une partie du corps, elle ne sait pas où la placer. Donc, pendant que tu es en train de danser dans ton salon, le système peut penser que tes jambes sont immobiles ! Ça peut donner des scènes bien comiques quand tu bouges les bras mais que tes jambes semblent en vacances.
Une Nouvelle Approche
C'est là qu'intervient notre nouvelle méthode, qu'on appelle XR-MBT. XR-MBT combine les infos des caméras de profondeur avec des méthodes d'entraînement intelligentes pour suivre les mouvements du corps entier En temps réel. Pense à ça comme ajouter plus de personnages dans un jeu vidéo ; tout à coup, le jeu semble plein d'action !
On utilise la technologie de détection de profondeur pour avoir une image plus claire des mouvements de l'utilisateur. Au lieu de juste deviner où sont les jambes, on apprend au système à comprendre tout le corps en utilisant les données de profondeur qu'il collecte. Ça aide à donner une image plus précise de ce que fait l'utilisateur, même si certaines parties sont cachées.
Comment Ça Marche ?
Alors, comment ce processus magique fonctionne-t-il ? D'abord, on collecte les données sur la position de la tête et les mouvements des mains. Ensuite, on prend aussi des infos du capteur de profondeur, créant un nuage de points - une collection de points dans l'espace qui représentent le corps de l'utilisateur. Pense à ça comme un nuage flou qui essaie de capturer ta forme !
Ce nuage, cependant, n'est pas parfait. Il peut manquer certains points de ton corps ou les confondre un peu. Notre système utilise des algorithmes intelligents pour apprendre à partir de ces données de nuage brouillon et trouver la meilleure façon de suivre où chaque partie du corps devrait être. C’est comme apprendre à un gamin à dessiner une personne avec tous ses crayons préférés, même si certaines couleurs lui manquent.
Entraîner le Système
Pour que notre méthode fonctionne, on doit l'entraîner avec des données du monde réel et des données simulées. On collecte une tonne de données de personnes faisant différents mouvements, comme sauter, donner des coups de pied et danser. Ensuite, on crée un ensemble de règles, ou un guide d'utilisation, pour le système. Ça l'aide à s'améliorer pour deviner où chaque partie du corps devrait être, même quand elle n'est pas entièrement visible.
En utilisant cette combinaison de données réelles et fausses, on obtient ce qu'on appelle "Apprentissage auto-supervisé". Ce terme un peu technique signifie qu'on n'a pas besoin de labelliser chaque donnée nous-mêmes. Le système apprend à partir des données qu'il voit et s'améliore avec le temps - comme un chiot qui apprend à rapporter en jouant !
Suivi des Mouvements du Corps Entier
Une fois entraîné, XR-MBT peut suivre le corps entier en temps réel. Ça veut dire que quand tu bouges, il peut suivre, même s'il ne peut pas voir tes jambes tout le temps. Si ta jambe est cachée derrière une table, le système sait quand même qu'elle est là et peut deviner où elle devrait être en fonction de tes autres mouvements. Tu peux donc donner un coup de pied à un ballon de foot virtuel sans avoir l'air ridicule !
Mais que se passe-t-il si ta jambe fait quelque chose d’inattendu ? Pas de souci ! XR-MBT a un plan de secours. Il peut passer entre différentes méthodes de suivi pour s'assurer que ce qu'il affiche dans le monde virtuel est le plus proche possible de la réalité. S'il perd de vue une jambe, il peut combler les vides avec une devinette intelligente basée sur l'emplacement de tes autres parties du corps.
Tests dans le Monde Réel
On a mis notre système XR-MBT à l'épreuve avec divers tests pour voir comment il se comporte. On l'a comparé à d'autres systèmes existants pour savoir si le nôtre suivait vraiment mieux. À notre grande surprise, on a découvert qu'XR-MBT fait un super boulot ! Il peut suivre les jambes et le bas du corps bien mieux que ces vieux systèmes qui ne font que deviner.
Quand on l'a testé avec de vraies personnes dans de vrais environnements, on a remarqué qu'XR-MBT pouvait représenter avec précision une large gamme de mouvements de jambes. Donner des coups de pied, courir, et d'autres actions avaient l'air beaucoup plus réalistes que jamais auparavant, rendant l'expérience virtuelle vraiment authentique !
Le Facteur Fun
Maintenant, parlons du fun ! Imagine jouer à un jeu où tu peux courir, sauter et donner des coups de pied comme un super-héros, et le jeu reflète chaque mouvement que tu fais. C'est ce qu'XR-MBT vise à offrir. Ça ouvre la porte à un tout nouveau monde de divertissement où tu es la star principale.
Que tu sois en train de danser à une fête virtuelle ou de participer à un cours de ninja trop stylé, notre système aide à rendre ces expériences parfaitement réalistes. Peut-être que ton pote virtuel ne pourra pas garder son sérieux quand tu donneras un coup de pied à ce ballon par-dessus la clôture, et c'est ça le fun !
Conclusion
Le monde de l'XR est plein de potentiel, et un suivi précis du corps est vital pour le débloquer. Avec XR-MBT, on a fait un pas vers la création d'un système capable de suivre fidèlement chacun de tes mouvements - même ces mouvements de jambes rusés qui étaient auparavant laissés à l'imagination. Donc, que tu cours à travers un paysage numérique ou que tu essaies juste de faire coucou à ton pote, XR-MBT est là pour s'assurer que tu aies la classe en le faisant. Alors, vas-y, bouge-toi ; le monde virtuel t'attend !
Développements Futurs
Comme pour toute technologie, il y a toujours de la place pour s'améliorer. Bien qu'XR-MBT fonctionne plutôt bien, il est toujours à la recherche de meilleures façons de suivre les mouvements. Par exemple, incorporer plus de capteurs pourrait améliorer encore la précision. Imagine un futur où chaque mouvement de ton corps est capturé parfaitement, menant à une expérience encore plus immersive.
Aussi, à mesure que la technologie XR progresse, trouver des moyens de rendre ces systèmes plus conviviaux sera une priorité. Le but est de faire en sorte que les gens entrent dans des environnements XR sans avoir besoin d'un manuel ; ça devrait juste fonctionner. Ce serait comme enfiler une paire de chaussures qui s'ajustent parfaitement à chaque fois !
Accepter l'Imprévisible
Un aspect excitant d'XR-MBT est sa capacité à gérer la nature imprévisible des mouvements humains. On n'est pas des robots ; parfois on trébuche ou on se prend les pieds dans un tapis de yoga ! Notre système pourrait être entraîné pour s'adapter à ces petits accidents, préservant le réalisme et aidant les utilisateurs à se sentir plus connectés à leur environnement virtuel.
Un Terrain de Jeu de Possibilités
Imagine différents scénarios où XR-MBT pourrait briller. Entraînement sportif, cours de danse, ou même juste s'amuser avec des amis dans un hangout virtuel peuvent devenir beaucoup plus captivants que jamais. De plus, ça peut contribuer au bien-être en laissant les gens explorer la forme physique dans un cadre virtuel, rendant l'exercice plus amusant que vu comme une corvée.
Apprendre de ses Erreurs
Le processus d'apprentissage ne s'arrête pas une fois qu'XR-MBT est dans le monde. Chaque fois qu'un utilisateur interagit avec le système, on collecte des retours précieux. On parle de leçons apprises dans le terrain de jeu virtuel, qu'elles soient liées à la précision des mouvements ou juste au fun. Cela nous aidera à affiner continuellement XR-MBT et à s'assurer qu'il reste un acteur clé dans le jeu du suivi.
En Résumé
À la fin de la journée, XR-MBT représente un saut significatif dans la manière dont on vit les environnements virtuels. En comblant le fossé entre le monde réel et le monde virtuel, on espère créer des expériences qui sont non seulement engageantes et réalistes mais aussi fun. Donc, que tu sois en train de sauter par-dessus des obstacles numériques ou de te prélasser dans ton salon virtuel, sois assuré qu'on travaille dur pour rendre ces expériences aussi bonnes que possible.
Alors, prépare-toi, mets ton casque, et sois prêt à naviguer dans le monde de l'XR comme jamais auparavant ! Ça va être un voyage plein de mouvements, de surprises, et beaucoup de fun !
Titre: XR-MBT: Multi-modal Full Body Tracking for XR through Self-Supervision with Learned Depth Point Cloud Registration
Résumé: Tracking the full body motions of users in XR (AR/VR) devices is a fundamental challenge to bring a sense of authentic social presence. Due to the absence of dedicated leg sensors, currently available body tracking methods adopt a synthesis approach to generate plausible motions given a 3-point signal from the head and controller tracking. In order to enable mixed reality features, modern XR devices are capable of estimating depth information of the headset surroundings using available sensors combined with dedicated machine learning models. Such egocentric depth sensing cannot drive the body directly, as it is not registered and is incomplete due to limited field-of-view and body self-occlusions. For the first time, we propose to leverage the available depth sensing signal combined with self-supervision to learn a multi-modal pose estimation model capable of tracking full body motions in real time on XR devices. We demonstrate how current 3-point motion synthesis models can be extended to point cloud modalities using a semantic point cloud encoder network combined with a residual network for multi-modal pose estimation. These modules are trained jointly in a self-supervised way, leveraging a combination of real unregistered point clouds and simulated data obtained from motion capture. We compare our approach against several state-of-the-art systems for XR body tracking and show that our method accurately tracks a diverse range of body motions. XR-MBT tracks legs in XR for the first time, whereas traditional synthesis approaches based on partial body tracking are blind.
Auteurs: Denys Rozumnyi, Nadine Bertsch, Othman Sbai, Filippo Arcadu, Yuhua Chen, Artsiom Sanakoyeu, Manoj Kumar, Catherine Herold, Robin Kips
Dernière mise à jour: Nov 27, 2024
Langue: English
Source URL: https://arxiv.org/abs/2411.18377
Source PDF: https://arxiv.org/pdf/2411.18377
Licence: https://creativecommons.org/licenses/by/4.0/
Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.
Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.