Avancées dans la modélisation de formes libre en XR

La Modélisation de formes en infographie existe depuis pas mal d'années. C'est super important dans plein de domaines comme le design, l'animation, l'architecture, et le divertissement. Avec la montée de la réalité virtuelle et augmentée (VR et AR), on a maintenant des outils et des applis qui permettent aux utilisateurs de créer et de travailler sur des formes 3D en temps réel. C’est particulièrement utile dans des environnements qui mélangent le virtuel et le réel, qu'on appelle la Réalité Étendue (XR). XR offre une façon plus intuitive et accessible de modéliser des formes.

L’arrivée de l’intelligence artificielle (IA) commence à changer la manière dont les gens créent et modifient des modèles 3D. L'IA peut générer des infos sur les formes à partir de textes, ce qui représente un gros changement pour les artistes. Il y a eu pas mal de recherches sur la modélisation de formes 3D interactive, mais il n’y a pas beaucoup de revues récentes qui se concentrent sur ce que ça signifie pour les environnements XR interactifs. Cet article cherche à combler ce vide en examinant les recherches sur la modélisation de formes libres, avec un focus particulier sur le sculptage et le croquis 3D, qui sont les manières les plus naturelles de modéliser des formes.

On catégorise et discute les travaux existants sur la base de cinq points clés : ce que les articles apportent, le cadre dans lequel ils se trouvent, les outils utilisés, les méthodes de complétion automatique des formes, et comment les designers peuvent collaborer. À la fin, on parlera des lacunes entre le sculptage interactif et le croquis, et de comment on croit que ça va changer avec plus d'outils IA dans le futur.

#Qu'est-ce que la Réalité Étendue (XR) ?

La réalité étendue (XR) regroupe diverses technologies immersives comme la réalité augmentée (AR), la réalité virtuelle (VR), et la réalité mixte (MR). Ces technologies améliorent ou simulent le monde réel en utilisant des éléments numériques, soit en superposant des objets virtuels sur le monde réel, soit en créant des expériences entièrement virtuelles.

En AR, les utilisateurs peuvent voir des objets virtuels à côté des environnements réels grâce à des dispositifs comme des lunettes AR ou des écrans mobiles. En VR, les utilisateurs peuvent s'immerger complètement dans un monde généré par ordinateur en portant un casque de VR qui offre une vue à 360 degrés. La réalité mixte permet aux objets numériques et réels de coexister et d'interagir en temps réel, créant un mélange des deux mondes.

#Modélisation de Formes

La modélisation de formes est un domaine central de l'infographie qui a plein de méthodes différentes. Une méthode courante est la reconstruction de formes 3D, où un utilisateur construit un modèle 3D à partir d'une ou plusieurs images. Une autre méthode est la modélisation de formes statistiques, où le modèle créé est similaire à une forme déjà existante.

Cet article se concentre sur la modélisation de formes libres, qui est plus axée sur l'expression artistique. L'utilisateur crée une forme en sculptant ou en moulant. Au cours des 15 dernières années, la modélisation de formes libres a évolué, surtout avec l'utilisation croissante des technologies VR et AR. Des dispositifs comme Leap Motion, Kinect, HTC Vive, Oculus Rift, et Hololens ont amélioré notre façon de modéliser des formes dans ces environnements.

Avant, les utilisateurs interagissaient avec des modèles principalement sur des écrans 2D où ils pouvaient juste voir des projections de formes 3D. Aujourd'hui, les dispositifs de réalité mixte permettent aux utilisateurs de voir et de manipuler des formes 3D sous tous les angles, offrant une expérience beaucoup plus riche. Les avancées en rendu et techniques de visualisation contribuent aussi à une meilleure modélisation des formes en offrant des aperçus plus clairs sur les formes créées.

#Revue de Littérature

De nombreuses enquêtes ont étudié les systèmes de modélisation basés sur le croquis, se concentrant principalement sur différentes techniques de croquis en 2D et 3D. Cependant, cet article inclura des techniques de sculptage pour une discussion plus complète sur le sujet.

#Aperçu Historique de la Recherche sur la Modélisation de Formes

En 2009, une enquête sur les systèmes de modélisation basés sur le croquis a catégorisé comment les croquis sont interprétés. Une autre enquête en 2016 a élaboré sur les différentes méthodes de croquis utilisées en 2D et 3D. Plus récemment, une étude de 2021 s'est concentrée sur le travail collaboratif dans des environnements AR et VR. Une enquête de 2022 a examiné le croquis à main levée dans le deep learning, en examinant ses défis et possibilités.

Notre revue vise à combiner les perspectives de ces travaux précédents pour fournir une compréhension plus large des techniques de sculptage et de croquis dans la modélisation de formes libres.

#Objectifs de Recherche

Cette revue se concentre sur la modélisation de formes libres en réalité mixte. Les questions principales abordées incluent :

• Quelles techniques de modélisation sont préférées en XR ?
• Quelles méthodes de recherche sont utilisées dans la modélisation de formes 3D en XR ?
• Quelles lacunes existent dans la recherche actuelle ?
• Quel matériel est préféré pour les différentes techniques de modélisation ?

Pour trouver des réponses, nous avons cherché des articles de recherche pertinents publiés depuis 2007 dans plusieurs bases de données. Nous avons utilisé des mots-clés comme "sculptage virtuel", "croquis 3D", et "réalité mixte" pour rassembler des infos pour cette étude.

#Méthodologie

Nous avons passé en revue systématiquement la littérature sur la modélisation de formes libres en XR. Après avoir cherché des articles, nous les avons filtrés en fonction de critères d'inclusion. Sur 431 papiers trouvés, 224 étaient initialement pertinents, et 167 contenaient des études utiles. Enfin, nous avons sélectionné 109 papiers comme sources principales, incluant quelques études fondamentales d'avant 2007.

#Techniques de Modélisation de Formes Libres

La modélisation de formes libres peut être largement catégorisée en deux techniques principales : le sculptage et le croquis.

#Sculptage

Dans le sculptage, un utilisateur commence avec une forme de base et la modifie ensuite en sculptant, poussant, ou tirant. Les utilisateurs utilisent souvent leurs mains ou des outils spécifiques pour façonner l'objet. Il existe plusieurs approches du sculptage virtuel, y compris des algorithmes qui représentent des formes et différentes méthodes d'interaction utilisant à la fois des instruments traditionnels et innovants.

Des développements significatifs dans le sculptage numérique remontent à 1991, où des formes primitives étaient modélisées dans un espace grille. Les techniques plus récentes ont évolué vers l'utilisation de dispositifs physiques, comme des gants ou des systèmes de retour haptique, pour améliorer l'expérience de sculptage. Les systèmes d'argile virtuelle imitent l'argile physique et permettent aux utilisateurs de façonner des objets virtuels de manière similaire à travailler avec de l'argile réelle.

#Sculptage Multi-couches

Certaines méthodes impliquent d'utiliser plusieurs couches ou formes pour créer des modèles plus complexes. Par exemple, les utilisateurs peuvent fusionner deux formes maillées ou créer des modèles avec différents matériaux. Cette approche multi-couches permet d'obtenir plus de détails et de flexibilité dans le design.

#Croquis 3D

Le croquis 3D est une autre technique populaire où les utilisateurs créent des formes en traçant des traits dans l'espace. Cette méthode peut impliquer de commencer de zéro ou d'ajouter de nouveaux éléments à des formes existantes. Il existe de nombreux outils interactifs disponibles pour le croquis, selon les besoins de l'utilisateur.

La recherche sur le croquis 3D a beaucoup évolué ; les premières méthodes étaient simplistes, se concentrant sur le dessin de formes géométriques. Aujourd'hui, les utilisateurs peuvent créer des formes plus complexes, souvent en utilisant des outils qui capturent leurs mouvements et les traduisent en modèles 3D.

#Génération de Formes 3D à partir de Croquis

Des gribouillis ou des dessins 2D peuvent être transformés en formes 3D grâce à des algorithmes avancés. Certains chercheurs ont développé des systèmes qui prennent un croquis d'utilisateur et l'inflation en un objet 3D. D'autres méthodes impliquent d'utiliser des réseaux neuronaux pour générer des représentations 3D directement à partir de dessins 2D.

#Outils d'Interaction pour la Modélisation de Formes Libres

Les outils utilisés pour la modélisation jouent un rôle important dans l'expérience utilisateur. Différentes techniques favorisent différents types d'outils d'interaction, comme des méthodes basées sur les gestes, des outils de stylo, et des contrôleurs 3D.

#Outils Basés sur les Gestes

Les gestes de la main sont souvent utilisés pour l'interaction, surtout dans le sculptage. Des caméras de profondeur peuvent capturer ces gestes avec précision, permettant une façon naturelle d'interagir avec les modèles. Certaines méthodes suivent les mouvements des mains pour permettre aux utilisateurs de façonner des objets de manière plus tactile.

#Outils à Stylo

Utiliser un stylet ou un stylo est une technique courante tant dans le sculptage que dans le croquis. Ces outils offrent un contrôle précis, simulant des expériences de dessin traditionnelles. Les outils à stylo sont particulièrement populaires pour le croquis, où les utilisateurs peuvent dessiner directement sur des tablettes ou des écrans.

#Contrôleurs 3D

Dans les environnements virtuels, les contrôleurs 3D sont fréquemment utilisés. Ces outils sont conçus pour fonctionner spécifiquement dans des configurations VR, permettant aux utilisateurs d'interagir avec les formes de manière plus intuitive. Des contrôleurs personnalisés ont également été développés pour améliorer l'expérience de modélisation.

#Le Rôle de l'IA dans la Modélisation de Formes

L'IA est de plus en plus utilisée dans la modélisation de formes, menant à deux approches principales : la modélisation suggestive et la génération de formes basée sur l'IA.

#Modélisation Suggestive

Cette technique utilise l'IA pour suggérer ce que les utilisateurs pourraient vouloir créer en se basant sur leurs actions précédentes. Par exemple, si un utilisateur a un but spécifique en tête, l'IA peut analyser les comportements passés pour offrir des suggestions utiles. Cette méthode peut aider les utilisateurs à compléter des formes plus facilement et peut aussi corriger des erreurs durant le processus de modélisation.

#Génération de Formes Basée sur l'IA

De nouveaux modèles d'IA peuvent générer des formes en fonction des entrées des utilisateurs. Les utilisateurs peuvent fournir des croquis ou des images, et l'IA peut créer une représentation 3D de ces entrées. Ce processus peut parfois permettre de modifier après la génération, bien que les utilisateurs aient souvent un contrôle limité sur les spécificités du modèle.

#Édition Collaborative

Un autre domaine d'intérêt dans la modélisation de formes est l'édition collaborative, où plusieurs utilisateurs peuvent travailler sur le même modèle simultanément. Cette approche pose des défis, comme garder la trace des modifications et gérer les conflits quand plusieurs edits se produisent.

La technologie a développé des méthodes pour gérer efficacement les tâches collaboratives. Par exemple, des systèmes ont été créés pour fusionner les changements de différents utilisateurs tout en minimisant les conflits. Ces innovations visent à améliorer le travail d'équipe et les aspects présentatifs des efforts de modélisation.

#Tendances Actuelles et Directions Futures

La modélisation de formes libres attire de plus en plus d'intérêt grâce aux avancées technologiques qui rendent les expériences XR plus abordables et accessibles. Cependant, il y a encore beaucoup de questions à traiter.

#Tendances de Recherche

Notre recherche montre que le croquis 3D est souvent préféré au sculptage virtuel. Cela pourrait être dû à la nature intuitive du croquis, car les utilisateurs peuvent facilement créer de zéro. Le sculptage, en revanche, peut être plus difficile à saisir pour les débutants.

#Lacunes de Recherche

Malgré les progrès, il existe des lacunes dans la recherche actuelle. Par exemple, les technologies VR et MR ne reproduisent pas entièrement le retour physique qu'un utilisateur ressent en travaillant avec de vrais matériaux. De plus, il y a des problèmes de latence qui peuvent perturber l'expérience de modélisation.

La modélisation de formes par IA est également un domaine avec un potentiel de croissance. Les algorithmes actuels pourraient bénéficier de développements pour produire des résultats plus rapides et de meilleure qualité. De plus, les capacités d'édition pour les modèles générés par l'IA doivent être améliorées pour permettre un plus grand contrôle des utilisateurs.

#Matériel Préféré

Les recherches indiquent que les utilisateurs préfèrent généralement des outils qui se rapprochent des expériences de dessin traditionnelles. Pour le croquis, les outils à stylo sont appréciés, tandis que les gestes sont plus courants pour le sculptage. Les futures recherches devraient se concentrer sur de meilleurs systèmes de retour qui améliorent l'expérience utilisateur.

#Conclusion

Dans cette revue, on a exploré l'état de la modélisation de formes libres en XR. En regardant les techniques utilisées, comment les utilisateurs interagissent avec ces formes, et le rôle de l'IA, on a fourni un aperçu complet de ce domaine en évolution. On a identifié des défis et des opportunités significatifs pour la recherche future et on espère inspirer de nouveaux avancements dans les techniques de modélisation de formes libres dans des environnements de réalité étendue.