Simple Science

La science de pointe expliquée simplement

# Informatique# Graphisme# Vision par ordinateur et reconnaissance des formes

Nouveau système pour des avatars 3D personnalisables

Une avancée dans la personnalisation d'avatars 3D grâce à une technologie en couches.

― 7 min lire


Création d'avatar 3DCréation d'avatar 3Dpersonnalisableavatars avec une approche en couches.Transformer la personnalisation des
Table des matières

Créer des Avatars 3D qui ressemblent à des vrais et sont faciles à personnaliser, c'est super important dans plein de domaines, comme les jeux vidéo, le cinéma et les défilés de mode virtuels. Les méthodes traditionnelles pour faire ces avatars demandent souvent des travailleurs expérimentés qui utilisent des logiciels complexes ou des scanners high-tech pour capturer la ressemblance d'acteurs ou de modèles. Ça peut être long et coûteux en ressources.

Récemment, des avancées technologiques ont permis à certains chercheurs de créer des avatars 3D en utilisant l'intelligence artificielle. Ces nouvelles méthodes peuvent générer des figures humaines 3D à partir de descriptions textuelles. Mais beaucoup de ces approches traitent l'ensemble de l'avatar, y compris le corps et les vêtements, comme une seule unité. Ça complique la possibilité pour les utilisateurs de mélanger et assortir différents styles de vêtements, ce qui est un gros inconvénient pour personnaliser les avatars pour divers usages.

Pour résoudre ce problème, on propose un nouveau système qui permet aux utilisateurs de créer et personnaliser des avatars 3D avec des options de vêtements séparées. Notre cadre permet aux utilisateurs de modifier les vêtements sans toucher au corps principal de l'avatar.

Contexte

Création d'Avatar Traditionnelle

Dans l'approche traditionnelle de création d'avatars 3D, le corps et les vêtements sont générés ensemble. Ça veut dire que si un utilisateur veut changer de tenue, il doit souvent tout recommencer ou utiliser un ensemble limité d'options pré-faites. Ça complique les choses quand différents styles de vêtements, comme une robe ample ou un costume ajusté, doivent être combinés avec différents types de corps.

Problèmes avec les Méthodes Existantes

Différentes tentatives ont été faites pour simplifier le processus de création d'avatars 3D en utilisant des modèles génératifs à grande échelle ou en convertissant des images 2D en représentations 3D. Cependant, la plupart de ces méthodes traitent encore l'avatar comme une pièce unique, ce qui limite la capacité à changer de vêtements librement. Les modèles ont souvent du mal à représenter les vêtements séparément de la forme du corps, ce qui rend difficile d'obtenir le look souhaité pour l'avatar.

Une Nouvelle Approche

Pour surmonter ces limitations, notre nouvelle méthode permet de traiter le corps et les vêtements de l'avatar comme des couches séparées. Ce système de couches facilite la personnalisation des avatars en mélangeant et assortissant des styles de vêtements avec différentes formes de corps.

Fonctionnement du Système

Structure en Couches

Notre système utilise une approche en couches pour modéliser l'avatar, où chaque couche correspond à une partie spécifique, comme le corps humain ou des vêtements individuels. En séparant ces éléments, les utilisateurs peuvent facilement modifier ou remplacer une couche sans affecter les autres.

Points Gaussiens pour la Représentation

On représente l'avatar avec un ensemble de points gaussiens. Chaque point représente une petite partie de l'avatar, qui peut être ajustée pour créer des options de vêtements détaillées et diverses. Cette approche permet plus de flexibilité dans le processus de conception.

Stratégie Grossière à Fines Détails

Pour créer des vêtements qui ont l'air réalistes, on utilise une méthode en deux étapes. D'abord, on génère une version grossière du vêtement pour obtenir la forme générale. Ensuite, dans la deuxième étape, on peaufine les détails pour produire un vêtement de haute qualité qui correspond à la description textuelle fournie par l'utilisateur.

Assurer la Cohérence

Le défi de garder les vêtements ayant un look naturel lorsqu'ils sont combinés avec le corps est abordé grâce à une fonction de perte spéciale qui optimise les composants individuels tout en s'assurant qu'ils aient l'air bien ensemble. Ça garantit la cohérence entre les différentes couches de l'avatar.

Mise en Œuvre

Configuration Initiale

Pour commencer, on initialise un ensemble de points gaussiens basé sur un modèle représentant des corps humains. Ces points aident à définir la forme de base et l'échelle des composants de l'avatar.

Création des Vêtements

  1. Étape Grossière : On crée un contour de base du vêtement en utilisant un petit nombre de points gaussiens. Ces points sont répartis pour permettre des formes diverses.
  2. Étape Fine : On ajoute plus de points gaussiens pour peaufiner le vêtement et capturer des détails plus fins.

Atteindre le Réalisme

On améliore le réalisme en intégrant une guidance de densité dans le processus d'optimisation. Ça veut dire qu'on s'assure que les points sont répartis de manière à correspondre à la forme réelle du vêtement tout en gardant un look naturel.

Transfert de Vêtements

Une des fonctionnalités sympas de notre système est la capacité de transférer des vêtements entre des avatars avec différentes formes de corps. Ça se fait en gardant les positions et les échelles des points gaussiens ajustables tout en maintenant leur structure globale.

Pertes de Régularisation

Pour faciliter le transfert de vêtements efficacement, on utilise trois types de pertes de régularisation :

  1. Perte d'Ajustement Humain : Ça s'assure que le vêtement s'adapte de près aux contours du corps humain.
  2. Perte de Similarité : Ça conserve les caractéristiques originales du vêtement pendant l'adaptation.
  3. Perte de Visibilité : Ça aide à s'assurer que le vêtement n'est pas bloqué par d'autres parties de l'avatar, donc tout reste visible et bien aligné.

Évaluation et Résultats

On a réalisé des expériences exhaustives pour tester notre méthode par rapport à d'autres technologies existantes. Les résultats montrent que notre méthode produit des avatars de meilleure qualité qui s'alignent bien avec leurs descriptions textuelles et maintiennent un niveau de réalisme plus élevé.

Comparaisons Qualitatives

Dans ces comparaisons, nos avatars affichent des formes et des détails plus naturels par rapport à d'autres méthodes à la pointe. Les utilisateurs ont remarqué que notre système générait des avatars qui avaient l'air plus attrayants et réalistes.

Études Utilisateur

On a collecté des retours d'utilisateurs pour évaluer la qualité des avatars générés en termes de texture et de qualité de géométrie, ainsi que de leur correspondance avec les descriptions textuelles. Les résultats indiquent que notre méthode offre de meilleures performances sur divers critères.

Conclusion

Notre cadre proposé pour la génération d'avatars 3D en couches permet aux utilisateurs de créer des avatars détaillés et personnalisables facilement. En séparant le corps et les vêtements en couches distinctes, on fournit une solution flexible qui améliore la créativité et le choix des utilisateurs. Notre système répond non seulement au besoin de réalisme et de détail dans les avatars 3D, mais il simplifie aussi le processus de personnalisation, le rendant accessible à un plus large public dans les jeux vidéo et les environnements virtuels.

Dans l'ensemble, cette approche innovante démontre le potentiel de développement futur dans le domaine de la génération d'avatars, ouvrant la voie à des applications plus avancées dans diverses industries. On a hâte de voir comment cette technologie évolue et comment elle peut contribuer aux futures tendances dans la représentation numérique.

Source originale

Titre: LAGA: Layered 3D Avatar Generation and Customization via Gaussian Splatting

Résumé: Creating and customizing a 3D clothed avatar from textual descriptions is a critical and challenging task. Traditional methods often treat the human body and clothing as inseparable, limiting users' ability to freely mix and match garments. In response to this limitation, we present LAyered Gaussian Avatar (LAGA), a carefully designed framework enabling the creation of high-fidelity decomposable avatars with diverse garments. By decoupling garments from avatar, our framework empowers users to conviniently edit avatars at the garment level. Our approach begins by modeling the avatar using a set of Gaussian points organized in a layered structure, where each layer corresponds to a specific garment or the human body itself. To generate high-quality garments for each layer, we introduce a coarse-to-fine strategy for diverse garment generation and a novel dual-SDS loss function to maintain coherence between the generated garments and avatar components, including the human body and other garments. Moreover, we introduce three regularization losses to guide the movement of Gaussians for garment transfer, allowing garments to be freely transferred to various avatars. Extensive experimentation demonstrates that our approach surpasses existing methods in the generation of 3D clothed humans.

Auteurs: Jia Gong, Shenyu Ji, Lin Geng Foo, Kang Chen, Hossein Rahmani, Jun Liu

Dernière mise à jour: 2024-05-21 00:00:00

Langue: English

Source URL: https://arxiv.org/abs/2405.12663

Source PDF: https://arxiv.org/pdf/2405.12663

Licence: https://creativecommons.org/licenses/by/4.0/

Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.

Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.

Plus d'auteurs

Articles similaires