Simple Science

La science de pointe expliquée simplement

# Informatique# Vision par ordinateur et reconnaissance des formes

Révolutionner la création d'avatars 3D avec AvatarVerse

AvatarVerse transforme le texte en avatars 3D détaillés sans effort.

― 6 min lire


AvatarVerse : CréationAvatarVerse : Créationd'Avatar de NouvelleGénérationen un rien de temps.Crée des avatars 3D à partir de texte
Table des matières

Créer des avatars 3D de haute qualité est devenu super populaire. Ces avatars peuvent être utilisés dans plein de domaines comme les jeux vidéo, les réseaux sociaux, la réalité virtuelle, et plus encore. Traditionnellement, faire ces modèles 3D détaillés prend beaucoup de temps et demande des artistes qualifiés. Ils passent des centaines d'heures à créer ces avatars, ce qui peut être fatigant et coûteux. Du coup, trouver un moyen de créer automatiquement des avatars à partir de descriptions textuelles simples est vraiment intéressant. C'est exactement ce que notre nouvelle méthode, AvatarVerse, cherche à faire.

Le défi de la création d'avatars

Faire des avatars 3D à partir de texte n'est pas aussi simple qu'on pourrait le penser. Il y a plein de facteurs qui compliquent les choses. Par exemple, la modélisation 3D implique de capturer des détails et des styles complexes, qu'ils soient réalistes ou fictifs. La plupart des méthodes essayées jusqu'à présent nécessitent des images ou vidéos spécifiques pour guider le processus de création des avatars. Mais ça limite la créativité et rend difficile la génération d'avatars qui correspondent à des descriptions textuelles complexes.

Ces dernières années, les chercheurs se sont concentrés sur l'utilisation d'un type de modèle spécial appelé modèles de diffusion. Ces modèles ont montré de la créativité à générer des images 2D basées sur du texte, mais ils galèrent avec le 3D parce qu'il n'y a pas assez de modèles 3D variés disponibles pour l'entraînement. En plus, les méthodes passées génèrent souvent des images floues, et créer des avatars avec des poses et des looks différents reste un gros challenge.

Présentation d'AvatarVerse

AvatarVerse est un nouveau système qui crée efficacement des avatars 3D de haute qualité uniquement à partir de texte et d'informations de pose. Notre approche utilise une technologie appelée DensePose, qui aide à connecter des images 2D avec le modèle 3D d'un corps humain. En faisant ça, on a un meilleur contrôle sur l'apparence et le mouvement des avatars.

Une fonctionnalité clé de notre système est la capacité à produire des avatars clairs et en haute résolution. Notre méthode utilise une stratégie progressive qui améliore la qualité globale au fur et à mesure que le processus de génération avance. On s'attaque aussi aux problèmes courants que l'on voit dans d'autres méthodes, comme le problème de Janus, qui peut faire en sorte que les avatars aient l'air étranges ou inconstants.

Comment fonctionne AvatarVerse

Pour créer un avatar, tu donnes simplement une description textuelle et une pose. Notre système passe alors par plusieurs étapes pour s'assurer que l'avatar soit à la fois détaillé et fidèle à l'entrée.

  1. Contrôle conditionné par DensePose : On commence par entraîner un modèle appelé ControlNet avec plein d'images montrant le corps humain dans différentes poses et contextes. Ça nous aide à établir une connexion précise entre les images 2D et la structure corporelle 3D.

  2. Stratégie progressive en haute résolution : Pendant le processus de création de l'avatar, on commence avec une version basique et on la peaufine étape par étape. Cette approche progressive nous permet de nous concentrer sur différentes parties de l'avatar pour ajouter des détails fins, comme les traits du visage ou les textures des vêtements.

  3. Focus sur des zones importantes : Notre méthode nous permet de zoomer sur des parties spécifiques de l'avatar, comme le visage ou les mains, en s'assurant que ces zones aient des détails supplémentaires. Ce focus sélectif nous permet de créer des avatars plus réalistes.

  4. Affinage de la maillage : Après que l'avatar principal soit créé, on passe par une étape de raffinement. Cette étape aide à lisser la surface et garantit que l'avatar a l'air bien de tous les angles.

Avantages d'utiliser AvatarVerse

Notre système se démarque pour plusieurs raisons :

  • Sorties de haute qualité : Les avatars créés avec AvatarVerse sont plus nets et détaillés que ceux générés par d'autres méthodes. Cette qualité est évidente dans leurs textures et formes.

  • Flexibilité : AvatarVerse peut gérer une variété de demandes. Que tu veuilles un avatar en plein corps ou juste le haut du corps, notre système facilite la création de ce dont tu as besoin.

  • Facilité d'utilisation : Les utilisateurs peuvent simplement entrer une description, et AvatarVerse s'occupe du reste. Ça réduit le besoin d'avoir des connaissances étendues ou des compétences en modélisation 3D.

Applications dans le monde réel

Les avatars 3D réalisés avec AvatarVerse peuvent être utilisés dans de nombreux domaines différents. Voici quelques exemples :

  1. Jeux vidéo : Dans les jeux, des avatars réalistes peuvent offrir une expérience plus immersive pour les joueurs. Les joueurs peuvent rapidement concevoir leurs personnages sans avoir besoin d'un artiste 3D.

  2. Réseaux sociaux : Les utilisateurs peuvent créer des avatars personnalisés pour leurs profils ou comme représentations digitales sur différentes plateformes en ligne.

  3. Réalité virtuelle : Dans les environnements VR, les avatars peuvent améliorer les interactions, rendant les expériences plus authentiques et engageantes.

  4. Interaction homme-ordinateur : La technologie peut être appliquée dans des scénarios où les utilisateurs interagissent avec des assistants virtuels, les rendant plus accessibles et humains.

Test d'AvatarVerse

Pour garantir qu'AvatarVerse fonctionne bien, on a réalisé des tests pour comparer les avatars qu'il crée avec ceux d'autres systèmes. Les participants à ces tests ont préféré nos avatars pour leur clarté et leur apparence générale. Ce retour montre qu'AvatarVerse répond aux besoins des utilisateurs qui recherchent des avatars de haute qualité.

Conclusion

En résumé, AvatarVerse est une approche innovante pour créer des avatars 3D à partir d'informations de texte et de pose. En combinant des techniques avancées, on peut produire des avatars détaillés et de haute qualité qui se distinguent des autres méthodes. Notre approche rend la création d'avatars accessible et efficace, permettant aux utilisateurs de générer rapidement des avatars personnalisés. Les applications d'AvatarVerse sont vastes, allant des jeux vidéo aux réseaux sociaux, et on pense que ça marque un pas important en avant dans le domaine de la génération d'avatars digitaux.

Source originale

Titre: AvatarVerse: High-quality & Stable 3D Avatar Creation from Text and Pose

Résumé: Creating expressive, diverse and high-quality 3D avatars from highly customized text descriptions and pose guidance is a challenging task, due to the intricacy of modeling and texturing in 3D that ensure details and various styles (realistic, fictional, etc). We present AvatarVerse, a stable pipeline for generating expressive high-quality 3D avatars from nothing but text descriptions and pose guidance. In specific, we introduce a 2D diffusion model conditioned on DensePose signal to establish 3D pose control of avatars through 2D images, which enhances view consistency from partially observed scenarios. It addresses the infamous Janus Problem and significantly stablizes the generation process. Moreover, we propose a progressive high-resolution 3D synthesis strategy, which obtains substantial improvement over the quality of the created 3D avatars. To this end, the proposed AvatarVerse pipeline achieves zero-shot 3D modeling of 3D avatars that are not only more expressive, but also in higher quality and fidelity than previous works. Rigorous qualitative evaluations and user studies showcase AvatarVerse's superiority in synthesizing high-fidelity 3D avatars, leading to a new standard in high-quality and stable 3D avatar creation. Our project page is: https://avatarverse3d.github.io

Auteurs: Huichao Zhang, Bowen Chen, Hao Yang, Liao Qu, Xu Wang, Li Chen, Chao Long, Feida Zhu, Kang Du, Min Zheng

Dernière mise à jour: 2023-08-07 00:00:00

Langue: English

Source URL: https://arxiv.org/abs/2308.03610

Source PDF: https://arxiv.org/pdf/2308.03610

Licence: https://creativecommons.org/licenses/by/4.0/

Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.

Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.

Plus d'auteurs

Articles similaires