Simple Science

La science de pointe expliquée simplement

# Informatique# Vision par ordinateur et reconnaissance des formes

Nouveau jeu de données pour le rendu centré sur l'humain

Un ensemble de données révolutionnaire vise à améliorer la précision du rendu humain dans les médias numériques.

― 5 min lire


Avancer les techniques deAvancer les techniques derendu humainnumérique des humains.réalisme dans la représentationNouveau jeu de données améliore le
Table des matières

Créer des images et vidéos réalistes de gens dans différentes situations, c'est super important en vision par ordinateur et en graphisme. Pour ça, il faut une tonne de données montrant des humains dans divers poses, tenues et Actions. Mais, beaucoup de jeux de données existants manquent de variété. Ça complique la tâche des chercheurs qui veulent développer des nouvelles méthodes qui marchent bien dans la vraie vie. Pour résoudre ça, un nouveau jeu de données a été créé pour améliorer le rendu centré sur l'humain.

Aperçu du Jeu de Données

Le jeu de données comprend plein d'images et de vidéos de haute qualité de comédiens pris sous plusieurs angles. Il couvre une grande variété de catégories comme les types de mouvements, les styles de Vêtements, les formes de corps et les interactions avec des objets. Cette diversité est cruciale pour les chercheurs qui veulent créer des systèmes capables de rendre des images et animations humaines réalistes.

Caractéristiques du Jeu de Données

  1. Diversité des Acteurs : Le jeu de données présente une large gamme d'individus, assurant une représentation de différentes ethnies, âges et morphologies. Chaque acteur est filmé dans plusieurs tenues et exécutant différentes actions pour maximiser la richesse des données.

  2. Catégories d'Actions : Le jeu de données inclut des actions courantes du quotidien ainsi que des performances professionnelles. Ça permet aux chercheurs d'étudier comment les humains bougent dans différents contextes.

  3. Vêtements et Accessoires : Une vaste collection d'items vestimentaires et d'accessoires est incluse, représentant divers styles, matériaux et textures. Ça aide à comprendre comment différentes tenues impactent la qualité du rendu.

  4. Système de Capture Haute Qualité : Pour s'assurer que les données soient de la meilleure qualité possible, un système de capture spécialisé est utilisé. Il comprend plein de caméras synchronisées qui enregistrent à la fois des images et des informations de profondeur, permettant des reconstructions 3D détaillées.

Processus de Collecte des Données

Le processus de collecte des données a été conçu pour être complet et rigoureux. Les acteurs exécutaient leurs actions dans un studio, avec leurs mouvements captés par plusieurs caméras. Chaque acteur portait plusieurs tenues pour garantir une variété maximale de données. Une planification soignée a été faite pour garantir que les performances captées soient réalistes et représentatives du comportement humain au quotidien.

Annotation des Données

Après la capture des données, un processus d'annotation détaillé a été mis en place. Ça a inclus le calibrage des caméras pour assurer une information couleur et profondeur cohérente sur tous les angles. Des points clés ont été identifiés sur les corps des acteurs pour aider à comprendre leurs poses et mouvements. Un pipeline d'annotation automatique a été développé pour faciliter ce processus, garantissant que les données soient organisées et faciles à utiliser pour la recherche future.

Établissement des Références

Avec le jeu de données prêt, des références ont été établies pour évaluer diverses méthodes de rendu à la pointe de la technologie. Ce processus de benchmarking permet aux chercheurs de voir comment leurs techniques se débrouillent sur différentes tâches, comme générer de nouvelles vues d'une personne ou animer leurs mouvements en fonction de différentes poses.

Comparaisons avec d'Autres Jeux de Données

Le jeu de données a été comparé avec des jeux de données centrés sur l'humain existants pour mettre en avant ses avantages. Les différences majeures incluent le nombre d'acteurs, la diversité des actions et la qualité des données captées. Le nouveau jeu de données offre des échantillons plus variés et réalistes, ce qui renforce son utilité pour les chercheurs.

Défis du Rendu Centré sur l'Humain

Comprendre comment représenter les humains avec précision dans des images générées par ordinateur pose plein de défis. Des problèmes comme capturer des mouvements non rigides, gérer les types de vêtements variés et s'assurer d'interactions précises avec des objets compliquent la tâche. S'attaquer à ces défis est vital pour développer des algorithmes de rendu efficaces.

Directions Futures

Le jeu de données ouvre plein de possibilités pour de futures recherches dans le rendu centré sur l'humain. Les travaux à venir pourraient explorer de nouvelles façons d'annoter les données, améliorer les techniques de capture et élargir le jeu de données pour inclure encore plus de variétés. Les chercheurs sont encouragés à utiliser le jeu de données pour diverses applications, de l'animation à la réalité virtuelle.

Conclusion

En résumé, le nouveau jeu de données représente un pas en avant significatif dans le domaine du rendu centré sur l'humain. Avec sa riche diversité d'acteurs, d'actions et de vêtements, il fournit des ressources inestimables pour les chercheurs cherchant à créer des représentations humaines plus réalistes dans les médias numériques. Les benchmarks établis avec ce jeu de données aideront à faire progresser la compréhension de la façon de rendre les humains efficacement dans divers contextes. Au fur et à mesure que le domaine évolue, ce jeu de données continuera de jouer un rôle essentiel dans l'élargissement des limites de ce qui est possible en rendu centré sur l'humain.

Source originale

Titre: DNA-Rendering: A Diverse Neural Actor Repository for High-Fidelity Human-centric Rendering

Résumé: Realistic human-centric rendering plays a key role in both computer vision and computer graphics. Rapid progress has been made in the algorithm aspect over the years, yet existing human-centric rendering datasets and benchmarks are rather impoverished in terms of diversity, which are crucial for rendering effect. Researchers are usually constrained to explore and evaluate a small set of rendering problems on current datasets, while real-world applications require methods to be robust across different scenarios. In this work, we present DNA-Rendering, a large-scale, high-fidelity repository of human performance data for neural actor rendering. DNA-Rendering presents several alluring attributes. First, our dataset contains over 1500 human subjects, 5000 motion sequences, and 67.5M frames' data volume. Second, we provide rich assets for each subject -- 2D/3D human body keypoints, foreground masks, SMPLX models, cloth/accessory materials, multi-view images, and videos. These assets boost the current method's accuracy on downstream rendering tasks. Third, we construct a professional multi-view system to capture data, which contains 60 synchronous cameras with max 4096 x 3000 resolution, 15 fps speed, and stern camera calibration steps, ensuring high-quality resources for task training and evaluation. Along with the dataset, we provide a large-scale and quantitative benchmark in full-scale, with multiple tasks to evaluate the existing progress of novel view synthesis, novel pose animation synthesis, and novel identity rendering methods. In this manuscript, we describe our DNA-Rendering effort as a revealing of new observations, challenges, and future directions to human-centric rendering. The dataset, code, and benchmarks will be publicly available at https://dna-rendering.github.io/

Auteurs: Wei Cheng, Ruixiang Chen, Wanqi Yin, Siming Fan, Keyu Chen, Honglin He, Huiwen Luo, Zhongang Cai, Jingbo Wang, Yang Gao, Zhengming Yu, Zhengyu Lin, Daxuan Ren, Lei Yang, Ziwei Liu, Chen Change Loy, Chen Qian, Wayne Wu, Dahua Lin, Bo Dai, Kwan-Yee Lin

Dernière mise à jour: 2023-09-30 00:00:00

Langue: English

Source URL: https://arxiv.org/abs/2307.10173

Source PDF: https://arxiv.org/pdf/2307.10173

Licence: https://creativecommons.org/licenses/by/4.0/

Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.

Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.

Plus d'auteurs

Articles similaires