Novo Conjunto de Dados para Renderização Centrada no Humano
Um conjunto de dados revolucionário tem como objetivo melhorar a precisão da renderização humana em mídias digitais.
― 5 min ler
Criar imagens e vídeos realistas de humanos em diferentes situações é importante tanto na visão computacional quanto na computação gráfica. Essa tarefa exige uma porção de dados que mostrem humanos em várias poses, Roupas e Ações. Porém, muitos conjuntos de dados existentes não oferecem variedade suficiente nesses aspectos. Isso limita a capacidade dos pesquisadores de desenvolver novos métodos que funcionem bem em situações reais. Para resolver isso, um novo conjunto de dados foi criado para ajudar a melhorar a renderização centrada no humano.
Visão Geral do Conjunto de Dados
O conjunto de dados inclui um grande número de imagens e vídeos de alta qualidade de Atores humanos capturados de vários ângulos. Ele cobre um conjunto diverso de categorias como tipos de movimento, estilos de roupa, formas de corpo e interações com objetos. Essa variação é crucial para os pesquisadores que querem criar sistemas que consigam renderizar imagens e animações humanas realistas.
Recursos do Conjunto de Dados
Diversidade de Atores: O conjunto de dados apresenta uma ampla gama de indivíduos, garantindo a representação de diferentes etnias, idades e formas de corpo. Cada ator é capturado em várias roupas e realizando várias ações para maximizar a riqueza dos dados.
Categorias de Ação: O conjunto inclui ações do dia a dia, assim como performances profissionais. Isso permite que os pesquisadores estudem como os humanos se movem em diferentes contextos.
Roupas e Acessórios: Uma ampla coleção de roupas e acessórios está incluída, representando vários estilos, materiais e texturas. Isso ajuda a entender como diferentes roupas impactam a qualidade da renderização.
Sistema de Captura de Alta Qualidade: Para garantir que os dados sejam da mais alta fidelidade, um sistema de captura especializado é usado. Ele consiste em várias câmeras sincronizadas que gravam tanto imagens quanto informações de profundidade, permitindo reconstruções 3D detalhadas.
Processo de Coleta de Dados
O processo de coleta de dados foi projetado para ser minucioso e rigoroso. Os atores realizaram suas ações em um estúdio, com seus movimentos sendo gravados por várias câmeras. Cada ator usou várias roupas para garantir uma grande variedade de dados. Um planejamento cuidadoso foi feito para garantir que as performances capturadas fossem realistas e representativas de como os humanos se comportam na vida cotidiana.
Anotação de Dados
Depois de capturar os dados, um processo de anotação detalhado foi realizado. Isso incluiu a calibração das câmeras para garantir informações de cor e profundidade consistentes em todas as visualizações. Pontos chave foram identificados nos corpos dos atores para ajudar a entender suas poses e movimentos. Um pipeline de anotação automática foi desenvolvido para ajudar nesse processo, garantindo que os dados fossem organizados e fáceis de usar para pesquisas futuras.
Benchmarking
Com o conjunto de dados pronto, benchmarks foram estabelecidos para avaliar vários métodos de renderização de ponta. Esse processo de benchmarking permite que os pesquisadores vejam quão bem suas técnicas se saem em diferentes tarefas, como gerar novas visualizações de uma pessoa ou animar seus movimentos com base em diferentes poses.
Comparações com Outros Conjuntos de Dados
O conjunto de dados foi comparado com conjuntos de dados humanos existentes para destacar suas vantagens. As principais diferenças incluem o número de atores, a diversidade de ações e a qualidade dos dados capturados. O novo conjunto de dados fornece amostras mais variadas e realistas, aumentando sua utilidade para os pesquisadores.
Desafios na Renderização Centrada no Humano
Entender como representar humanos com precisão em imagens geradas por computador apresenta muitos desafios. Questões como capturar movimentos não rígidos, lidar com tipos variados de roupas e garantir interações precisas com objetos contribuem para a complexidade da tarefa. Abordar esses desafios é vital para desenvolver algoritmos de renderização eficazes.
Direções Futuras
O conjunto de dados abre várias possibilidades para mais pesquisas em renderização centrada no humano. Trabalhos futuros poderão explorar novas maneiras de anotar dados, melhorar técnicas de captura e expandir o conjunto para incluir ainda mais variação. Os pesquisadores são incentivados a utilizar o conjunto de dados para várias aplicações, desde animação até realidade virtual.
Conclusão
Em resumo, o novo conjunto de dados representa um grande avanço na área de renderização centrada no humano. Com sua rica diversidade de atores, ações e roupas, ele fornece recursos inestimáveis para os pesquisadores que buscam criar representações humanas mais realistas na mídia digital. Os benchmarks estabelecidos usando este conjunto ajudarão a avançar a compreensão de como renderizar humanos de forma eficaz em vários contextos. À medida que o campo evolui, este conjunto continuará a desempenhar um papel crucial em expandir os limites do que é possível na renderização centrada no humano.
Título: DNA-Rendering: A Diverse Neural Actor Repository for High-Fidelity Human-centric Rendering
Resumo: Realistic human-centric rendering plays a key role in both computer vision and computer graphics. Rapid progress has been made in the algorithm aspect over the years, yet existing human-centric rendering datasets and benchmarks are rather impoverished in terms of diversity, which are crucial for rendering effect. Researchers are usually constrained to explore and evaluate a small set of rendering problems on current datasets, while real-world applications require methods to be robust across different scenarios. In this work, we present DNA-Rendering, a large-scale, high-fidelity repository of human performance data for neural actor rendering. DNA-Rendering presents several alluring attributes. First, our dataset contains over 1500 human subjects, 5000 motion sequences, and 67.5M frames' data volume. Second, we provide rich assets for each subject -- 2D/3D human body keypoints, foreground masks, SMPLX models, cloth/accessory materials, multi-view images, and videos. These assets boost the current method's accuracy on downstream rendering tasks. Third, we construct a professional multi-view system to capture data, which contains 60 synchronous cameras with max 4096 x 3000 resolution, 15 fps speed, and stern camera calibration steps, ensuring high-quality resources for task training and evaluation. Along with the dataset, we provide a large-scale and quantitative benchmark in full-scale, with multiple tasks to evaluate the existing progress of novel view synthesis, novel pose animation synthesis, and novel identity rendering methods. In this manuscript, we describe our DNA-Rendering effort as a revealing of new observations, challenges, and future directions to human-centric rendering. The dataset, code, and benchmarks will be publicly available at https://dna-rendering.github.io/
Autores: Wei Cheng, Ruixiang Chen, Wanqi Yin, Siming Fan, Keyu Chen, Honglin He, Huiwen Luo, Zhongang Cai, Jingbo Wang, Yang Gao, Zhengming Yu, Zhengyu Lin, Daxuan Ren, Lei Yang, Ziwei Liu, Chen Change Loy, Chen Qian, Wayne Wu, Dahua Lin, Bo Dai, Kwan-Yee Lin
Última atualização: 2023-09-30 00:00:00
Idioma: English
Fonte URL: https://arxiv.org/abs/2307.10173
Fonte PDF: https://arxiv.org/pdf/2307.10173
Licença: https://creativecommons.org/licenses/by/4.0/
Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.
Obrigado ao arxiv pela utilização da sua interoperabilidade de acesso aberto.
Ligações de referência
- https://en.wikipedia.org/wiki/Wikipedia:Contents/Human_activities
- https://en.wikipedia.org/wiki/Wikipedia:Contents/Human
- https://dna-rendering.github.io/
- https://github.com/ZhengZerong/MultiviewSMPLifyX
- https://github.com/zju3dv/EasyMocap
- https://github.com/generalizable-neural-performer/bodyfitting
- https://github.com/zju