Método para Criar Humanos Digitais em 3D
Uma nova técnica combina scans 3D pra criar avatares humanos flexíveis.
― 6 min ler
Este artigo discute um método para criar humanos e objetos digitais 3D de uma maneira detalhada. Os autores desenvolveram um sistema que pode pegar Escaneamentos 3D de pessoas e objetos reais e depois combiná-los para fazer novos avatares humanos com roupas e Acessórios diferentes. O objetivo desse trabalho é expressar as formas humanas de uma maneira mais variada e flexível.
Contexto
Nos últimos anos, aumentou o interesse pela modelagem 3D, especialmente para Humanos Digitais. Muitos métodos atuais pegam escaneamentos de pessoas vestindo roupas e tratam como um único objeto. Isso limita a capacidade de criar avatares humanos variados e diversos, porque as peças de roupa ou acessórios individuais não podem ser facilmente misturados ou combinados.
Para contornar esse problema, alguns pesquisadores usaram dados sintéticos para criar modelos, mas a interação entre humanos e objetos nesses modelos muitas vezes não refletia a vida real. Isso acontece porque é difícil criar muitos objetos diferentes manualmente. Então, os autores queriam criar uma nova forma de construir um modelo 3D a partir de dados da vida real sem precisar rotular cada parte.
A Nova Abordagem
Os autores apresentaram uma nova estrutura que aprende a desmontar e montar modelos de humanos e objetos. Essa estrutura é chamada de modelo generativo composicional. A ideia principal é entender como humanos interagem com objetos, como mochilas, casacos e lenços, usando escaneamentos 3D do mundo real. O desafio é que, quando você escaneia uma pessoa com objetos, os escaneamentos se misturam, dificultando a diferenciação entre eles.
Para enfrentar esse desafio, os autores propõem usar dois conjuntos de escaneamentos da mesma pessoa: um escaneamento sem objetos e um escaneamento com objetos. Comparando esses dois escaneamentos, o sistema consegue aprender a separar os objetos do humano. Isso permite a criação de um novo modelo humano digital que pode integrar suavemente vários objetos.
Coleta de Dados
Os autores coletaram dados usando um conjunto de câmeras múltiplas que captura escaneamentos 3D detalhados. O processo de escaneamento envolve capturar a mesma pessoa em poses diferentes e com objetos diferentes. Esse método garante que haja variações suficientes sem gastar muito tempo ou recursos.
Os objetos escaneados incluíam vários tipos de roupas e itens do dia a dia, como casacos, chapéus e mochilas. Esses dados diversos ajudam o modelo a aprender a criar representações realistas de humanos com diferentes acessórios.
Processo de Aprendizado
Depois, os autores desenvolveram uma forma de desmontar automaticamente os escaneamentos 3D em seus componentes. O sistema aprende a separar a forma humana dos objetos ao redor. Usando escaneamentos que incluem só o humano e escaneamentos que incluem tanto o humano quanto os objetos, o método treina nas diferenças para descobrir como gerar novas formas.
Quando o sistema encontra novas identidades humanas, ele pode compor essas novas identidades com os objetos aprendidos de maneira eficiente. Isso permite uma ampla gama de possibilidades sem precisar re-treinar o modelo inteiro.
Resultados
Os autores testaram seu modelo para mostrar que ele pode se adaptar e criar novos personagens com sucesso. Os resultados indicaram que a abordagem deles é melhor do que métodos anteriores. O sistema é capaz de gerar vários avatares humanos com diferentes roupas e acessórios, mantendo interações realistas.
Os autores demonstraram a capacidade do sistema de gerar avatares 3D aleatórios e mostraram como os usuários poderiam controlar os itens específicos adicionados a cada avatar. Os usuários podem mudar a forma humana ou os objetos separadamente, o que oferece opções mais flexíveis e criativas.
Comparação com Outros Métodos
Ao comparar seu método com modelos existentes, os autores perceberam que, enquanto abordagens anteriores costumavam ter dificuldade em criar saídas variadas e interessantes com detalhes realistas, o método deles se destacou. Os autores realizaram estudos com usuários, onde os participantes preferiram as saídas geradas pelo sistema deles em relação às geradas por métodos tradicionais.
Isso mostra que o novo modelo pode produzir representações não apenas realistas, mas também diversas de humanos, sem parecer muito semelhante aos dados de origem.
Desafios e Limitações
Apesar dos resultados promissores, os autores reconheceram alguns desafios em seu trabalho. Por exemplo, enquanto o sistema funciona bem com objetos maiores, separar com precisão camadas finas de roupas ainda é difícil. A tecnologia de escaneamento 3D também tem limitações em precisão, o que pode afetar a qualidade dos modelos gerados.
Os autores também apontaram que estender o modelo para funcionar diretamente a partir de imagens comuns, em vez de escaneamentos 3D, é uma área empolgante para pesquisas futuras. Isso tornaria a abordagem aplicável em muitos mais cenários do mundo real.
Conclusão
O trabalho apresentado neste artigo destaca um novo método para criar modelos humanos 3D que podem incorporar vários objetos. Ao focar em dados do mundo real e aprendizado não supervisionado, os autores conseguiram criar um sistema que gera avatares digitais altamente variados e realistas. Isso pode ser benéfico em diversas áreas, como entretenimento, realidade virtual e simulações de roupas.
Direções Futuras
Os autores planejam continuar melhorando seu método, abordando as limitações mencionadas. Eles acreditam que há potencial para sua estrutura lidar com uma gama mais ampla de roupas e acessórios de forma mais precisa.
Além disso, existem oportunidades para adaptar a estrutura para trabalhar com diferentes tipos de dados além de escaneamentos 3D. Isso poderia levar a avanços na forma como humanos e objetos digitais são modelados, proporcionando mais ferramentas para artistas, designers e desenvolvedores em várias indústrias.
Pensamentos Finais
Essa abordagem representa um avanço significativo no campo da modelagem 3D para humanos e objetos. Ela abre oportunidades para criatividade e inovação em como construímos representações virtuais da realidade. Com melhorias contínuas na tecnologia e métodos de coleta de dados, o potencial para esse trabalho é vasto, abrindo caminho para experiências digitais mais envolventes e realistas.
Título: NCHO: Unsupervised Learning for Neural 3D Composition of Humans and Objects
Resumo: Deep generative models have been recently extended to synthesizing 3D digital humans. However, previous approaches treat clothed humans as a single chunk of geometry without considering the compositionality of clothing and accessories. As a result, individual items cannot be naturally composed into novel identities, leading to limited expressiveness and controllability of generative 3D avatars. While several methods attempt to address this by leveraging synthetic data, the interaction between humans and objects is not authentic due to the domain gap, and manual asset creation is difficult to scale for a wide variety of objects. In this work, we present a novel framework for learning a compositional generative model of humans and objects (backpacks, coats, scarves, and more) from real-world 3D scans. Our compositional model is interaction-aware, meaning the spatial relationship between humans and objects, and the mutual shape change by physical contact is fully incorporated. The key challenge is that, since humans and objects are in contact, their 3D scans are merged into a single piece. To decompose them without manual annotations, we propose to leverage two sets of 3D scans of a single person with and without objects. Our approach learns to decompose objects and naturally compose them back into a generative human model in an unsupervised manner. Despite our simple setup requiring only the capture of a single subject with objects, our experiments demonstrate the strong generalization of our model by enabling the natural composition of objects to diverse identities in various poses and the composition of multiple objects, which is unseen in training data. https://taeksuu.github.io/ncho/
Autores: Taeksoo Kim, Shunsuke Saito, Hanbyul Joo
Última atualização: 2023-05-29 00:00:00
Idioma: English
Fonte URL: https://arxiv.org/abs/2305.14345
Fonte PDF: https://arxiv.org/pdf/2305.14345
Licença: https://creativecommons.org/licenses/by/4.0/
Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.
Obrigado ao arxiv pela utilização da sua interoperabilidade de acesso aberto.