Simple Science

Ciência de ponta explicada de forma simples

# Informática# Visão computacional e reconhecimento de padrões

Avanços na Modelagem 3D de Roupas Largas

Um novo método melhora a reconstrução 3D de pessoas com roupas largas.

Chen Guo, Tianjian Jiang, Manuel Kaufmann, Chengwei Zheng, Julien Valentin, Jie Song, Otmar Hilliges

― 5 min ler


Avanço na Reconstrução deAvanço na Reconstrução deRoupas em 3Droupas soltas em 3D.Novo método melhora a modelagem de
Índice

Nos últimos anos, teve uma melhora grande em criar modelos 3D de pessoas usando vídeos de uma única câmera. Mas, a maioria dos métodos que existem ainda se enrola quando o assunto é gente usando roupas folgadas. Isso é um problema importante, porque muita gente usa roupas largas, e não conseguir capturar esses looks deixa uma lacuna na hora de criar avatares 3D realistas.

O Problema das Roupas Largas

A maioria das tecnologias modernas de Reconstrução humana 3D funciona melhor com roupas justas, tipo camisetas e calças. Quando as pessoas usam roupas largas, o tecido se move de forma independente do corpo, dificultando o rastreamento e modelagem precisos. Essa limitação impacta a criação de representações de pessoas com looks casuais ou variados. Até agora, a tecnologia não conseguiu captar totalmente a complexidade das roupas soltas enquanto elas fluem e se movem.

Uma Nova Abordagem

Para resolver esse desafio, um novo método foi desenvolvido que foca em melhorar a reconstrução de pessoas vestidas com roupas folgadas. A grande sacada aqui é o uso de uma abordagem em camadas, que separa a representação do corpo da roupa externa. Com isso, dá pra capturar melhor o movimento e a forma tanto do corpo quanto da roupa.

Representação Neural em Camadas

Esse método introduz uma representação neural em camadas, onde o corpo humano é representado como um modelo interno e a roupa externa como um modelo separado. Essa separação permite um rastreamento mais preciso de como a roupa se move, especialmente quando se trata de peças folgadas que mudam de forma bastante enquanto a pessoa se move.

Deformação de Ossos Virtuais

Além de separar o corpo e a roupa, uma abordagem de ossos virtuais foi criada. Esse sistema usa ossos virtuais que conseguem se mover independentemente do esqueleto do corpo. Isso é super importante, porque as roupas folgadas não seguem sempre os mesmos movimentos do corpo por baixo. Esses ossos virtuais podem se adaptar e se mover de maneiras que representam com precisão como a roupa solta se comporta.

Otimizando Forma e Aparência

O novo método otimiza as Formas e Aparências tanto do corpo quanto da roupa. Isso significa que ele observa como o corpo e a roupa se encaixam em tempo real enquanto a pessoa se move. A tecnologia usa técnicas avançadas de renderização para garantir que tudo pareça bom e se comporte corretamente no espaço 3D.

Testando o Novo Método

Para ver como esse novo método funciona, foram realizados testes com diversas pessoas usando roupas folgadas. Capturando vídeos de vários ângulos, os pesquisadores puderam conferir quão precisa foi a reconstrução dos modelos 3D. Esse método mostrou melhorias claras em relação aos métodos antigos, especialmente nos detalhes da roupa e de como ela se movia.

Importância de Avatares Realistas

Criar avatares 3D realistas está se tornando cada vez mais importante em diversas áreas, como jogos, realidade virtual e comunicação online. Quando os avatares parecem e se comportam como pessoas de verdade, eles criam uma experiência mais envolvente e crível. Esse novo método permite uma melhor representação das roupas do dia a dia, fazendo os avatares parecerem mais próximos da realidade.

Desafios em Ambientes Dinâmicos

Um dos desafios de reconstruir modelos 3D a partir de vídeos é lidar com fundos e distrações em ambientes dinâmicos. O novo método enfrenta isso focando nas características principais das roupas e da pessoa, permitindo que elas se destaquem do fundo de forma eficaz.

O Papel da Coleta de Dados

Para desenvolver e testar essa tecnologia, um conjunto de dados específico foi criado, focando em capturar os movimentos de pessoas usando roupas folgadas. Esse conjunto de dados é crucial para treinar o modelo a reconhecer diferentes tipos de roupas soltas e seus movimentos únicos.

Aplicações no Mundo Real

As aplicações dessa tecnologia melhorada são muitas. Nos jogos, os jogadores querem que seus avatares os representem de forma precisa, incluindo suas escolhas de roupas. Na realidade virtual, avatares realistas podem tornar as experiências mais imersivas. A indústria da moda também pode se beneficiar dessa tecnologia, criando experiências de prova virtual que refletem com precisão como as roupas se ajustam e se movem nos corpos reais.

Limitações do Método Atual

Apesar desses avanços, o método tem algumas limitações. Ele ainda precisa de estimativas de pose precisas e boa segmentação das roupas nos vídeos. Às vezes, ajustes são necessários para garantir que os contornos das roupas estejam claros. Além disso, a abordagem funciona melhor com um número limitado de roupas sendo reconstruídas ao mesmo tempo; adicionar mais peças aumenta a complexidade.

Olhando para o Futuro

O futuro da tecnologia de reconstrução 3D parece promissor. Há um interesse contínuo em melhorar como capturamos e representamos pessoas em diferentes estilos de roupas, especialmente as folgadas. À medida que os pesquisadores trabalham para superar as limitações atuais, podemos esperar ver avatares ainda mais realistas e convincentes em nossos mundos digitais.

Conclusão

O desenvolvimento dessa nova abordagem marca um passo significativo na área de reconstrução 3D. Ao focar nas complexidades das roupas folgadas e separar a representação do corpo e das roupas, esse método abre novas possibilidades para criar avatares humanos realistas. Com a pesquisa e aprimoramento contínuos, podemos esperar ver representações mais detalhadas e expressivas de nós mesmos no mundo virtual.

Fonte original

Título: ReLoo: Reconstructing Humans Dressed in Loose Garments from Monocular Video in the Wild

Resumo: While previous years have seen great progress in the 3D reconstruction of humans from monocular videos, few of the state-of-the-art methods are able to handle loose garments that exhibit large non-rigid surface deformations during articulation. This limits the application of such methods to humans that are dressed in standard pants or T-shirts. Our method, ReLoo, overcomes this limitation and reconstructs high-quality 3D models of humans dressed in loose garments from monocular in-the-wild videos. To tackle this problem, we first establish a layered neural human representation that decomposes clothed humans into a neural inner body and outer clothing. On top of the layered neural representation, we further introduce a non-hierarchical virtual bone deformation module for the clothing layer that can freely move, which allows the accurate recovery of non-rigidly deforming loose clothing. A global optimization jointly optimizes the shape, appearance, and deformations of the human body and clothing via multi-layer differentiable volume rendering. To evaluate ReLoo, we record subjects with dynamically deforming garments in a multi-view capture studio. This evaluation, both on existing and our novel dataset, demonstrates ReLoo's clear superiority over prior art on both indoor datasets and in-the-wild videos.

Autores: Chen Guo, Tianjian Jiang, Manuel Kaufmann, Chengwei Zheng, Julien Valentin, Jie Song, Otmar Hilliges

Última atualização: 2024-09-28 00:00:00

Idioma: English

Fonte URL: https://arxiv.org/abs/2409.15269

Fonte PDF: https://arxiv.org/pdf/2409.15269

Licença: https://creativecommons.org/licenses/by/4.0/

Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.

Obrigado ao arxiv pela utilização da sua interoperabilidade de acesso aberto.

Mais de autores

Artigos semelhantes