Simple Science

Ciência de ponta explicada de forma simples

# Informática# Visão computacional e reconhecimento de padrões

Chupa: Uma Nova Abordagem para Avatares 3D

Chupa facilita a criação de avatares 3D personalizados usando imagens e textos.

― 7 min ler


Chupa transforma aChupa transforma acriação de avatar 3Drealistas a partir de imagens e texto.Abordagem simplificada para avatares 3D
Índice

Criar humanos digitais em 3D, ou avatares, é super importante em áreas como jogos, animação e realidade virtual. Esses avatares ajudam a galera a se imergir nos espaços digitais. Mas fazer avatares de alta qualidade geralmente exige artistas 3D habilidosos e um tempão.

Com os avanços recentes na tecnologia, tá mais fácil criar imagens melhores, mas fazer humanos 3D ainda é um desafio por causa da variedade de formas, poses e detalhes humanos. Pra melhorar isso, apresentamos um novo método chamado Chupa. Esse método usa técnicas modernas pra criar humanos digitais realistas mais fácil e rápido.

Visão Geral do Chupa

Chupa é um sistema feito pra gerar humanos 3D realistas a partir de imagens. Ele divide o processo em etapas menores, começando por criar imagens 2D detalhadas da frente e do verso de uma pessoa. Essas imagens são chamadas de normal maps, que mostram detalhes como rugas e texturas de roupas.

Depois de criar esses normal maps, a gente usa eles pra moldar um Modelo 3D de um humano. Esse modelo pode mudar pra combinar com diferentes poses e aparências. O Chupa também aceita descrições em texto pra influenciar a aparência do avatar, permitindo que os usuários criem avatares personalizados facilmente.

Importância dos Avatares Digitais 3D

Avatares 3D são essenciais pra muitas indústrias. Em jogos, os jogadores querem personagens que pareçam e sintam reais. Em animação e realidade virtual, avatares de alta qualidade ajudam a criar experiências envolventes.

Criar esses avatares geralmente é uma tarefa que toma muito tempo e exige artistas talentosos. Os avanços recentes na tecnologia tornaram a geração de imagens mais fácil, mas aplicar isso a humanos 3D ainda é um desafio. A maioria dos métodos luta pra capturar cada detalhe porque muitas vezes depende de dados limitados e pode perder características importantes.

Desafios na Geração de Humanos 3D

Criar um humano 3D realista requer considerar vários aspectos, como identidade, pose e detalhes finos. Métodos tradicionais geralmente focam em criar imagens ou formas, mas não os dois ao mesmo tempo.

Enquanto algumas abordagens tentaram gerar modelos humanos 3D, elas muitas vezes produzem resultados insatisfatórios em relação ao detalhe e realismo. Um problema grande é a dificuldade em reunir dados realistas suficientes pra treinamento, o que leva a modelos que se saem mal ao gerar novas poses ou detalhes.

Metodologia do Chupa

O Chupa enfrenta esses problemas focando em duas etapas principais: gerar normal maps 2D e usá-los pra criar um modelo humano 3D. Esse processo em duas etapas facilita alcançar o nível de detalhe necessário nos avatares 3D.

Geração de Normal Map

A primeira parte do Chupa envolve criar normal maps pra frente e pra trás de um humano. Esses mapas fornecem informações detalhadas sobre a superfície da figura, como onde a luz bate e como as sombras caem. Usando um método que combina o poder da geração de imagens com um foco na Reconstrução 3D, o Chupa consegue criar normal maps consistentes e detalhados.

Uma vez que temos os normal maps, a gente pode usá-los pra criar um modelo 3D realista. Isso é feito ajustando um modelo inicial pra combinar com os detalhes dos normal maps. O processo envolve refinar gradualmente o modelo 3D pra garantir que ele combine com os normal maps o máximo possível.

Reconstrução 3D

Depois de criar os normal maps, a gente usa eles pra remodelar um modelo 3D inicial chamado SMPL-X. Esse modelo serve como uma base sólida, oferecendo um ponto de partida consistente pra criar o humano digital final.

O objetivo durante a reconstrução é ajustar o modelo pra que represente com precisão as características detalhadas dos normal maps. Isso envolve um processo onde comparamos os normal maps gerados com os do modelo 3D e fazemos os ajustes necessários.

Ajustando e otimizando o modelo continuamente, garantimos que ele não só pareça realista, mas também mantenha as proporções e detalhes corretos.

Refinamento de Detalhes

O Chupa inclui uma etapa adicional pra refinar tanto as características corporais quanto as faciais. Isso envolve renderizar os normal maps de vários ângulos pra capturar mais detalhes. Depois disso, a gente pode ajustar as normas com base nessas visões, garantindo que o avatar final pareça bom de todos os ângulos.

O processo de refinamento ajuda a eliminar qualquer artefato ou aparência estranha que possa ter surgido durante as etapas anteriores. Isso resulta em um avatar mais polido e realista, pronto pra uso.

Incorporação de Entrada de Texto

Uma característica única do Chupa é sua capacidade de aceitar descrições em texto como entrada. Integrando um modelo de texto pra imagem, os usuários podem especificar certas características, como gênero ou estilo de roupa, e gerar avatares que correspondem a essas descrições.

Esse processo melhora a experiência do usuário ao facilitar a criação de avatares personalizados sem precisar de muito conhecimento em modelagem 3D. Os usuários podem descrever o que querem, e o Chupa gera um modelo 3D correspondente que se encaixa na descrição.

Avaliação do Chupa

Pra medir como o Chupa se sai, fizemos testes comparando ele com métodos anteriores. Olhamos tanto pra métricas quantitativas, que fornecem dados numéricos, quanto pra feedback qualitativo de usuários, que avaliam a qualidade visual dos avatares gerados.

Em testes envolvendo conjuntos de dados de várias identidades humanas, o Chupa produziu consistentemente resultados melhores do que métodos anteriores. Ele mostrou pontuações mais baixas em métricas de qualidade de imagem, o que indica que os avatares gerados não são apenas visualmente agradáveis, mas também realistas.

Preferências dos Usuários

A gente também fez estudos com usuários pra determinar quais avatares as pessoas achavam mais atraentes. Os participantes foram convidados a comparar os avatares gerados pelo Chupa com aqueles de métodos anteriores. A maioria dos usuários preferiu os avatares criados pelo Chupa, tanto em imagens de corpo inteiro quanto faciais.

Esses resultados destacam a eficácia do Chupa em atender às expectativas dos usuários em relação ao realismo e detalhe nos avatares 3D.

Direções Futuras

Embora o Chupa mostre grande potencial, ainda há espaço pra melhorias. Trabalhos futuros podem se concentrar em criar avatares com texturas e características ainda mais realistas.

Além disso, integrar capacidades de movimento e animação aos avatares poderia aumentar ainda mais sua utilidade em várias aplicações, como jogos e experiências de realidade virtual.

Conclusão

O Chupa representa um avanço significativo na criação de humanos digitais 3D. Ao simplificar o processo e permitir a geração de avatares personalizados a partir de imagens e texto, o Chupa traz um novo nível de acessibilidade à criação de personagens 3D.

Esse sistema não só agiliza o fluxo de trabalho pra criar avatares digitais envolventes, mas também abre portas pra uma gama mais ampla de aplicações em diferentes indústrias. À medida que a tecnologia continua a evoluir, métodos como o Chupa provavelmente desempenharão um papel importante em como criamos e interagimos com representações digitais de nós mesmos.

Fonte original

Título: Chupa: Carving 3D Clothed Humans from Skinned Shape Priors using 2D Diffusion Probabilistic Models

Resumo: We propose a 3D generation pipeline that uses diffusion models to generate realistic human digital avatars. Due to the wide variety of human identities, poses, and stochastic details, the generation of 3D human meshes has been a challenging problem. To address this, we decompose the problem into 2D normal map generation and normal map-based 3D reconstruction. Specifically, we first simultaneously generate realistic normal maps for the front and backside of a clothed human, dubbed dual normal maps, using a pose-conditional diffusion model. For 3D reconstruction, we "carve" the prior SMPL-X mesh to a detailed 3D mesh according to the normal maps through mesh optimization. To further enhance the high-frequency details, we present a diffusion resampling scheme on both body and facial regions, thus encouraging the generation of realistic digital avatars. We also seamlessly incorporate a recent text-to-image diffusion model to support text-based human identity control. Our method, namely, Chupa, is capable of generating realistic 3D clothed humans with better perceptual quality and identity variety.

Autores: Byungjun Kim, Patrick Kwon, Kwangho Lee, Myunggi Lee, Sookwan Han, Daesik Kim, Hanbyul Joo

Última atualização: 2023-09-15 00:00:00

Idioma: English

Fonte URL: https://arxiv.org/abs/2305.11870

Fonte PDF: https://arxiv.org/pdf/2305.11870

Licença: https://creativecommons.org/licenses/by/4.0/

Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.

Obrigado ao arxiv pela utilização da sua interoperabilidade de acesso aberto.

Mais de autores

Artigos semelhantes