Avanços na Tecnologia de Experiência Virtual
Um novo método melhora como os compradores online visualizam o caimento das roupas.
― 6 min ler
Índice
A tecnologia de prova virtual tá se tornando super importante nas compras online, especialmente de Roupas. Essa tecnologia permite que os clientes vejam como as roupas ficariam neles sem precisar experimentar de verdade. Com o e-commerce crescendo rápido, tem uma necessidade grande de soluções que façam os clientes se sentirem mais seguros nas suas compras, diminuindo o número de devoluções. Mas os métodos atuais de prova virtual geralmente têm dificuldades com poses corporais complexas, resultando em resultados menos precisos.
O Desafio
Os métodos de prova virtual atuais geralmente seguem um processo de duas etapas. Primeiro, a imagem da roupa é ajustada pra se encaixar na pose da pessoa. Depois, a roupa ajustada é combinada com a imagem da pessoa pra criar uma imagem final mostrando ela vestindo a nova roupa. Esse método de duas etapas muitas vezes falha quando a pose da pessoa é complicada, como quando os braços estão levantados ou cruzados. A qualidade do ajuste da roupa é crucial; deformações ruins levam a resultados pouco realistas.
Além disso, os métodos existentes dependem muito de ter um monte de dados de treinamento que incluam várias poses. Isso significa que eles geralmente não funcionam bem quando enfrentam situações da vida real onde as poses não estão bem representadas no conjunto de treinamento.
Um Novo Método
Pra resolver esses problemas, um novo approach foi introduzido que foca em mapear com precisão as roupas à pose da pessoa. Em vez de depender apenas da imagem da pessoa, esse método usa uma técnica de mapeamento corporal detalhada chamada DensePose. Essa técnica oferece uma melhor compreensão da superfície do corpo, permitindo ajustes de roupas mais precisos.
A chave é aprender um DensePose da roupa que se relacione diretamente com o DensePose da pessoa. Embora reunir um monte de dados de treinamento possa ser difícil, esse método usa esperto um modelo pré-treinado pra prever o DensePose da roupa sem precisar de grandes quantidades de dados rotulados manualmente. Assim, o método permite que as Imagens das roupas sejam ajustadas de forma mais eficaz para várias poses sem precisar de muitos recursos adicionais.
Como Funciona
O processo começa com imagens de roupas e pessoas. Primeiro, uma máscara é criada a partir da imagem da roupa pra focar nas partes importantes. Pra imagem da pessoa, é feita uma análise corporal pra identificar diferentes seções do corpo, e o DensePose é utilizado pra fornecer um mapeamento detalhado do corpo da pessoa.
Depois, o DensePose da roupa é previsto usando a imagem da roupa. Assim que temos essa informação, ela pode ser usada pra deformar a imagem da roupa na pose da pessoa. A deformação é feita usando uma técnica de mapeamento UV que garante uma correspondência precisa entre a roupa e o corpo da pessoa.
A etapa final envolve unir a roupa deformada com a imagem da pessoa pra criar uma imagem de prova realista. Essa união é feita com técnicas que ajudam a manter os detalhes da roupa enquanto a encaixam perfeitamente na pessoa.
Vantagens do Novo Método
Uma das maiores vantagens desse novo método é a capacidade de lidar com poses difíceis. Porque ele aprende de uma ampla gama de mapeamentos corporais, ele se sai melhor em várias condições comparado aos métodos anteriores.
Além disso, esse approach não precisa de muitos dados rotulados, facilitando a implementação e a escalabilidade. Com menos dependência de dados de treinamento que cobrem todas as poses possíveis, o método é mais adaptável a aplicações do mundo real.
Tecnologias Relacionadas
Os sistemas de prova virtual já existem há um tempo, geralmente confiando em duas técnicas principais: Thin Plate Spline (TPS) e aparência de fluxo. Os métodos TPS funcionam estimando como a roupa deve se deformar com base no corpo da pessoa, enquanto os métodos de aparência de fluxo olham como cada pixel na imagem da roupa deve ser movido. Embora esses métodos tenham suas forças, eles geralmente não se saem bem quando enfrentam poses desafiadoras, levando a resultados ruins.
Em contraste, o novo método de DensePose da roupa se baseia em uma compreensão mais sofisticada das formas corporais e texturas de roupas. Ao focar em como as roupas se ajustam ao corpo, ele proporciona uma experiência de prova virtual mais confiável e realista.
Aplicações Práticas
As implicações dessa tecnologia são significativas. Para os varejistas, oferecer uma opção de prova virtual pode aumentar o engajamento dos clientes e impulsionar as vendas online. Minimiza a incerteza que muitas vezes vem ao comprar roupas online, levando a uma maior satisfação do cliente.
Para os consumidores, isso significa uma experiência de compra mais agradável. Poder visualizar como uma roupa vai ficar na sua forma e postura únicas pode ajudar a tomar decisões melhores de compra.
Limitações
Apesar das vantagens, esse novo método tem algumas limitações. A qualidade dos resultados ainda é influenciada pela precisão das previsões iniciais do DensePose. Se as características da pessoa não forem detectadas bem, isso pode levar a erros na imagem final da prova virtual.
Além disso, embora o método faça um ótimo trabalho lidando com várias poses, ele pode ainda encontrar dificuldades com padrões muito complexos nas roupas, como listras e xadrez.
Feedback dos Usuários
Pra avaliar a eficácia desse método de prova virtual, foram realizados estudos com usuários onde os participantes avaliaram diferentes sistemas de prova virtual. Os resultados mostraram que esse método se saiu bem em comparação com outros, proporcionando uma experiência amigável.
Os usuários apreciaram a melhor capacidade de visualizar como as roupas ficariam no corpo deles. Mesmo que houvesse algumas pequenas discrepâncias na qualidade da textura em comparação com outros sistemas avançados, as preferências gerais se inclinavam pra esse novo approach.
Conclusão
A introdução do DensePose da roupa na tecnologia de prova virtual representa um grande avanço. Ela melhora a capacidade de ajustar roupas a várias poses com precisão enquanto minimiza a necessidade de muitos dados de treinamento. À medida que o e-commerce continua a evoluir, tecnologias como essa vão desempenhar um papel essencial em moldar o futuro das compras online, criando uma conexão perfeita entre consumidores e varejistas.
Conforme os métodos melhoram e mais pesquisas são realizadas, o objetivo é tornar as experiências de prova virtual ainda mais realistas e confiáveis, transformando como as pessoas compram roupas online.
Título: Learning Garment DensePose for Robust Warping in Virtual Try-On
Resumo: Virtual try-on, i.e making people virtually try new garments, is an active research area in computer vision with great commercial applications. Current virtual try-on methods usually work in a two-stage pipeline. First, the garment image is warped on the person's pose using a flow estimation network. Then in the second stage, the warped garment is fused with the person image to render a new try-on image. Unfortunately, such methods are heavily dependent on the quality of the garment warping which often fails when dealing with hard poses (e.g., a person lifting or crossing arms). In this work, we propose a robust warping method for virtual try-on based on a learned garment DensePose which has a direct correspondence with the person's DensePose. Due to the lack of annotated data, we show how to leverage an off-the-shelf person DensePose model and a pretrained flow model to learn the garment DensePose in a weakly supervised manner. The garment DensePose allows a robust warping to any person's pose without any additional computation. Our method achieves the state-of-the-art equivalent on virtual try-on benchmarks and shows warping robustness on in-the-wild person images with hard poses, making it more suited for real-world virtual try-on applications.
Autores: Aiyu Cui, Sen He, Tao Xiang, Antoine Toisoul
Última atualização: 2023-03-30 00:00:00
Idioma: English
Fonte URL: https://arxiv.org/abs/2303.17688
Fonte PDF: https://arxiv.org/pdf/2303.17688
Licença: https://creativecommons.org/licenses/by/4.0/
Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.
Obrigado ao arxiv pela utilização da sua interoperabilidade de acesso aberto.