Simple Science

La science de pointe expliquée simplement

# Informatique# Vision par ordinateur et reconnaissance des formes

Avancées dans la technologie d'essayage virtuel

Une nouvelle méthode améliore la façon dont les acheteurs en ligne visualisent l'ajustement des vêtements.

― 7 min lire


Avancées de laAvancées de latechnologie d'essayagevirtuell'essayage de vêtements en ligne.De nouvelles méthodes améliorent
Table des matières

La technologie d'essayage virtuel devient super importante dans le shopping en ligne, surtout pour les Vêtements. Ça permet aux clients de voir comment les fringues leur iraient sans avoir à vraiment les essayer. Avec la croissance rapide de l'e-commerce, y a un grand besoin de solutions pour que les clients se sentent plus sûrs de leurs achats et pour réduire le nombre de retours. Mais les méthodes actuelles d'essayage virtuel galèrent souvent avec des poses de corps compliquées, ce qui donne des résultats moins précis.

Le Défi

Les méthodes d'essayage virtuel actuelles suivent généralement un processus en deux étapes. D'abord, une image de vêtement est ajustée à la pose de la personne. Ensuite, le vêtement ajusté est combiné à l'image de la personne pour créer une image finale où on les voit porter le nouveau vêtement. Ce processus en deux étapes échoue souvent quand la pose de la personne est difficile, comme quand les bras sont levés ou croisés. La qualité de l'ajustement du vêtement est super importante ; un mauvais déformage donne des résultats peu réalistes.

En plus, les méthodes existantes dépendent beaucoup d'avoir une tonne de données d'entraînement qui incluent diverses poses. Ça veut dire qu'elles performent souvent mal quand elles sont confrontées à des scénarios réels où les poses ne sont pas bien représentées dans le jeu de données d'entraînement.

Une Nouvelle Méthode

Pour résoudre ces problèmes, une nouvelle approche a été introduite qui se concentre sur le mappage précis des vêtements à la pose de la personne. Au lieu de se fier uniquement à l'image de la personne, cette méthode utilise une technique de mappage corporel détaillée appelée DensePose. Cette technique permet de mieux comprendre la surface du corps, ce qui permet de faire des ajustements de vêtement plus précis.

Le truc, c'est de comprendre un DensePose de vêtement qui est directement lié au DensePose de la personne. Bien que récolter beaucoup de données d'entraînement puisse être difficile, cette méthode utilise malin un modèle pré-entraîné pour prédire le DensePose de vêtement sans nécessiter une grande quantité de données étiquetées manuellement. En faisant ça, la méthode permet d'ajuster les Images de vêtements plus efficacement pour diverses poses sans avoir besoin de ressources supplémentaires étendues.

Comment Ça Marche

Le processus commence par prendre des images de vêtements et de personnes. D'abord, un masque est créé à partir de l'image du vêtement pour se concentrer sur les parties importantes. Pour l'image de la personne, on fait une analyse humaine pour identifier différentes sections du corps, et on utilise DensePose pour fournir un mappage détaillé du corps de la personne.

Ensuite, le DensePose du vêtement est prédit en utilisant l'image du vêtement. Une fois qu'on a cette info, elle peut être utilisée pour déformer l'image du vêtement à la pose de la personne. La déformation est faite en utilisant une technique de mappage UV qui assure une correspondance précise entre le vêtement et le corps de la personne.

La dernière étape consiste à fusionner le vêtement déformé avec l'image de la personne pour créer une image d'essayage réaliste. Cette fusion est faite avec des techniques qui aident à maintenir les détails du vêtement tout en l'ajustant parfaitement à la personne.

Avantages de la Nouvelle Approche

L'un des plus gros avantages de cette nouvelle méthode, c'est sa capacité à gérer des poses difficiles. Comme elle apprend d'un large éventail de mappages corporels, elle performe mieux dans diverses conditions comparé aux méthodes précédentes.

De plus, cette approche ne nécessite pas beaucoup de données étiquetées, ce qui la rend plus facile à mettre en œuvre et à échelonnable. Avec moins de dépendance aux données d'entraînement qui couvrent toutes les poses possibles, la méthode est plus adaptable aux applications réelles.

Technologies Connexes

Les systèmes d'essayage virtuel existent depuis un certain temps, s'appuyant généralement sur deux techniques principales : Thin Plate Spline (TPS) et appearance flow. Les méthodes TPS fonctionnent en estimant comment le vêtement doit se déformer en fonction du corps de la personne, tandis que les méthodes d'apparence flow regardent comment chaque pixel de l'image du vêtement doit être déplacé. Bien que ces méthodes aient leurs avantages, elles ne performent souvent pas bien face à des poses difficiles, ce qui donne des résultats médiocres.

En revanche, la nouvelle méthode de DensePose de vêtement s'appuie sur une compréhension plus sophistiquée des formes corporelles et des textures de vêtement. En se concentrant sur la façon dont les vêtements s'ajustent au corps, elle permet une expérience d'essayage virtuel plus fiable et réaliste.

Applications Pratiques

Les implications de cette technologie sont énormes. Pour les détaillants, offrir une option d'essayage virtuel peut améliorer l'engagement des clients et booster les ventes en ligne. Ça minimise l'incertitude qui vient souvent avec l'achat de vêtements en ligne, ce qui conduit à une plus grande satisfaction client.

Pour les consommateurs, ça signifie une expérience de shopping plus agréable. Pouvoir visualiser comment une tenue ira avec leur forme de corps et leur posture uniques peut les aider à prendre de meilleures décisions d'achat.

Limitations

Malgré ses avantages, cette nouvelle méthode a quelques limitations. La qualité des résultats est encore influencée par la précision des prédictions de DensePose initiales. Si les caractéristiques de la personne ne sont pas bien détectées, ça peut conduire à des erreurs dans l'image finale d'essayage virtuel.

De plus, bien que la méthode gère bien une variété de poses, elle peut encore avoir des difficultés avec des motifs très complexes sur les vêtements, comme les rayures et les carreaux.

Retour des Utilisateurs

Pour évaluer l'efficacité de cette méthode d'essayage virtuel, des études utilisateur ont été menées où les participants ont évalué différents systèmes d'essayage virtuel. Les résultats ont montré que cette méthode perforait bien par rapport aux autres, offrant une expérience conviviale.

Les utilisateurs ont apprécié la meilleure capacité à visualiser comment les vêtements iraient sur leur corps. Même s'il y avait quelques petites différences dans la qualité des textures comparé à d'autres systèmes avancés, en général, les préférences penchaient vers cette nouvelle approche.

Conclusion

L'introduction du DensePose de vêtement dans la technologie d'essayage virtuel représente un grand pas en avant. Ça améliore la capacité à ajuster des vêtements à diverses poses avec précision tout en minimisant le besoin de données d'entraînement étendues. Au fur et à mesure que l'e-commerce continue d'évoluer, de telles technologies joueront un rôle essentiel dans l'avenir du shopping en ligne, créant un pont sans couture entre consommateurs et détaillants.

Au fur et à mesure que les méthodes s'améliorent et que d'autres recherches sont menées, l'objectif est de rendre les expériences d'essayage virtuel encore plus réalistes et fiables, transformant finalement la façon dont les gens achètent des vêtements en ligne.

Source originale

Titre: Learning Garment DensePose for Robust Warping in Virtual Try-On

Résumé: Virtual try-on, i.e making people virtually try new garments, is an active research area in computer vision with great commercial applications. Current virtual try-on methods usually work in a two-stage pipeline. First, the garment image is warped on the person's pose using a flow estimation network. Then in the second stage, the warped garment is fused with the person image to render a new try-on image. Unfortunately, such methods are heavily dependent on the quality of the garment warping which often fails when dealing with hard poses (e.g., a person lifting or crossing arms). In this work, we propose a robust warping method for virtual try-on based on a learned garment DensePose which has a direct correspondence with the person's DensePose. Due to the lack of annotated data, we show how to leverage an off-the-shelf person DensePose model and a pretrained flow model to learn the garment DensePose in a weakly supervised manner. The garment DensePose allows a robust warping to any person's pose without any additional computation. Our method achieves the state-of-the-art equivalent on virtual try-on benchmarks and shows warping robustness on in-the-wild person images with hard poses, making it more suited for real-world virtual try-on applications.

Auteurs: Aiyu Cui, Sen He, Tao Xiang, Antoine Toisoul

Dernière mise à jour: 2023-03-30 00:00:00

Langue: English

Source URL: https://arxiv.org/abs/2303.17688

Source PDF: https://arxiv.org/pdf/2303.17688

Licence: https://creativecommons.org/licenses/by/4.0/

Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.

Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.

Plus d'auteurs

Articles similaires