Sviluppi nella tecnologia del virtual try-on
Un nuovo metodo migliora il modo in cui gli acquirenti online visualizzano la vestibilità dei vestiti.
― 6 leggere min
Indice
La tecnologia del provare virtualmente sta diventando super importante nello shopping online, specialmente per i vestiti. Questa tecnologia permette ai clienti di vedere come potrebbero stare i vestiti addosso senza provarli realmente. Con l'e-commerce che cresce a dismisura, c'è un forte bisogno di soluzioni che possano far sentire i clienti più sicuri riguardo ai loro acquisti, riducendo il numero di resi. Però, i metodi attuali di prova virtuale spesso fanno fatica con pose corporee complesse, portando a risultati meno accurati.
La Sfida
I metodi di prova virtuale attuali seguono generalmente un processo in due fasi. Prima, un'immagine del capo viene regolata per adattarsi alla posa della persona. Poi, il capo regolato viene unito all'immagine della persona per creare un'immagine finale che mostra come indossa il nuovo capo. Questo approccio in due fasi spesso fallisce quando la posa della persona è complicata, come quando le braccia sono alzate o incrociate. La qualità dell'aggiustamento del capo è cruciale; una cattiva deformazione porta a risultati poco realistici.
Inoltre, i metodi esistenti dipendono molto dall'avere un sacco di dati di addestramento che includano varie pose. Questo significa che spesso non funzionano bene di fronte a situazioni reali dove le pose non sono rappresentate nel set di addestramento.
Un Nuovo Metodo
Per affrontare questi problemi, è stato introdotto un nuovo approccio che si concentra sul mappare accuratamente i capi alla posa della persona. Invece di fare affidamento solo sull'immagine della persona, questo metodo utilizza una tecnica di mappatura corporea dettagliata chiamata DensePose. Questa tecnica fornisce una migliore comprensione della superficie del corpo, permettendo aggiustamenti dei capi più accurati.
La chiave è imparare una DensePose del capo che si relate direttamente alla DensePose della persona. Anche se raccogliere un sacco di dati di addestramento può essere difficile, questo metodo utilizza astutamente un modello pre-addestrato per prevedere la DensePose del capo senza bisogno di grandi quantità di dati etichettati manualmente. Facendo così, il metodo consente di regolare le Immagini dei capi in modo più efficace per varie pose senza richiedere risorse aggiuntive estese.
Come Funziona
Il processo inizia con la presa di immagini di capi e persone. Prima, viene creata una maschera dall'immagine del capo per concentrarsi sulle parti importanti. Per l'immagine della persona, si esegue il parsing umano per identificare diverse sezioni del corpo, e si utilizza DensePose per fornire una mappatura dettagliata del corpo della persona.
Poi, la DensePose del capo viene prevista usando l'immagine del capo. Una volta che abbiamo queste informazioni, possono essere usate per deformare l'immagine del capo sulla posa della persona. La deformazione viene eseguita usando una tecnica di mapping UV che assicura una corrispondenza accurata tra il capo e il corpo della persona.
L'ultimo passaggio coinvolge la fusione del capo deformato con l'immagine della persona per creare un'immagine di prova realistica. Questa fusione avviene con tecniche che aiutano a mantenere i dettagli del capo mentre si adatta perfettamente alla persona.
Vantaggi del Nuovo Approccio
Uno dei maggiori vantaggi di questo nuovo metodo è la sua capacità di gestire pose difficili. Poiché impara da un'ampia gamma di mappature corporee, si comporta meglio in diverse condizioni rispetto ai metodi precedenti.
Inoltre, questo approccio non richiede un ampio numero di dati etichettati, rendendolo più facile da implementare e scalare. Con meno dipendenza da dati di addestramento che coprono tutte le possibili pose, il metodo è più adattabile alle applicazioni nel mondo reale.
Tecnologie Correlate
I sistemi di prova virtuale sono presenti da un po', solitamente basandosi su due tecniche principali: Thin Plate Spline (TPS) e appearance flow. I metodi TPS funzionano stimando come il capo dovrebbe deformarsi in base al corpo della persona, mentre i metodi di appearance flow guardano come ogni pixel nell'immagine del capo dovrebbe essere spostato. Anche se questi metodi hanno i loro punti di forza, spesso non funzionano bene di fronte a pose impegnative, portando a risultati deludenti.
Al contrario, il nuovo metodo DensePose del capo si basa su una comprensione più sofisticata delle forme del corpo e delle texture dei capi. Concentrandosi su come i vestiti si adattano al corpo, consente un'esperienza di prova virtuale più affidabile e realistica.
Applicazioni Pratiche
Le implicazioni di questa tecnologia sono significative. Per i rivenditori, offrire un'opzione di prova virtuale può aumentare l'engagement dei clienti e potenziare le vendite online. Minimizza l'incertezza che spesso accompagna l'acquisto di vestiti online, portando a maggiore soddisfazione del cliente.
Per i consumatori, significa un'esperienza di shopping più piacevole. Essere in grado di visualizzare come un outfit apparirà sulla loro forma e postura unica può aiutare a prendere decisioni di acquisto migliori.
Limitazioni
Nonostante i suoi vantaggi, questo nuovo metodo ha alcune limitazioni. La qualità dei risultati è ancora influenzata dall'accuratezza delle previsioni iniziali della DensePose. Se le caratteristiche della persona non vengono rilevate bene, può portare a errori nell'immagine finale della prova virtuale.
In aggiunta, mentre il metodo gestisce bene una varietà di pose, potrebbe comunque fare fatica con motivi molto complessi nei capi, come righe e quadretti.
Feedback degli Utenti
Per valutare l'efficacia di questo metodo di prova virtuale, sono stati condotti studi sugli utenti in cui i partecipanti hanno valutato diversi sistemi di prova virtuale. I risultati hanno mostrato che questo metodo ha avuto buone prestazioni rispetto ad altri, offrendo un'esperienza user-friendly.
Gli utenti hanno apprezzato la miglior capacità di visualizzare come i vestiti avrebbero potuto apparire sui loro corpi. Anche se ci sono state alcune piccole discrepanze nella qualità della texture rispetto ad altri sistemi avanzati, le preferenze complessive pendevano verso questo nuovo approccio.
Conclusione
L'introduzione della DensePose dei capi nella tecnologia di prova virtuale rappresenta un significativo passo avanti. Migliora la capacità di adattare i capi a varie pose in modo accurato, mentre minimizza il bisogno di un'ampia quantità di dati di addestramento. Con l'e-commerce che continua a evolversi, tecnologie del genere giocheranno un ruolo essenziale nel plasmare il futuro dello shopping online, creando un ponte senza soluzione di continuità tra consumatori e rivenditori.
Man mano che i metodi migliorano e si conducono ulteriori ricerche, l'obiettivo è rendere le esperienze di prova virtuale ancora più realistiche e affidabili, trasformando infine il modo in cui le persone comprano vestiti online.
Titolo: Learning Garment DensePose for Robust Warping in Virtual Try-On
Estratto: Virtual try-on, i.e making people virtually try new garments, is an active research area in computer vision with great commercial applications. Current virtual try-on methods usually work in a two-stage pipeline. First, the garment image is warped on the person's pose using a flow estimation network. Then in the second stage, the warped garment is fused with the person image to render a new try-on image. Unfortunately, such methods are heavily dependent on the quality of the garment warping which often fails when dealing with hard poses (e.g., a person lifting or crossing arms). In this work, we propose a robust warping method for virtual try-on based on a learned garment DensePose which has a direct correspondence with the person's DensePose. Due to the lack of annotated data, we show how to leverage an off-the-shelf person DensePose model and a pretrained flow model to learn the garment DensePose in a weakly supervised manner. The garment DensePose allows a robust warping to any person's pose without any additional computation. Our method achieves the state-of-the-art equivalent on virtual try-on benchmarks and shows warping robustness on in-the-wild person images with hard poses, making it more suited for real-world virtual try-on applications.
Autori: Aiyu Cui, Sen He, Tao Xiang, Antoine Toisoul
Ultimo aggiornamento: 2023-03-30 00:00:00
Lingua: English
URL di origine: https://arxiv.org/abs/2303.17688
Fonte PDF: https://arxiv.org/pdf/2303.17688
Licenza: https://creativecommons.org/licenses/by/4.0/
Modifiche: Questa sintesi è stata creata con l'assistenza di AI e potrebbe presentare delle imprecisioni. Per informazioni accurate, consultare i documenti originali collegati qui.
Si ringrazia arxiv per l'utilizzo della sua interoperabilità ad accesso aperto.