3D衣服フィッティング技術の進化

オンラインショッピングやバーチャル体験の世界では、実際に服を着ずに試着するためのより良い方法を常に探しています。デジタル版の自分が異なるアウトフィットをどう見えるかを見ることができると想像してみてください。ここで、3Dガーメントリターゲティングのアイデアが登場します。これは、衣服をさまざまな形状やポーズの3D人間モデルにフィットさせることを可能にします。

従来、ガーメントリターゲティングに使われるほとんどの方法は、あらかじめ定義された特定のタイプの服モデルに焦点を当てていました。これらの方法は、実際の服がこれらのカテゴリーにきれいにはまらない場合に苦労することが多かったです。我々の目標は、先進技術を通じて、より幅広い服のスタイルやデザインを実験する方法を見つけることです。

#課題

ガーメントリターゲティングの主な課題の一つは、人間の体型やポーズの多様性です。本物の人はさまざまな形やサイズがあり、ポーズも大きく変わります。これにより、服を正確にフィットさせるのが難しくなります。3Dモデルに服を着せる際には、衣服が体に自然に沿っていること、体を貫通したり浮いたりしないようにする必要があります。

現在の方法のもう一つの問題は、主にデジタルで作成された衣服を扱っているため、実際の衣服を含むのが難しいということです。ここでの目標は、デジタルとリアルな服の両方に対応するシステムを作ることです。

#我々の解決策

これらの課題に対処するために、自己教師あり学習に焦点を当てた新しい方法を開発しました。これは、システムが処理するデータから多くの手動入力を必要とせずに学習できることを意味します。アイデアは、ソフトウェアがさまざまな体に服を最適にフィットさせる方法を自動的に見つけられる、より適応可能で柔軟なプロセスを作ることです。

#イソマップ埋め込みの使用

我々は、衣服を異なる体型やポーズに合わせるのを助けるためにイソマップ埋め込みという概念を導入しました。これは、衣服と体モデルのポイントをつなぐ地図を作成するようなものです。この地図は、衣服が他の人の体型にどのようにフィットするかを理解するのに役立ちます。

このアプローチにより、衣服の各部分が人間モデルのどこに行くべきかをざっくりと推定することができます。マッピングプロセスを通じてこれらのポイントを確立したら、自己教師ありトレーニング方法を使用してフィットをさらに改善できます。

#フィット感の調整

最初の地図を使用して衣服を体モデルに合わせた後、調整プロセスを開始します。これは、衣服が正しく見えるように調整を行うことを含みます。形状を維持し、引き伸ばしたり破れたりしないようにする必要があります。

我々は、衣服の各ポイントがどこにあるべきかを予測するネットワークを使用します。元の衣服の形状とそれがフィットする体を考慮に入れています。このステップは、リアルな表現を作成するために重要です。

#ディテールの保持

フィット感を調整する際、襟、ポケット、柄など、各衣服のユニークなディテールも考慮します。衣服がうまくフィットするだけでは不十分で、見た目も良くなければなりません。これらのディテールを保持するために、元の特徴を最終出力に統合する方法を使用します。これにより、衣服がリアルに見えるようになります。

#我々のデータセット

我々の方法を正しくトレーニングし評価するために、さまざまな体型にユニークな衣服を含むリアルなデータセットが不足していることに気付きました。そこで、自分たちのデータセットを集めました。このデータセットは、さまざまなポーズでキャプチャされた多くの異なる衣服で構成されています。このコレクションは、実際のシナリオに対して我々の方法をテストするのに非常に価値があります。

#結果と評価

我々の方法がどれだけ効果的かを見るためにいくつかのテストを行いました。衣服のフィットの効果は、さまざまな指標を使用して測定されました。これらの指標は、衣服が体型にどれだけ正確に整列しているか、ディテールがどれだけ保持されているか、体に不適切に重なっているかを確認するのに役立ちます。

#達成事項

我々の結果は、リアルな衣服を異なる3D体モデルにうまくフィットさせることができることを示しています。たとえ我々のシステムが主に合成データでトレーニングされていても、リアルな衣服にうまく一般化し、さまざまなスタイルや形状に適応する能力を示しています。これにより、ファッションのeコマースやバーチャル試着室の実用的な応用の扉が開かれます。

#実世界での応用

我々のフレームワークの潜在的な応用は広範囲にわたります。以下はそのいくつかの例です：

#バーチャル試着

オンラインショッピングは大幅に改善できます。顧客は、バーチャル環境で自分にどのように服が見えるかを見ることができます。これにより、返品が減り、より没入型のショッピング体験を提供できます。

#サイズフィッティングソリューション

我々の方法は、さまざまなサイズの服のフィッティングにも対応できます。衣服が異なる体の寸法に適応できるようにし、ブランドがより広い観客に対応しやすくなります。

#レイヤードクローシング

もう一つのエキサイティングな応用は、衣服を重ね着できる能力です。我々の技術は、ジャケットをシャツの上にフィットさせるようなスタイルを展示するために重要な、衣服が他の衣服の上にフィットすることを可能にします。

#トレーニング用の2Dデータセットの生成

我々のフレームワークは、説得力のある3Dモデルを生成できるため、3Dデータから高品質の2D表現を作成するために利用することができます。これにより、バーチャル試着技術のさらなる進展に使用できる広範なデータセットが作成される可能性があります。

#制限と今後の作業

我々は進展に満足していますが、改善できる点はまだあります。我々の方法の一つの制限は、現在のところモデルから既存の衣服を取り除くことを考慮していないことです。これは、体自体の追加モデルが必要になる可能性があるため、課題を提示します。

さらに、我々は、ドレスやケープのようなゆったりとした衣服をより適切に扱えるようにモデルを改善する計画です。これらのタイプは、その性質と体との相互作用により、洗練された取り扱いが必要です。

#結論

まとめると、我々の研究は、さまざまな3D体モデルにリアルな衣服をフィットさせるための新しい方法の開発につながりました。自己教師あり学習と革新的なマッピング技術を利用することで、さまざまな衣服や体型に適応できる多用途なフレームワークを作成できます。未来は、バーチャル試着技術のさらなる発展とファッション業界内での応用の拡大に向けて、エキサイティングな可能性を秘めています。