XRにおける自由形状モデリングの進展

コンピュータグラフィックスにおける形状モデリングは長い間存在してきた。デザイン、アニメーション、建築、エンターテインメントなど、多くの分野で重要だ。バーチャルリアリティ（VR）や拡張リアリティ（AR）の登場で、ユーザーがリアルタイムで3D形状を作成・操作できる新しいツールやアプリが現れた。これは、バーチャルとリアルの世界を組み合わせた環境、すなわち拡張現実（XR）に特に役立つ。XRは、より直感的でアクセスしやすい形状モデリングを可能にする。

人工知能（AI）の導入が、3Dモデルの作成や修正方法を変え始めている。AIはテキストプロンプトから形状情報を生成でき、アーティストにとって大きな変化だ。インタラクティブな3D形状モデリングに関する多くの研究が行われているが、インタラクティブなXR環境においてそれが何を意味するのかに焦点を当てた最近のレビューはあまりない。この論文は、自由形式の形状モデリング、特に彫刻や3Dスケッチに焦点を当て、そこにあるギャップを埋めることを目指している。

既存の研究を5つの重要なポイントに基づいて分類・議論する：記事の貢献、設定、使用されるツール、自動形状補完方法、デザイナー同士の協力方法。最後に、インタラクティブな彫刻とスケッチの間のギャップについて話し、将来的にAIツールが増えることでどのように変わると考えているかをお話しする。

#拡張現実（XR）とは？

拡張現実（XR）は、AR、VR、MRなどのさまざまな没入型技術を含む。これらの技術は、リアルな世界をデジタル要素で強化したりシミュレーションしたりするもので、現実の世界にバーチャルアイテムを重ねたり、完全にバーチャルな体験を作り出したりする。

ARでは、ユーザーはARメガネやモバイル画面を通じて、リアルな環境の中にバーチャルなオブジェクトを見ることができる。VRでは、ユーザーはVRヘッドセットを装着して、コンピュータ生成の世界に完全に没入できる。混合現実では、デジタルとリアルなアイテムが共存・相互作用し、リアルタイムで両方の世界を融合させる。

#形状モデリング

形状モデリングはコンピュータグラフィックスの重要な領域で、さまざまな方法がある。一般的な方法の一つは3D形状再構築で、ユーザーは1つ以上の画像から3Dモデルを構築する。もう一つの方法は統計的形状モデリングで、作成されたモデルが既存の形状に似ているものだ。

この論文は、アーティスティックな表現に重きを置いた自由形式の形状モデリングに焦点を当てている。ユーザーは形状を彫刻したり成形したりして作り出す。過去15年間、自由形式の形状モデリングは進化し、特にVRやAR技術の使用が増えた。Leap Motion、Kinect、HTC Vive、Oculus Rift、Hololensなどのデバイスが、これらの環境での形状モデリングを改善している。

過去には、ユーザーは主に2D画面でモデルとインタラクションしていて、3D形状の投影しか見えなかった。今では、混合現実デバイスによって、ユーザーは任意の角度から3D形状を見たり操作したりでき、より豊かな体験が提供されている。レンダリングや視覚化技術の進歩も、生成する形状への明確な洞察を提供することで、より良い形状モデリングに貢献している。

#文献レビュー

多くの調査がスケッチベースのモデリングシステムを見ており、主に2Dおよび3Dスケッチのさまざまな技術に焦点を当てている。しかし、この論文では、より包括的な議論のために彫刻技術も含める。

#形状モデリング研究の歴史的概要

2009年に、スケッチベースのモデリングシステムに関する調査がスケッチの解釈を分類した。2016年の別の調査では、2Dおよび3Dにおけるさまざまなスケッチング方法が詳述された。最近では、2021年の研究がARおよびVR環境における共同作業に焦点を当てた。2022年の調査では、深層学習におけるフリーハンドスケッチの課題と可能性が検討された。

我々のレビューは、これらの先行研究からの洞察を結びつけて、自由形式の形状モデリングにおける彫刻技術とスケッチ技術のより広い理解を提供することを目指している。

#研究目的

このレビューは、混合現実における自由形式の形状モデリングに焦点を当てる。主な質問には以下が含まれる：

• XRで好まれるモデリング技術は何か？
• XRの3D形状モデリングで使用される研究方法は？
• 現在の研究にはどんなギャップがあるか？
• さまざまなモデリング技術に好まれるハードウェアは？

答えを見つけるために、2007年以降に発表された関連研究論文をいくつかのデータベースで検索した。「バーチャルスカルプティング」「3Dスケッチング」「混合現実」といったキーワードを使って、この研究のための情報を集めた。

#方法論

XRの自由形式の形状モデリングに関する文献を系統的にレビューした。記事を検索した後、選定基準に基づいてフィルタリングした。431件の論文が見つかり、その中で224件が初めは関連があり、167件が有用な研究を含んでいた。最終的に109件の論文を主要な情報源として選び、2007年以前の基盤的な研究もいくつか含めた。

#自由形式の形状モデリングの技術

自由形式の形状モデリングは、大きく2つの主な技術に分類できる：彫刻とスケッチ。

#彫刻

彫刻では、ユーザーは基本的な形状から始めて、それを彫ったり押したり引いたりして修正する。ユーザーは、手や特定のツールを使ってオブジェクトの形を整える。バーチャル彫刻には、形状を表現するアルゴリズムや、従来の道具と革新的な道具の両方を使ったさまざまなインタラクション方法がある。

デジタル彫刻の重要な進展は1991年にさかのぼり、プリミティブな形状がグリッド空間でモデル化された。より最近の技術は、物理デバイス、例えばグローブやハプティックフィードバックシステムを使って、彫刻体験を向上させる方向に進んでいる。バーチャルクレイシステムは物理クレイを模倣し、ユーザーが本物のクレイで作業するのと同様にバーチャルオブジェクトを形作ることを可能にしている。

#マルチレイヤー彫刻

いくつかの方法では、複数のレイヤーや形状を利用して、より複雑なモデルを作成する。例えば、ユーザーは2つのメッシュ形状を融合させたり、さまざまな材料でモデルを作成することができる。このマルチレイヤーアプローチは、デザインにおける詳細さと柔軟性を高める。

#3Dスケッチング

3Dスケッチングは他の人気の技術で、ユーザーは空間にストロークを描くことによって形状を作り出す。この方法は、ゼロから始めたり、既存の形状に新しい要素を追加したりすることができる。ユーザーのニーズに応じた多くのインタラクティブツールが利用可能だ。

3Dスケッチングに関する研究はかなり進化している。初期の方法は単純で、幾何学的な形状の描画に集中していた。今では、ユーザーはより複雑な形を作成でき、動きをキャプチャして3Dモデルに変換するツールなどを使用することが多い。

#スケッチからの3D形状生成

落書きや2Dの描画は、高度なアルゴリズムを通じて3D形状に変換できる。一部の研究者は、ユーザーのスケッチを取り込んで3Dオブジェクトに膨らませるシステムを開発した。他の方法では、ニューラルネットワークを使用して2Dの描画から直接3D表現を生成する。

#自由形式モデリングのためのインタラクションツール

モデリングに使用されるツールは、ユーザー体験に大きな役割を果たす。異なる技術は、ジェスチャーベースの方法、ペンツール、3Dコントローラーなど、異なるタイプのインタラクションツールを好む。

#ジェスチャーベースのツール

手のジェスチャーは、特に彫刻におけるインタラクションに頻繁に使用される。深度カメラはこれらのジェスチャーを正確にキャプチャでき、モデルとの自然なやりとりを可能にする。いくつかの方法では手の動きを追跡して、ユーザーがオブジェクトをより触覚的に形作ることを許可する。

#ペンベースのツール

スタイラスやペンを使用することは、彫刻やスケッチの両方で一般的な技術だ。これらのツールは正確なコントロールを提供し、従来の描画体験を模倣する。ペンツールは特にスケッチに人気で、ユーザーはタブレットや画面に直接描画できる。

#3Dコントローラー

バーチャル環境では、3Dコントローラーが一般的に使用される。これらのツールは、VRセッティングで特に機能するように設計されており、ユーザーが形状とより直感的にインタラクションできるようにする。モデル体験を向上させるためにカスタムコントローラーも開発されている。

#形状モデリングにおけるAIの役割

AIは形状モデリングでますます使用されており、主に2つのアプローチに分かれる：サジェスティブモデリングとAIベースの形状生成。

#サジェスティブモデリング

この技術は、AIを使ってユーザーが以前の行動に基づいて作成したいものを提案する。例えば、ユーザーが特定の目標を持っている場合、AIは過去の行動を分析して役立つ提案をする。この方法は、ユーザーが形状をより簡単に完成させる手助けとなり、モデリングプロセス中にミスを修正できる場合もある。

#AIベースの形状生成

新しいAIモデルはユーザーの入力に基づいて形状を生成できる。ユーザーがスケッチや画像を提供すると、AIはそれらの入力の3D表現を作成する。このプロセスでは、生成後の編集が可能な場合もあるが、多くの場合、ユーザーはモデルの具体的な仕様に対するコントロールが限られている。

#共同編集

形状モデリングのもう一つの焦点は共同編集で、複数のユーザーが同じモデルで同時に作業できる。このアプローチは、変更の追跡や複数の編集が行われる際の対立管理などの課題を伴う。

技術は、共同作業を効果的に処理するための方法を発展させてきた。例えば、異なるユーザーからの変更を統合し、対立を最小限に抑えるシステムが作られている。これらの革新は、モデリング作業のチームワークやプレゼンテーション面を改善することを目指している。

#現在のトレンドと今後の方向性

自由形式の形状モデリングは、XR体験をより手頃でアクセスしやすくする技術の進展により関心が高まっている。しかし、依然として多くの課題が残っている。

#研究トレンド

我々の研究では、3Dスケッチングがバーチャルスカルプティングよりも好まれることが多い。これは、スケッチングの直感的な性質によるもので、ユーザーがゼロから簡単に作成できるからだ。一方、彫刻は初心者にとって理解しにくい場合があるかもしれない。

#研究ギャップ

進展があるにも関わらず、現在の研究にはギャップがある。例えば、VRやMR技術は、ユーザーが実際の素材で作業するときに経験する物理的なフィードバックを完全に再現できていない。また、モデリング体験を妨げる遅延の問題もある。

AI形状モデリングは成長の可能性がある分野でもある。現在のアルゴリズムは、より迅速かつ高品質な出力を生み出すための開発が求められている。また、AI生成モデルの編集機能も改善が必要で、より多くのユーザーコントロールを可能にする必要がある。

#好まれるハードウェア

研究によれば、ユーザーは一般的に伝統的な描画体験に近いツールを好む。スケッチにはペンツールが好まれ、彫刻にはジェスチャーが一般的だ。今後の研究では、ユーザー体験を向上させるためのより良いフィードバックシステムに焦点を当てるべきだ。

#結論

このレビューでは、XRにおける自由形式の形状モデリングの現状を探った。使用される技術、ユーザーがこれらの形状とどのようにインタラクトするか、そしてAIの役割を見て、この進化する分野の包括的な概要を提供した。重要な課題と将来の研究の機会を特定し、拡張現実環境における自由形式の形状モデリング技術のさらなる進展を促すことを期待している。