AIを使った拡張現実のコンテンツ生成

拡張現実（AR）は、リアルな世界とデジタルコンテンツをつなげるよ。周りの物にデジタル要素を加えて、見えるものを増やす感じ。ARは色んな方法で体験できて、プロジェクターを使って表面に画像を表示したり、頭に装着するディスプレイを使ったり、スマホみたいな携帯デバイスでも見られる。それぞれの表示方法には、作業によってメリット・デメリットがあるんだ。

今のところ、ARのコンテンツ作成、つまり画像やテキストは主に人の手を必要とするんだ。多くの人がUnityみたいなツールを使って3Dモデリングやアニメーションのスクリプトを書いてる。ただ、人工知能（AI）の進化で、自動的にこういったコンテンツを生成できるソフトウェアが出てきた。このAI生成コンテンツ（AIGC）の増加は、ARの設定での新しいチャンスをもたらしてる。

この論文では、AIを使って視覚的かつテキストコンテンツを自動生成しながらARをデザインする方法を探ってるんだ。「GenerativeAIR」っていうプロトタイプシステムを作った研究を紹介するよ。このシステムは、AIGCと様々なAR表示方法を組み合わせてる。フォーカスグループディスカッションを行って、AIGCとARを組み合わせるデザインの考慮事項や可能性を見つけたんだ。

#ARとAIの理解

ARは、物理的な世界とデジタルの領域をつなぐ手段だよ。ユーザーが完全に仮想空間に没入するバーチャルリアリティ（VR）とは違って、ARは既にあるものを強化する感じ。主に3つの表示方法がある：

• 空間拡張現実（SAR）：現実の表面に光を当てて、デジタル要素を環境と混ぜて見せる方法。
• ヘッドマウントディスプレイ（HMD）：これを身につけて、目の前にデジタル情報を表示するやつ。
• ハンドヘルディスプレイ（HHD）：スマホやタブレットを使ってARコンテンツを見る方法。

それぞれの方法には利点と課題があるんだ。例えば、SARはブレンドされた体験を作るけど、近くにいる人が表示されたものを見ることができるからプライバシーの問題もある。

通常、ARコンテンツを作るには人の手が必要なんだけど、今はAIがこの役割を担って、自動的にコンテンツを生成できるようになったおかげで、機械と人間の創造性の境界があいまいになってきてる。GPT-3みたいなツールはテキストを作り、Stable Diffusionは素早く画像を生成できるんだ。

AIGCとARを組み合わせる可能性はあるけど、特に他の分野のAIに比べてデザイン面にはあまり注目が集まってない。この論文では、AIGCをARシステムに効果的に統合する方法を論じて、そこにギャップを埋めることを目指してるんだ。

#プロトタイプ開発

まず、「GenerativeAIR」っていうプロトタイプを作った。これは生成AIとARディスプレイをつなげるシステムだよ。ソフトウェアは2つのマルチモーダル生成AIモデルを利用して、ハードウェアには3つの異なるAR表示がある。音声入力に注目して、自然にシステムとやり取りできるようにしたんだ。

使い方はこんな感じ：

1. ユーザーがマイクに話しかけると、その音声がテキストに変換される。
2. このテキストがAIモデルに送られて、対応する画像や追加のテキストが生成される。
3. 生成されたコンテンツが様々なARデバイスに表示される。

プロトタイプでは、SAR用のSamsung Freestyleプロジェクター、HMD用のHoloLens 2、HHD用のOnePlus 10 Proを使用したよ。

直感的で情報豊かなシステムを作りたくて、ほとんどの人がスマホを持ってるから音声入力を選んだ。システムはGoogleの音声認識APIを使ってて、AIモデルは各デバイスではなくクラウドから動作するから、コンテンツ生成にはちょっとした遅延があるんだ。

#フォーカスグループメソッド

フィードバックを集めるためにフォーカスグループで参加者にインタビューしたよ。各グループセッションは約80分で、研究者やデザイン・テクノロジーの専門家など、様々なバックグラウンドを持つ10人が参加した。参加者はAIやARにかなりの経験があったんだ。

議論は主に2つの質問に集中した：

1. AIGC + ARと関連技術を比較する際に考慮すべき重要な機能は？
2. AIGCとARシステムを構築する際に開発者が考慮すべきことは？

インタビューの間、参加者はGenerativeAIRプロトタイプと自由にやり取りしながら、自分の考えや経験を共有したよ。

#発見と議論

#システム機能の重要性

参加者は、他の技術と比較した場合のAIGCとARの組み合わせの強みと弱みについてはっきりした意見を持ってた。

表示性能については、大半の人がARは一般的に従来のスクリーンより優れてると考えたけど、いくつかの参加者はARは通常高コストで、質が劣ることがあるとも指摘した。例えば、ポケモンGOを楽しんでいた参加者は、デジタルクリーチャーが環境にうまく溶け込まないことがあるって言ってた。

コンテンツ生成については、全員が生成AIがスピードと複雑さの点で人間より優れてることに同意した。多くの人が生成AIがプログラミングやクリエイティブなメディアの作成を楽にしてくれることを認識してた。ただ、AI生成コンテンツの精度に関しては意見が分かれた。結果が素晴らしいと思う人もいれば、機械生成のコンテンツは期待に応えないことがあると感じる人もいたよ。

#重要なデザイン考慮事項

参加者はAIGC + ARシステムの開発にはいくつかのアイデアを共有して、特定の表示形式を特定した。例えば、モバイルデバイスは固定されたディスプレイと比べて、より多様でアクセスしやすいと見なされてた。ただ、ハンドヘルドデバイスにはユーザーが移動中の際、テキストや画像のサイズに関する課題があることも指摘された。

プライバシーも重要な懸念事項として挙げられた。参加者は、コンテンツの可視性を状況やユーザーの許可に応じて調整できるシステムを望んでた。これを認識できるインテリジェントなシステムの必要性が強調されたよ。

さらに、2Dと3Dコンテンツの違いも指摘された。多くは3Dビジュアルが深みと没入感を加えると感じたが、動き酔いを感じる人もいて、2D表現の方が好まれることもあった。

#デザイン空間の探索

フィードバックを3つのデザインカテゴリにまとめたよ：ユーザー、機能、環境。これらはインタラクティブなシステムで考慮すべき重要な側面を表してる。

#ユーザー-機能デザイン

システムは、様々なニーズを満たすために異なる機能を提供するべきだ。これには、ユーザーの行動を認識して役立つ視覚サポートを提供したり、個人データを使ってパーソナライズされたライフログの可視化を生成したりすることが含まれるよ。

#ユーザー-環境デザイン

環境からのフィードバックは、システムがコンテンツをどのように提示するかに重要な役割を果たす。屋内や屋外のシーンの違いを考慮して、ユーザー体験を向上させる必要があるんだ。

#ユーザー-ユーザーデザイン

デザインは、プレゼンテーションのためにARを使う人と観察する人のニーズの違いを考慮すべきなんだ。例えば、プレゼンテーションをする人は機能性やプライバシーを重視するかもしれないし、観察する人は没入感や理解のしやすさを求めるかもしれない。

#可能なアプリケーション

GenerativeAIRにはいくつかの有望なアプリケーションがある：

• ユーザーがデジタルコンテンツとインタラクションできるリアルタイムのクリエイティブメディア生成。
• キャプチャされた瞬間についてのコンテキスト情報を提供するライフログ体験の向上。
• コンテンツの可視性がユーザーの許可に基づいて制御されるマルチユーザーコラボレーション。

#制限と今後の作業

この研究は新しい可能性への扉を開くけど、プロトタイプには制限があるんだ。今のところ、2D画像しか生成できないんだ。将来的には3Dコンテンツ生成の能力を加えたり、リアルタイムインタラクションを改善したりすることが考えられるよ。

プライバシーと許可処理も、多人数の設定で特に協働環境において、共有コンテンツが個人情報をリスクにさらす可能性があるから、対処が必要だよ。

AIGC + ARの探索は、AI技術をARディスプレイに統合する意義ある方向性を示して、ユーザー体験を向上させる新しいアプリケーションの道を切り開くものであることを強調してるんだ。