タスクプランニングにおけるマルチモーダルファウンデーションモデルの評価

最近、マルチモーダル基盤モデル（MFM）と具現化された人工知能（EAI）を組み合わせることに対する関心が高まってる。この組み合わせは、さまざまな情報を理解し、それに基づいて現実の環境で行動するタスクをうまく処理できるシステムを作ることを目的としてる。この研究は、物体との物理的な相互作用が必要な計画タスクにおけるこれらのモデルのパフォーマンスを評価することに焦点を当ててる。

#評価フレームワーク

具現化されたタスク計画におけるMFMのパフォーマンスを評価するために、我々はオブジェクト理解、空間・時間知覚、タスク理解、具現化された推論という4つの主要な能力を中心にしたフレームワークを作った。これらの能力は、モデルが現実のタスクを効果的に実行するために欠かせない。

#オブジェクト理解

この能力は、さまざまなオブジェクトとその特性を認識することを含む。例えば、オブジェクトが開けるものか掴むものかを知ることは、タスクを計画する上で重要。モデルがオブジェクトを正しく特定できないと、安全に効果的にタスクを実行する際にミスが起こる可能性がある。

#空間・時間知覚

この能力は、環境内のオブジェクトの空間的および時間的な関係を理解することに関する。たとえば、モデルはオブジェクトの距離や、相互の関係、行動の順序を知る必要がある。これは、正しい順序でアクションを計画し、ミスを避けるために重要。

#タスク理解

この高次の能力は、タスクに関連するオブジェクトを認識し、操作を理解することを含む。モデルは、タスクを完了するために必要なステップと、それを実行するタイミングを知っていなきゃならない。タスク理解が悪いと、アクションの順序が間違ったりする計画ミスが起こる。

#具現化された推論

この能力は、前述のすべての能力を統合する。モデルは、オブジェクト、空間、時間、およびタスクの理解を使って、一貫した行動計画を作る必要がある。これを評価するには、モデルが与えられた説明に基づいてどれだけうまく通常のタスクや複雑なタスクを実行できるかを見る必要がある。

#ベンチマーク開発

具現化されたタスク計画におけるMFMのパフォーマンスを体系的に評価するために、MFE-ETPというベンチマークを作った。このベンチマークは、モデルをさまざまな方法で挑戦させるシナリオで構成されている。

#データ収集

我々は、家庭での典型的なタスクを選んでベンチマークを作った。これらのタスクは、さまざまな家庭活動をシミュレーションするBEHAVIOR-100とVirtualHomeの2つのプラットフォームから収集された。これらのソースから、20種類の異なるタスクを特定し、ベンチマークの多様性を確保した。

#ベンチマークの構造

ベンチマークは、モデルのさまざまな能力を評価するための6つの異なるタスク指示形式で構成されている：

1. オープンボキャブラリーQ&A：モデルがオブジェクトについての質問を特定して答える。
2. 単一選択Q&A：モデルが提供された選択肢から正しい答えを選ぶ。
3. 複数選択Q&A：モデルが1つ以上の正しい答えを持つ質問。
4. ソーティングQ&A：モデルが時間または空間的距離に基づいてビジュアルフレームを並べ替える。
5. はい/いいえQ&A：簡単な質問でタスクの目標が達成されたかどうかを判断する。
6. 計画Q&A：モデルが一般的な説明に基づいてタスクプランを作成する。

#評価プラットフォーム

我々は、ベンチマークに基づいてモデルを自動評価するためのプラットフォームを開発した。このプラットフォームは、複数のモデルを効率的にテストできるようにし、パフォーマンスの迅速な比較を可能にする。

#データ準備

プラットフォームは評価ケースのデータ形式を標準化する。各ケースは一律に整理されていて、モデルが情報を処理しやすくなってる。

#モデル展開

プラットフォームはさまざまなモデルの統合を容易にし、入力を受け取り、結果を一貫して返すことができる。これにより、新しいモデルを評価に簡単に含めることができる。

#メトリック計算

評価方法は、automatic evaluationとhuman evaluationの2つが使われる。シンプルなタスクには自動評価法が適用され、より複雑な計画タスクには人間の評価者による徹底的な評価が求められる。

#実験結果

我々は、ベンチマークを使用していくつかの有名なMFMを評価した。結果は、先進的なモデルでも具現化されたタスク計画において人間レベルのパフォーマンスに達するのが難しいことを示した。

#具現化Q&Aタスクの結果

評価は、オブジェクト理解、空間・時間知覚、タスク理解の3つの主要な能力に焦点を当てた。データは、一部のモデルがうまく機能した一方で、能力に顕著なギャップがあったことを強調している。

1. オブジェクト理解：モデルはオブジェクトのタイプと特性の認識において異なる成功を示した。最良のモデルは他よりも優れていたけど、まだ改善の余地が大きかった。

2. 空間・時間知覚：ほとんどのモデルは空間的関係やタスクの順序を理解するのに苦労していた。わずかに数モデルがこの領域で適切に実行できた。

3. タスク理解：これは一部のモデルにとって最も強い領域で、特にタスクに必要な操作や最終目標を理解するのが得意。しかし、関連するオブジェクトを特定することには弱点が残った。

#計画Q&Aタスクの結果

より複雑な計画Q&Aタスクは特に難しく、GPT-4Vのようなモデルは正確なタスクプランを作成するのに低い成功率を示した。データは、評価されたモデルのどれも満足のいく結果を達成できなかったことを示していて、しばしばうまく計画できなかった。

#結論

この研究は、具現化されたタスク計画におけるマルチモーダル基盤モデルを評価するための詳細なフレームワークとベンチマークを確立した。結果は、重要な進展があったものの、多くのモデルが現実のアプリケーションに必要なパフォーマンス基準に達していないことを示している。

#限界と今後の研究

この研究にはいくつかの限界がある。まず、データ収集において仮想環境の使用が結果の一般性に影響を与える可能性がある。次に、評価されたモデルの範囲を拡大することで、さまざまなアプローチの効果についてさらなる洞察が得られるかもしれない。

今後の研究は、過去の行動を修正したり、未来の行動を予測するようなタスクを含む追加の評価形式を探ることもできる。これらの進展は、モデルがさまざまなシナリオでどのようにより良く活用できるかを理解するのを助けるだろう。