目標指向型インタラクティブエージェントの評価

目標指向型インタラクティブエージェントは、環境とやり取りしてタスクを完了するように設計されたコンピュータプログラムだよ。日常生活のいろんな場面で人を手助けできるんだ。最近は、大規模言語モデル（LLM）の進展によって、これらのエージェントのパフォーマンスを評価するための新しい、より挑戦的なタスクが作られるようになった。これらのタスクがどのように異なるのかを理解するためには、彼らが直面する課題を特定することが重要だ。この調査では、これらのエージェントを評価するためのさまざまなタスクや環境を集めて、現在の困難さを浮き彫りにするように整理しているよ。

エージェントのタスクの例は、幅広い指示、状況、可能なアクションを示している。最近のLLMとツールの使用に関する研究は、人々がコンピュータとどのようにやり取りするかを変えている。以前は、ユーザーはコンピュータに特定のコマンドを一度に1つずつ与える必要があった。しかし今は、コンピュータがより高次の指示を受け取って、それを自動的に実行できるアクションに分解できるようにすることが目標なんだ。LLMの推論の仕方や問題を分解する方法、どのツールやアクションを使うかを決定する方法を改善することで、これらのタスクを解決できるエージェントが急速に発展している。

同時に、これらのエージェントを評価するためのタスクを作成する研究も進んでいる。これらのタスクには、メールのやり取りを管理したり、複雑な質問に答えたり、オンラインショッピングをしたり、実生活の状況でタスクを完了したりすることが含まれる。タスクの多様性と難しさが増すことで、エージェントができることとできないことが明確になり、それがより能力の高いエージェントの設計を刺激するんだ。

でも、これらのタスクを追跡したり、実験結果を解釈したり、それぞれのタスクが持つユニークな課題を理解するのが難しくなってきている。この調査は、目標指向型インタラクティブエージェントの現在のタスクについての明確な概要を提供することを目的としているし、これらのタスクのためのエージェント設計に関する既存の研究を補完するものだよ。また、タスク開発者が貢献できるウェブサイトでこの調査を更新する予定だよ。

タスクはさまざまな要因に基づいてグループ化されている。シミュレーションされた物理空間、ウェブサイト、データベースなど、異なる環境はアクションスペースがかなり異なることがあるよ。例えば、アクションは物理空間内を移動したり、マウスやキーボードを使ったり、ウェブページ上の要素を選んだり、SQLでコマンドを入力したりすることがあるんだ。

タスクはまた、環境がどれだけ観察可能か、報酬の構造、評価指標によっても異なる。これらの要因は、エージェントの設計方法に大きく影響するから、この調査は将来のエージェント開発に役立つことを目的としているよ。

この調査の範囲を定義するために、目標指向型インタラクティブエージェントのためのタスクに焦点を当てている。「目標指向」というのは、エージェントが自然言語のコマンドや質問のような特定の指示を受け取り、それから目標条件を導き出すことを意味するんだ。例えば、チェスでの「王をチェックメイトする」という指示は明確な目標を与えるけど、「ゲームに勝つ」はあいまいなんだ。だから、報酬関数だけで目標を定義するタスクは含めないよ。

私たちは、エージェントが目標を一連のアクションに翻訳することを要求される挑戦的なタスクに重点を置いているんだ。さらに、人間の入力を必要とせずに単独の自律エージェントによって解決可能なタスクに焦点を絞っているけど、人間との相互作用や複数のエージェントの協力を含むタスクについても話すつもりだよ。

LLMベースのエージェントに関するいくつかの調査がすでに存在していて、単一エージェントモデルの構造、アプリケーション、メモリコンポーネントに焦点を当てた詳細な概要を提供しているんだ。他の調査はマルチモーダル基盤モデルや、ゲームでよく見られるマルチエージェントの相互作用をカバーしている。これらの以前の研究は主にモデリングや一般的なアプリケーションを見ているけど、私たちの調査はエージェントのための特定のタスクや環境に焦点を当てているよ。

これからのセクションでは、さまざまな特性を示すエージェントタスクのセットを紹介するよ。調査対象となった作品の完全なリストは、私たちのプロジェクトウェブサイトで見ることができるよ。

#エージェントタスクの例

いろんなエージェントタスクを紹介して、異なるタスクの特性を示すよ。完全なリストはプロジェクトウェブサイトで確認してね。

#シミュレーションにおけるナビゲーションとオブジェクト操作

一つのタスクグループは、エージェントがシミュレーション環境内で物理アイテムをナビゲートしてやり取りすることに関係している。これらのシミュレーションは、視覚的またはテキスト的に説明できるよ。一つのタスクタイプは、エージェントが指定された空間的関係において物体を形や色によって並べる必要がある。別のタスクは、アイテムを収集するためにグリッドをナビゲートすることに焦点を当てている。

いくつかのタスクでは、エージェントはMinecraftのようなブロックベースのゲーム環境で操作し、リソースを集めたり、アイテムを作ったり、構造物を構築したりすることができる。他のタスクはAI2-Thorのようなフォトリアリスティックな環境で行われ、エージェントは果物を洗うなどの一般的な家事を完了する。いくつかのタスクは、部屋や物体に関する質問に答えるために環境をナビゲートすることを要求するよ。

#テキストベースの世界

テキストベースの環境では、エージェントは書かれた説明に基づいてアクションを実行する。あるタスクは、環境がテキストで説明される伝統的なゲームを模倣する。別のタスクは、さまざまなプロセスの現実的なシミュレーション内で科学実験を行うためにエージェントに要求する。クラシックなテキストゲームに基づくタスクのいくつかは、エージェントが明示的な目標指定なしでオプションを探ることを許可するよ。

#デジタルアシスタンスタスク

エージェントはデジタル環境でも機能し、旅行の予約、メールの送信、データ分析、画像編集など、日常的なタスクでユーザーを手助けするよ。最近のタスクは、新しい化学物質を発見したり、ソフトウェアの問題を修正したりするような専門的な分野に焦点を当てている。

#ツールやAPIとの相互作用

別のタスクのタイプは、エージェントがアプリケーションプログラミングインターフェース（API）を介してソフトウェアを使用して問題を解決することだ。ここでは、アクションスペースは有効なツールの呼び出しと一致する。例えば、エージェントはWikipediaで検索を行ったり、Pythonコードインタープリターを使って数値計算を実行したりできるよ。

#グラフィカルユーザーインターフェース（GUI）との相互作用

デジタルアシスタントは、一般的なユーザー向けに設計されたグラフィカルユーザーインターフェースと直接相互作用できる。アクションには、クリックしたりテキストを入力したりすることが含まれ、観察はGUIの現在の状態（スクリーンショットなど）に対応する。いくつかのタスクは、エージェントがHTML表現に基づいてウェブサイトをナビゲートすることを要求し、他のタスクはモバイルアプリやデスクトップアプリケーションに焦点を当てる。

#コードインタープリターとの相互作用

エージェントはまた、プログラムを実行するためにコードインタープリターに関与することができる。アクションスペースはプログラミング言語の有効なステートメントで構成され、外部ライブラリとの相互作用も含まれる。いくつかのタスクでは、エージェントがPythonインタープリターを介してGUIをナビゲートしたり、データベースクエリを管理したりする必要があるよ。

#タスクの構造化

エージェントのパフォーマンスを評価するための複雑なタスクの異なる特性を詳しく説明し、比較するよ。これらの特性を理解することで、エージェントが直面する難しさを特定できる。

#タスクの形式化

エージェントの目標は、特定の環境でターゲットを達成するための一連のアクションを決定することだ。エージェントは離散的な時間ステップで動作し、アクションを取り、環境に対する影響を観察する。タスクインスタンスは、始まりの状態と目標仕様を含む意思決定問題の一種だと定義するよ。エージェントは選択肢となるアクションのセットを持ち、特定の条件を満たしながら一つの状態から別の状態へ遷移することが目標なんだ。

#目標仕様

目標仕様は、タスクが完了したときにエージェントに通知する。これは、目標状態がどのようであるべきかの直接的な説明から、エージェントが解釈しなければならないあいまいな指示まで、さまざまな形を取ることができる。あいまいな仕様のタスクは、エージェントが進むためにもっと多くの情報を集める必要があるため、難しくなる傾向があるよ。

#目標の種類

タスクは、達成すべき目標の種類によって異なる：環境内の特定の状態に到達するか、質問に答えるかのどちらか。特定の状態に到達することが目標だと、エージェントが特定の基準を満たしたかどうかで評価されることができる。一方、質問に答えることが目標だと、エージェントは文脈の理解に基づいて最終的な回答を提供することを決定しなければならない。

#停止基準

多くのタスクでは、エージェントが目標を達成したことを示す特定のアクションを実行する必要がある。一部の環境では、自動的に目標が達成されたことを認識して、エージェントにとってプロセスが簡素化されるんだ。

#世界と知識状態

一部のタスクでは、エージェントが環境を変更して目標条件を満たす必要がある一方で、他のタスクは情報を取得したり変換したりすることに焦点を当てて、変更を加えることなく行う。これは重要な違いで、エージェントに必要な推論のタイプを反映しているよ。

#アクションスペース

タスクのアクションスペースは、エージェントが任意の時点で取ることができるアクションの数によって単純だったり複雑だったりする。一部のタスクは、小さなアクションスペースを扱う必要がある一方で、他のタスクは、利用可能な語彙や入力タイプに応じて組み合わさった複雑なスペースを扱うことになる。

#状態の観察可能性

状態が完全に観察可能であるとは、エージェントがすべての関連情報を完璧に見ることができることを指す。一方で、いくつかのシナリオでは、エージェントが追加の情報を得るためにアクションを実行する必要がある。実際の状況では完全な観察可能性はまれで、通常は簡略化されたタスクにのみ存在するよ。

#アクション実行効果の観察

エージェントがアクションを取ると、環境の状態に対する影響を観察しなければならない。エージェントは、アクションによって何が変わったのかを知らせるフィードバックを受け取り、今後の決定を導くんだ。

#不適切なアクションに対するフィードバックの観察

時には、エージェントが現在の状態によって実行できないアクションを取ることもある。そのようなアクションに対するフィードバックを理解することは、改善にとって重要なんだ。

#中間報酬の観察

いくつかのタスクは、各ステップでフィードバックを与えることで、エージェントが目標に向かって進んでいるかどうかを知ることを可能にする。このフィードバックは、手動で設定されることもあれば、メトリクスに基づいて自動的に生成されることもあるよ。

#タスク評価

タスクを評価することで、エージェントが指定された目標を成功裏に完了したかどうかが判断される。今回の調査の大部分のタスクは、成功を評価するために客観的に測定可能な条件を定義しており、達成された状態と参照状態や答えを比較することができる。

#最終答案の参照ベースの評価

多くの質問応答タスクは、予測された答えと正しい答えを比較し、正確な一致やあいまいな一致のような方法を用いる。創造的なタスクでは、答えが大きく異なる可能性があるため、参照ベースの評価はより難しくなるんだ。

#最終状態の参照ベースの評価

目標状態を定義するタスクは、エージェントの最終状態を指定された目標と比較することで評価できる。この評価は、部分的な完了や制約が満たされる程度を考慮することができるよ。

#参照なしの評価

参照なしの評価方法は、あらかじめ設定された正しい答えに依存しない。その代わりに、人間の評価者や他のモデルが生成された出力の質を比較する。LLMの信頼性は、この文脈でまだ検討中なんだ。

#環境の一般的な特性

タスクの難しさを示す指標は、より挑戦的なタスクを作成する方法を理解するために重要だ。必要なアクションシーケンスの長さやアクションスペースのサイズなど、さまざまなメトリクスがタスクの複雑さの指標として機能することができるよ。

#ドメインの特異性

タスクは、必要な知識の親しみやすさや一般性に応じて異なることがある。あるタスクは、一般的なデータで訓練されたエージェントが持っていないかもしれない専門的な知識を要求する場合があり、そうしたタスクは難しくなることがあるんだ。

#データの利用可能性

データの利用可能性は、エージェントの学習方法に影響を与える。あるタスクは、インタラクティブな環境を含む包括的なデータセットを必要とするかもしれないけど、他のタスクはタスク完了に至るアクションのシーケンスだけを提供することになる。

#タスク生成

多くのタスクは、アクションスペースを設計してインスタンスを手動で作成することで形成される。一部のデータセットは、特定の要件に基づいて自動的に新しい解決可能なタスクを生成する問題生成器を提供しているよ。

#ディスカッションと今後の方向性

この調査は、目標指向型インタラクティブエージェントを評価するための既存のタスクを概説している。 この分野の急速な進展は期待できるし、タスクの多様性は、エージェントが日常生活にますます統合されることを示唆しているよ。いくつかの重要な領域は、単に複雑性を増すだけでなく、エージェント技術を進展させるために重要なんだ。

#エージェントとユーザーの相互作用を可能にする

ここで議論したタスクは、通常、初期ユーザーの目標だけを含んでいて、継続的な相互作用はない。しかし、実際のタスクでは、ユーザーのフィードバックや調整が必要な場合がある。目標指向型エージェントとユーザーの相互作用を組み合わせることで、機能性が向上するかもしれないよ。

#エージェントの行動のターゲット評価

エージェントの行動を理解することは、パフォーマンスを向上させるために重要だ。パフォーマンスの特定の側面を特定し、それらを研究するための形式的なフレームワークを確立することで、エージェントの限界や能力に関する洞察を得ることができるはずだよ。

#環境の標準化

タスクの開発が進むにつれて、既存のベンチマークの限界に対処することが重要だ。これには、評価方法の一貫性を確保し、時間の経過とともに変わる可能性のある外部ツールへの依存を最小限に抑えることが含まれるよ。

要するに、目標指向型インタラクティブエージェントのためのタスクの風景が進化するにつれて、これらのタスクを理解し評価するための構造化されたアプローチが、このエキサイティングな分野の進展にとって不可欠になるんだ。