コンピューター制御のためのインテリジェントエージェントの進化

大規模言語モデル（LLM）は、複雑なタスクを実行するためにさまざまなツールやシステムを使えるよ。コンピュータは、訓練を受けたLLMエージェントが直接管理できる重要なツールなんだ。この制御を使って、日常のデジタル活動を手伝うエージェントを作りたいんだ。この論文では、ビジョン言語モデル（VLM）エージェントが実際のコンピュータ画面とやり取りするための環境を設定する方法について説明してるよ。この設定では、エージェントがスクリーンショットを見て、マウスやキーボードのアクションを使ってグラフィカルユーザーインターフェース（GUI）を操作できるんだ。また、エージェントが複数のステップを完了するのをサポートするために、計画、実行、反省のフェーズを含む制御プロセスも設計したよ。

私たちは、さまざまな一般的なコンピュータタスクを完了しながらスクリーンショットとアクションシーケンスを収集したScreenAgentデータセットを作成したんだ。私たちのモデル、ScreenAgentは、GPT-4Vと似た制御スキルを示したけど、GUIの位置決めにおいてはより良い精度を持ってた。このアプローチは、多用途のLLMエージェントを作成するためのさらなる研究を促すかもしれないよ。

#制御環境とインタラクション

私たちはリアルなコンピュータ制御環境を構築し、エージェントのための制御プロセスを作成したんだ。VLMエージェントは、この環境から指示のプロンプトとリアルタイムのコンピュータの状態を取得するよ。計画、実行、反省の一連のアクションを実行するんだ。このプロセスによって、エージェントは環境と継続的に対話し、多段階のタスクを達成することができるよ。

ChatGPTやGPT-4のような最近のLLMの進展は、テキスト生成や対話を含む自然言語タスクで驚くべき成果を示しているんだ。これらのモデルは、人工知能の他の分野にも大きな影響を与えたよ。これらの技術の登場は、複雑なタスクを扱う知能的なLLMエージェントの研究を支えてるんだ。LLMエージェントは、知覚、思考、記憶、行動ができる言語モデルによって動かされるAIシステムなんだ。これによって、自律的に積極的に動くことができるんだ。

パソコン、スマートフォン、タブレットが一般的になってきた今、私たちの日常生活はますます画面に依存してる。これらのデバイスで操作を行い、ユーザーが手動タスクから解放されるエージェントは、より独立したインテリジェンスに向けた大きな飛躍を示してるよ。画面インタラクションエージェントには強力な視覚処理能力とコンピュータ制御コマンドを実行する能力が必要なんだ。これを実現するためには、VLMエージェントのためのインタラクティブな環境を設定し、継続的なインタラクションパイプラインを開発し、エージェントのパフォーマンスを向上させるために訓練が必要なんだ。

ただし、これらの機能を単一のフレームワーク内で実装し、満足のいく成果を達成することは、エンジニアリングと理論的な観点からの挑戦を伴うんだ。これまでの研究で進展はあったけど、まだ注目が必要な領域があるんだ。たとえば、CogAgentはGUIの理解と計画に特化していて、クロスモーダルチャレンジで印象的なスキルを示してるけど、完全な思考プロセスが欠けてるんだ。一方、AppAgentはスマートフォンタスクに焦点を当てていて、人間の行動を観察してナビゲーションを学んでいるけど、ラベリングによって操作を制限してしまってる。その結果、既存のVLMエージェントは、リアルなコンピュータやモバイル環境で生成して実行するコマンドに取り組むのが難しいんだ。

#ScreenAgentの紹介

これらの課題に対処するために、ScreenAgentを紹介するよ。これは継続的な画面操作のために設計された自動エージェントなんだ。このエージェントは、計画、実行、反省の3つのコンポーネントで構成されてるんだ。反省モジュールはコルブの経験学習サイクルにインスパイアされていて、エージェントが自分のアクションを評価し、将来のパフォーマンスを洗練できるようにしてるよ。これによって、ScreenAgentは次のステップを理解し、一連のコマンドを実行できる完全な思考プロセスに参加できるんだ。

私たちの作業の主な貢献は以下の通りだよ：

1. VLMエージェントがリモートデスクトッププロトコルを介して実際のコンピュータと直接対話できる強化学習（RL）環境を作成したよ。エージェントはスクリーンショットを分析することで、基本的なマウスとキーボードアクションを使ってGUIを制御できるんだ。

2. 計画、実行、反省のフェーズを含む自動化されたパイプラインを確立したよ。この統合システムによって、継続的なインタラクションが可能になり、私たちのエージェントが他のエージェントと区別されるんだ。

3. LinuxとWindowsでの一般的なタスクを完了するためのアクションシーケンスを含むScreenAgentデータセットを開発したよ。さらに、コンピュータ制御タスクにおけるVLMエージェントのさまざまな必要な能力を評価するための詳細なスコアリングシステムも提案したんだ。

私たちはGPT-4Vと他の2つの先進的なオープンソースVLMをテストセットで評価したよ。結果は、GPT-4Vがコンピュータを制御できるものの、正確な位置決めには苦戦したことを示したんだ。それに対して、ScreenAgentは優れたUIの位置決めを示し、すべての側面でGPT-4Vと同等の結果を達成したんだ。この成果は、一般的なエージェントのさらなる探求を促すかもしれないよ。

#関連研究

#マルチモーダル大規模言語モデル

LLMは強い文脈理解とテキスト生成スキルを示していて、複雑な質問応答システムを実現してるんだ。LLaMAのようなモデルは数十億のパラメータで基盤を提供し、Vicuna-13BはLLaMAでファインチューニングされたオープンソースのチャットボットなんだ。GPT-4はGPT-3からのアップグレードで、重要な強化が行われていて、GPT-4Vはマルチモーダル機能を導入したんだ。他のモデル、LLaVAのようなものは、視覚エンコーダーとチャットモデルを結びつけて、同様のマルチモーダル機能を実現しているよ。

CogVLMは、画像理解とチャットシステムをサポートするオープンソースの視覚言語モデルなんだ。最近のモデル、Monkeyは解像度能力を向上させるための効果的なトレーニング手法を採用しているよ。

#ビジョン言語モデルエージェント

LLMが進化するにつれて、スマートエージェントの能力も向上してるよ。WebGPTのようなモデルは、GPT-3をファインチューニングしてウェブを探索し、答えを見つけることでウェブブラウジングを改善してるんだ。ToolFormerは計算や質問応答などさまざまなタスクのためのユーティリティを組み合わせてる。Voyagerは、ゲーム環境での継続的な学習のために設計された最初のLLM駆動型エージェントなんだ。RecAgentのようなモデルは、エージェントが記憶の反省に基づいて複雑な思考を生成できる可能性を示唆してるよ。

私たちのRL環境は、VLMエージェントがリアルなコンピュータ画面と対話でき、画像を表示し、アクションを選択してタスクを達成することを可能にするんだ。

#コンピュータ制御環境

私たちはVLMエージェントの能力をテストするためのコンピュータ制御環境を開発したよ。このセットアップは、リモートデスクトッププロトコルを介してデスクトップオペレーティングシステムに接続して、マウスやキーボードのコマンドを送信して実行できるんだ。この環境には定義されたアクション、状態、報酬関数があるよ。

• アクションスペース: アクションを関数呼び出しとして扱うよ。エージェントが特定のフォーマットで応答を提供すれば、環境がそれをパースして実行できるんだ。

• ステートスペース: 環境はスクリーンショットを状態空間として使用するよ。各アクションの前後にスクリーンショットを収集して、現在の状態を表すんだ。

• 報酬関数: タスクがオープンエンドの場合、報酬関数はさまざまなインターフェースやモデルに適応できるよ。

リモート制御を通じて、エージェントは画面上であらゆるタスクを実行できて、広範な状態およびアクションスペースを持つ複雑で挑戦的な設定を作り出せるんだ。

#アクションの種類と属性

アクションの種類はマウスアクションとキーボードアクションを含み、それぞれ特定の属性を持ってるよ。たとえば、マウスアクションには移動、クリック、ドラッグなどが含まれるし、キーボードアクションにはキーを押すことやテキストを入力することがあるよ。

#制御パイプライン

私たちの制御パイプラインは、エージェントが環境との継続的なインタラクションを行い、複雑なタスクを完了できるように導いてるよ。パイプラインは計画、実行、反省のフェーズで構成されてるんだ。

• 計画フェーズ: エージェントは、画面の現在の状態に基づいて全体のタスクを小さなサブタスクに分解するよ。

• 実行フェーズ: エージェントは特定のマウスまたはキーボードアクションを生成して実行するんだ。環境はエージェントの応答をコマンドにパースして、制御されたコンピュータに送信するよ。アクションを実行した後は、さらなる処理のために新しいスクリーンショットを撮るんだ。

• 反省フェーズ: エージェントは、自分のアクションが現在のサブタスクを満たしたかどうかを評価するよ。そして、前進するか、再試行するか、計画を再構築するかを決めるんだ。

このフェーズは、予期しないシナリオを管理する柔軟性を追加するんだ。

#データアノテーションプロセス

私たちは初期応答を生成するためにGPT-4Vを利用し、その後人間のアノテーターが修正してゴールデンラベル付きの応答セットを作成したよ。この環境は、実際のコンピュータ上での実行のためにこれらの応答からアクションをパースできる能力を持ってるんだ。このペアデータは、今後の訓練方法にとって重要なんだ。

#ScreenAgentデータセット

既存のコンピュータ制御用データセットは、特定のシナリオに焦点を当てることが多いけど、ScreenAgentデータセットは、さまざまなデスクトップアプリケーションに適したマウスとキーボードインタラクションを含むシナリオを収集することでこのギャップに対処してるよ。

データセットは、6つのテーマにわたる39のサブタスクをカバーしていて、合計273のタスクセッションを含んでるんだ。これには、203のトレーニングセッションと70のテストセッションがあるよ。私たちのデータセットは、収集されたサンプルについての重要な統計情報も提供しているんだ。

#評価指標

エージェントのコンピュータ制御タスクにおける能力を評価するために、視覚言語コンピュータ制御スコア（CC-Score）という詳細な評価指標を導入したよ。このスコアは、予測されたアクションシーケンスが期待されるシーケンスにどれだけ合致しているかを測定して、順序やアクション属性などの側面を考慮するんだ。

私たちは、各アクションタイプごとに特定の類似性指標を開発したよ。マウスアクションの場合、アクションタイプとボタンの使用に基づいて一貫性を評価するんだ。テキストとキーボードアクションについては、アクションタイプと入力精度の一貫性を探すよ。全体のスコアは、予測されたアクションとラベル付きアクションの間の最良の整合性を見つけるためにマッチングアルゴリズムを使って算出されるんだ。

#評価結果

私たちはOpenAIのGPT-4Vと他の2つの主要なVLM、LLaVA-1.5とCogAgentの性能を評価したよ。評価は、指示に従い、タスクを正確に完了する能力に焦点を当てたんだ。

• 指示に従う能力: 結果は、GPT-4VとLLaVA-1.5がCogAgentよりも高い成功率の関数呼び出しを達成したことを示したよ。後者の2つは、必要な形式でアクションを出力するのに苦戦したんだ。

• タスク完了: 詳細な評価は、GPT-4Vが適切なアクションを選択するのに優れていたが、正確なマウス座標を生成するのに課題があったことを示したんだ。すべてのモデルが反省フェーズで苦戦していて、実際のシナリオでは人間の入力がまだ必要であることを示しているよ。

#ファインチューニング訓練

エージェントのパフォーマンスをさらに向上させるために、CogAgent-ChatモデルをScreenAgentの訓練データでファインチューニングしたんだ。さまざまなソースからのデータを統合して、多様な訓練セットを作成し、モデルがコマンドを正確に実行できる能力を高めたよ。

ファインチューニング後、ScreenAgentは指示の従い方とアクションの実行でGPT-4Vに匹敵し、マウスクリックの精度においては他のモデルを上回ったんだ。ただ、タスク計画能力には依然として大きなギャップが残っていて、GPT-4Vの強みを強調してるよ。

#ケーススタディ

ScreenAgentの能力をより具体的に示すために、コンピュータ制御タスクを実行した2つのケースを評価したんだ。1つのケースでは、一連のアクションを実行するプロセスが強調され、もう1つのケースでは、パイプラインの各フェーズでさまざまなエージェントの性能が比較されたよ。

評価の中で、ScreenAgentは計画とアクション実行で優れていて、必要に応じて再試行する必要を効果的に認識してたよ。

#結論

この研究では、VLMエージェントがマウスやキーボードコマンドを使って実際のコンピュータを管理できる新しい環境を確立したんだ。私たちは、計画、実行、反省のフェーズを通じてエージェントを導く制御プロセスを設計し、タスクとの継続的なインタラクションを可能にしたよ。

さらに、さまざまなデジタルタスクをカバーした新しいデータセットと、エージェントの能力を評価するための詳細なスコアリングメトリックを導入したんだ。テスト結果は、GPT-4Vがコンピュータ制御エージェントとして機能できる一方で、正確な位置決めには欠けていることを示したよ。ScreenAgentはCogAgentから訓練され、類似の結果を示しつつ、位置決めの精度を向上させたんだ。

この研究が、より堅牢で汎用的なエージェントの開発に向けたさらなる研究を促すことを願っているよ。ただし、複数のフレームを処理できないことや限られた言語能力など、モデルの限界も認識しているよ。

#倫理的考慮

自動化エージェントは、コンピュータのアクセシビリティを向上させたり、反復的なタスクを減らしたりするなど、大きな利益を提供できる一方で、リスクもあるよ。潜在的な問題には、雇用の喪失、プライバシーの懸念、詐欺活動での悪用が含まれるんだ。私たちは、AIの責任ある使用と、このような技術の開発における倫理ガイドラインの必要性を強調してるよ。