言語モデルエージェントでより良い決定を。

最近、研究者たちは大規模言語モデル（LLM）を例から学ぶエージェントとして使うことにますます興味を持っている。このタイプの学習はコンテキスト内学習として知られている。これらのエージェントがうまく機能するためには、限られた周囲とのやりとりを基にして目標達成のための信念を形成する必要がある。でも、どの行動をとるべきかの不確実性が生じて、問題が起きるんだ。

この記事では、LLMエージェントがどのように信念を形成し、それに基づいて行動するかについて、意思決定タスクを含む実験を通じた研究を紹介する。主な発見の一つは、LLMエージェントが過信しがちだということ。十分な証拠がなくても、最良の行動について強い結論を出しちゃう。これが探求の欠如につながり、情報に基づいた決定をするためには重要なことなんだ。

#現在のエージェントの問題

研究によると、LLMはしばしば十分に探求せず、最適でない意思決定につながることがある。タスクを実行するように求められると、彼らは一つの解決策にすぐに落ち着く傾向がある。このパターンは、適切な選択をするためにもっとデータが必要な複雑なタスクでは問題になる。どうやってこれらのエージェントにもっと探求させて、より良い決定をさせることができるのか？

この問題に取り組むために、エントロピック・アクティベーション・ステアリング（EAST）という方法が紹介される。このアプローチは、LLMエージェントの決定に関する不確実性やオプションの探索の仕方を制御するのに役立つ。EASTを実装することで、周囲の理解や受け取ったフィードバックに基づいて、LLMが決定を下す方法を改善することを目指している。

#効果的なエージェントを作る

人間でも機械でも、決定を下すためには自分の世界に対する信念を考慮することが重要だ。彼らが自問自答すべき主要な質問は次の通り：自分が知っていることを活用すべきか？もっと情報を探すべきか？自分の決定が正しいと信じられるか？

効果的で信頼できるエージェントを作るためには、これらの質問を自律的に聞いて、見つけたことを意思決定プロセスに組み込む能力を評価することが重要だ。この必要性は、大規模言語モデルに基づいたエージェントに特に関連がある。なぜなら、これらのモデルは自然言語でのやりとりを行うように設計されていて、幅広い能力を持っているから。

LLMは、プロンプトに提示された例に基づいて予測を適応させる能力が評価されている。このスキルは、環境のフィードバックに基づいて行動を調整できるコンテキスト内学習エージェントとしてLLMを展開するために必要不可欠だ。

しかし、強化学習などの十分に研究された意思決定アルゴリズムと比べると、LLMエージェントがインタラクションを通じてどのように決定を下すのかについてはまだ学ぶべきことがたくさんある。モデルはトークンレベルで動作し、決定はより高い抽象レベルで行われる。この二つのレベルの相互作用を理解することが重要で、これがエージェントの信念が行動にどのように影響を与えるかに大きく関わっている。

最近の研究では、LLMエージェントが合理的な探索行動を生み出すことに失敗することが多いことが示されている。彼らは過信しがちで、決定に関する不確実性をすぐに減少させて、もっと情報が必要な場合でも特定の解決策にコミットしてしまう。この行動を改善することは、LLMエージェントのパフォーマンスを向上させるために重要だ。

#エントロピック・アクティベーション・ステアリング（EAST）の紹介

EASTの主な目標は、LLMエージェントの主観的な不確実性と行動のエントロピーを変更することだ。この方法は二つの主要なフェーズから成り立っている。まず、エージェントの相互作用の間に収集されたデータセットからステアリングベクトルを計算する。次に、このベクトルを使って、環境との相互作用中にエージェントの行動を調整する。

第一のフェーズでは、エージェントが環境と相互作用することでプロンプトのデータセットを作成する。モデルからアクティベーションを取得した後、行動分布のエントロピーを推定する。このプロセスには、LLMから複数の完了を生成し、それぞれの完了に関連する行動を決定することが含まれる。

ステアリングベクトルは、行動のエントロピーで重み付けされたアクティベーションの平均として計算される。このベクトルは、通常より高い行動エントロピーにつながる方向を示す。第二のフェーズでは、ステアリングベクトルがエージェントの行動に影響を与えるために適用される。行動生成中に、ステアリングベクトルがモデルの特定の層で生成されたアクティベーションに追加される。

#LLMエージェントの動作を詳しく見る

LLMエージェントは、自己回帰サンプリングと呼ばれるプロセスを通じてタスクを実行する。このアプローチは、前のトークンに基づいてトークンを一つずつ生成することを含む。環境と相互作用すると、モデルは反応を生成し、それには考えと行動が含まれる。選ばれた行動が実行され、フィードバックを受け取る。

エージェントはさまざまな行動を持つ環境で動作し、相互作用は通常対話形式で構成される。実験の焦点は、エージェントがガウス分布に基づいて異なる報酬をもたらす二つのアームの間で選択しなければならないガウス多アームバンディット設定だ。

この設定の目標は、時間を通じて総報酬を最大化しつつ、両方の選択肢を評価することだ。エージェントは初期の信念だけに依存するのではなく、探求して情報を集めて最善の決定を下すことが期待されている。

#過信の課題

以前の研究は、過信がコンテキスト内LLMエージェントの一般的な失敗であることを示している。実際のところ、これによりエージェントは十分な証拠がないのに特定の行動にコミットしてしまう。タスクが難しくなるにつれて、この過信の影響がより顕著になる。

実験では、様々な環境と相互作用する際のLLMエージェントの行動が分析された。結果は、エージェントが早い段階で限られたデータに基づいて一つの行動にコミットし、その後も他の選択肢を考慮すべき時にその選択を続ける傾向があることを示した。

研究では、時間の経過とともにエージェントの行動分布のエントロピーがどのように変化するかが探求された。異なるパラメータ設定において、エントロピーが急速に減少することが明らかになり、探求が不足していることを示している。この傾向は、これらのエージェントの探求行動を強化する方法が必要であることを強調している。

#EASTが意思決定に与える影響

過信の観察を受けて、EASTがLLMエージェントが環境とどのように相互作用するかを修正するために導入された。EASTを適用することで、研究者たちはエージェントの行動に関連するエントロピーを直接制御することで、より探求的な行動を促進することを目指した。

EASTは、トークン生成中に使用されるサンプリング温度を単に調整する以上の方法で機能する。この方法は、意思決定に関連する不確実性を管理するためのより微妙で効果的なアプローチを可能にする。行動分布のエントロピーを増加させることで、EASTは従来の設定で見られる過信を軽減するのを助ける。

テスト中に、EASTがLLMエージェントの行動や思考に与える影響を評価した。結果は、この方法が条件の範囲で行動のエントロピーを大幅に増加させ、エージェントが思考の中で不確実性を表現する方法にも影響を与えたことを示した。

データは、EASTを適用することで、エージェントが最小限の探索の後に特定の行動にコミットする可能性が低くなり、環境との相互作用においてより多様な行動を示すようになったことを示している。これは過信問題に対処する効果的な結果だ。

#EASTのメカニクスを理解する

EASTが効果的であるためには、介入するLLMの特定の層を選択する必要がある。結果は、モデルの中間層がステアリングベクトルを適用するのに最も効果的であることを示した。この発見は、抽象的な概念がLLMの中間層に表現される傾向があることを指摘した以前の研究と一致している。

さらに、この記事では、方法が異なるタスクや設定にどのように一般化できるかも探求された。プロンプト内の説明を変更しながらも基礎となるタスク構造を維持することで、EASTの効果がテストされた。驚くべきことに、結果は、ステアリングベクトルが異なるシナリオ間で転送可能であり、LLMが異なる文脈にわたって不確実性の理解を一般化できることを示した。

#意思決定における不確実性の重要性

EASTの適用を通じて、LLMが自分の決定に関する不確実性の抽象的な表現を持っていることが明らかになった。この能力は、より解釈可能で制御可能な言語モデルを作成するための新しい可能性を開く。

この方法はまた、エージェントの決定が行動の不確実性にどのように影響されるかを認識する重要性を強調している。この不確実性を適切に管理することで、EASTはエージェントの探求、適応、そして最終的にはより良い決定を下す能力を高める。

#制限と今後の方向性

EASTは効果的であるものの、主に行動分布のエントロピーが簡単に推定できる離散的な行動を持つ環境に焦点を当てている。今後の研究では、ソフトウェア工学やツール利用のような分野で一般的なオープンエンドの行動に対してこの方法を適応させることを目指している。

EASTはLLMエージェントの探求的な性質を改善することができるが、特定のタスクに対して理想的な探索の量を自動的に決定するわけではない。だから、時間を通じて探索行動を導く方法を見つけることが今後の重要な課題だ。

現在の発見は、LLMが自分の行動に関する不確実性を明示的に表現していることを強調している。この認識は、微妙な意思決定や不確実性の深い理解を要求するより高度なシステムの設計を導くことができる。

#結論

要するに、この研究はコンテキスト内LLMエージェントの行動を掘り下げて、意思決定において過信を示す傾向があることを明らかにした。エントロピック・アクティベーション・ステアリング（EAST）を導入することで、研究はこれらのエージェントが不確実性と探求を管理する方法に影響を与えるための手法を提供した。

EASTは、LLMエージェントの行動エントロピーを大幅に改善する可能性を示し、既存のモデルに見られる欠点に対処する新しい方法を提供した。この進展により、LLMエージェントを解釈・制御する能力が高まり、彼らが目標を達成する上でより信頼できるものにする。

その結果、この研究は大規模言語モデルを基にした解釈可能で操縦可能なシステムの発展に向けた有望な一歩となる。意思決定における不確実性の理解と管理に関する研究が進むことで、将来的にさらに効果的なエージェントを作り出す大きな可能性がある。