リフレクションでエージェントの意思決定を改善する
リフレクションは、自己反省を可能にして過去の行動から学ぶことで意思決定エージェントを強化する。
― 1 分で読む
最近の意思決定モデルの進展により、大規模言語モデル（LLM）を使うエージェントがさまざまなタスクでうまく機能することが分かってきた。しかし、多くのアプローチはファインチューニングや特定のトレーニングデータを必要とし、それを見つけるのは難しいことがある。また、現在のモデルは人間のように自分の失敗から学ぶ能力を欠いていることが多い。人間は新しい問題を試してみて、失敗から学ぶことで解決できる。この学びの能力を活かすために、私たちはReflexionという方法を提案する。これにより、意思決定エージェントは過去の行動を記憶し、それを振り返る能力を持つようになる。これにより、エージェントはタスクについての推論や行動の選択が向上する。
自己反省の必要性
従来、エージェントはタスクの実行中にエラーから学ぶのに苦労してきた。情報処理は得意でも、失敗につながった行動を繰り返してしまうことが多い。自己反省は人間が持つ特性であり、個人が学び、適応するのに役立つ。LLMに同様の能力を持たせることで、複雑なタスクでのパフォーマンスを向上させることを目指している。Reflexionによってエージェントは自分が間違えたと認識し、繰り返しを避け、将来の意思決定を改善することができる。
Reflexionのアプローチ
Reflexionはエージェントに柔軟な記憶システムと自己反省の能力を与える。エージェントは自分が道を外れた時に気づき、次のアプローチを調整することができる。エージェントが「幻覚を見ている」時、つまり新しい結果を生むことのない行動を繰り返している時を特定するための簡単な方法を取り入れている。また、エージェントは環境のメンタルマップを構築して、意思決定を助けることもできる。
Reflexionのアプローチを評価するために、私たちはエージェントを二つのタスクでテストした：AlfWorldの環境をナビゲートし、HotPotQAで複雑な質問に答えること。AlfWorldでは、エージェントの成功率は97%に達し、HotPotQAでは51%に達した。これは自己反省がタスクパフォーマンスに大きな改善をもたらすことを示している。
意思決定モデルの現状
OpenAIのGPT-3やGoogleのPaLMといった多くの大規模言語モデルは、さまざまな意思決定タスクで優れた成果を上げている。彼らは複雑なタスクを理解し、取り組む能力を示す。しかし、これらのモデルは広範な状態空間のために効果的に学ぶのが難しい。一部の方法、たとえばChain-of-Thought推論はシンプルなタスクではうまく機能するが、長いシーケンスでは苦しむ。他の方法、例えばReActは推論プロセスを通じて問題を解決する手助けをするが、今後の改善のために過去の行動を反省する能力はまだ欠けている。
エージェントの自己反省
既存の方法を基に、Reflexionは自己反省の原則を取り入れている。エージェントは自分の過去の行動や意思決定を振り返る。このプロセスにより、エージェントはエラーを特定し、それに応じてアプローチを変更することができる。たとえば、ある行動が実を結ばなかったことを思い出したら、次回は異なる行動を選ぶことができる。
Reflexionでは、エージェントがいつ停止して振り返るべきかをガイドするヒューリスティックを使用している。ヒューリスティックが失敗や繰り返しの行動を示す場合、エージェントは過去の行動をレビューするために一時停止する。この反省メカニズムにより、タスクに取り組むためのより良い計画を立てることができる。
Reflexionのテスト
Reflexionエージェントは主に二つの設定でテストされた：AlfWorldとHotPotQA。AlfWorldでは、エージェントはさまざまな環境をナビゲートし、特定のタスクを完了する必要があった。自己反省の使用により、連続的な試行を通じて戦略を改善し、わずか12回の試行で97%の成功を収めた。
HotPotQAでは、エージェントはさまざまな文書に基づいて質問に答えるテストを受けた。自己反省機能のおかげで、パフォーマンスは51%に向上し、反省なしでただ行動を繰り返すベースエージェントとは異なり、過去の経験から学んでいることが示された。
結論
Reflexionメソッドは意思決定エージェントの能力を向上させる可能性を示している。エージェントが自分の行動を振り返り、失敗から学ぶことで、複雑なタスクをナビゲートする能力が向上する。結果は励みになるが、これらの方法を洗練させ、より複雑な環境に適用するためのさらなる探求が必要である。
今後の研究
Reflexionは他の意思決定モデルと組み合わせることで、さらに柔軟性を持たせることができる。自己反省能力を持つエージェントを装備することで、さまざまなタスクや環境でのパフォーマンス向上が期待できる。今後の研究では、これらの反省メカニズムをさまざまなモデルアーキテクチャと統合して、実世界のアプリケーションでの効果を最大化することに焦点を当てるべきである。
目標は、単に行動するだけでなく、学び、適応して人間の問題解決スキルを模倣するエージェントを開発することだ。技術が進歩するにつれて、自己反省を使いながらタスクを独立して実行するエージェントの可能性はますます重要になっていくだろう。
タイトル: Reflexion: Language Agents with Verbal Reinforcement Learning
概要: Large language models (LLMs) have been increasingly used to interact with external environments (e.g., games, compilers, APIs) as goal-driven agents. However, it remains challenging for these language agents to quickly and efficiently learn from trial-and-error as traditional reinforcement learning methods require extensive training samples and expensive model fine-tuning. We propose Reflexion, a novel framework to reinforce language agents not by updating weights, but instead through linguistic feedback. Concretely, Reflexion agents verbally reflect on task feedback signals, then maintain their own reflective text in an episodic memory buffer to induce better decision-making in subsequent trials. Reflexion is flexible enough to incorporate various types (scalar values or free-form language) and sources (external or internally simulated) of feedback signals, and obtains significant improvements over a baseline agent across diverse tasks (sequential decision-making, coding, language reasoning). For example, Reflexion achieves a 91% pass@1 accuracy on the HumanEval coding benchmark, surpassing the previous state-of-the-art GPT-4 that achieves 80%. We also conduct ablation and analysis studies using different feedback signals, feedback incorporation methods, and agent types, and provide insights into how they affect performance.
著者: Noah Shinn, Federico Cassano, Edward Berman, Ashwin Gopinath, Karthik Narasimhan, Shunyu Yao
最終更新: 2023-10-10 00:00:00
言語: English
ソースURL: https://arxiv.org/abs/2303.11366
ソースPDF: https://arxiv.org/pdf/2303.11366
ライセンス: https://creativecommons.org/licenses/by/4.0/
変更点: この要約はAIの助けを借りて作成されており、不正確な場合があります。正確な情報については、ここにリンクされている元のソース文書を参照してください。
オープンアクセスの相互運用性を利用させていただいた arxiv に感謝します。