REBEL: 言語モデルにおける推論の進展

大規模言語モデル（LLM）は質問に答えるのが得意だけど、トレーニングデータにない知識が必要な質問には苦戦してる。その知識はリアルワールドを観察したり、インタラクトしたりすることでしか得られないんだ。今の方法は推論タスクを一連のステップに分解するけど、複雑な問題に取り組む能力を制限することもある。

そこで、Recursion Based Extensible LLM（REBEL）っていう方法を紹介するよ。REBELはダイナミックプランニングみたいなテクニックを使って複雑な推論タスクに取り組むように設計されてる。問題を分解して外部ツールを使って推論することができるんだ。そのツールは普通の言葉で説明できるから、必要なことを簡単に指定できるんだ。

#関連研究

LLMを使った推論タスクにはいろんなアプローチがあって、プロンプトを作ったりモデルをファインチューニングしたりすることが含まれる。ここではプロンプトテクニックに焦点を当てるよ。一般的な方法の一つは前方連鎖で、既知の事実から論理ルールを使って答えに辿りつく方式だ。

いくつかのシステムはこれを基に、推論ステップに基づいて特定のアクションを生成する。別のアプローチでは、さまざまなツールから情報を集めて質問に答える。複雑な構造の質問にどれだけいい答えができるかをチェックする方法もいろいろある。以前の研究では、問題を分解することで推論が助けられることが示されている。

#REBELアルゴリズム

REBELアルゴリズムは質問を小さい部分に分けて、これ以上分けられないまで繰り返す仕組みになってる。各質問とその答えはタプルと呼ばれるよ。例えば、ユーザーが質問をすると、それがさらに小さなサブ質問につながることがある。アルゴリズムはこれらのサブ質問を再帰的に処理するんだ。

無限ループを防ぐために、アルゴリズムはどの部分がチェック済みかトラッキングして、既存の答えに似すぎるものを取り除くよ。REBELは利用可能なツールのリストも保持していて、質問に答えるための最適な方法を決めるのに役立つんだ。

#REBELの主要ステップ

1. 質問分割：このステップではLLMが生成する内容に基づいて質問を小さな部分に分けるよ。
2. メモリチェック：その質問がツールなしで答えられるか確認するんだ。
3. ツール選択：LLMがどのツールが回答に最適か決める。
4. ツール使用：選ばれたツールを使って答えを得て、その答えを最終的な出力に使う。

#実験設定

REBELシステムは3つのデータセット、Compositional Celebrities、FEVER、HotPotQAでテストされた。目標は、REBELが他のシステムと比べてどれだけ質問に答えられるかを見ることだった。回答が正しいかどうかを基準と比べて確認したよ。

#結果

REBELは複雑な質問に答えるのに既存のシステムよりも良いパフォーマンスを示した。Compositional Celebritiesデータセットでは、REBELが以前の方法よりもかなり改善した。ただ、HotPotQAデータセットでは、より複雑な質問に直面して深い推論ステップが必要だったことで難しさがあった。

FEVERデータセットでは、REBELが他のシステムよりも若干いい結果を出した。これはREBELが処理中に多くの事実を集める方法によるものだ。

#結論

REBELは再帰的アプローチと外部ツールを使った新しい推論方法を提案してる。多くの事実を組み合わせて正確なクエリを作ることが求められる質問に答える際に有望さを見せている。ただ、シンプルな質問には限界もあるんだ。

今後の研究では、REBELの各ステップを改善したり、質問の分解がどれだけ深く行われるかを制御する方法をテストすることに焦点を当てるといいかもね。