複雑なタスクのために専門ツールでLLMを強化する

大規模言語モデル（LLM）は今やテキスト処理を超えて、色んな分野で欠かせないツールになってる。これらは一般的な言語エージェントとして、複雑な現実のタスクで人を助けることができると思われてる。でも、こういうタスクは、LLMが短期記憶だけで完全に理解するには広すぎる環境で行われることが多い。この論文では、ツールを使ってLLMがこういう複雑な環境をうまく管理できる方法について探ってる。

#ツールの必要性

LLMが複雑な設定とやり取りするとき、必要な情報を全部キャッチするのが難しいことがある。彼らはしばしば環境を自分の記憶に合わせようとするけど、その方法は限界がある。環境がもっと複雑になると、これがうまくいかないことが多い。別のやり方は、LLMにツールを与えて、環境ともっとうまく情報を集めたりやり取りしたりできるようにすること。言語を使って行動を導くことで、LLMはそのタスクに最適なツールを決めることができる。この新しいアプローチはまだ深く研究されてないから、この論文ではその効果を調べることを目的としてる。

#複雑な環境のためのカスタムツール

LLMがツールを使って複雑さを扱う方法を見せるために、データベースと知識ベース（KB）の2種類の複雑な環境に合わせた特定のツールをデザインした。既存のAPIを使った他の研究とは違って、俺たちは最初からツールを作った。人間が情報を収集する方法、例えばキーワードを探したり、データ間の関係を調べたりすることをベースにデザインした。目的は、LLMと環境の間にバッファのように働くツールを作って、LLMがその環境を理解しやすく、操作しやすくすることだ。

#ツールのテスト

これらのツールがLLMのデータベースや知識ベースとのやり取りが必要なタスクでどれだけ改善するかを評価する実験を行った。結果は有望だった。例えば、これらのツールを使ったGPT-4は、データベースアクセスが必要なタスクで以前の解決策よりもかなり優れてた。実際、データベースタスクでは2.8倍、知識ベースタスクでは2.2倍のパフォーマンス向上を示した。

#重要なポイント

私たちの発見は、ツールがLLMが困難な環境で効果的に機能するために不可欠であることを明らかにしてる。この研究の主な貢献は以下の通り。

1. データベースと知識ベースのためのカスタマイズされたツールを組み込んだ新しいフレームワークの作成で、LLMが複雑なタスクをより良く管理できるようにしてる。

2. 様々なベンチマークで異なるLLMを広範囲にテストし、我々のツール強化アプローチの効果を示してる。

3. ツールがLLMが複雑な環境を成功裏にナビゲートし、操作するために必須であるという明確な結論。

#関連研究

環境を直接LLMに与える従来の方法は、特にスケーラビリティにおいて問題に直面してた。環境が複雑になると、それをトークンに線形化するのはしばしば実行不可能だった。他の研究では、後で修正が必要な計画を生成したり、LLMを使って事前に準備された計画を評価するアプローチを取ってた。これらの方法は、複雑なタスクに直面したときのLLMの推論能力を十分に活用できてなかった。

私たちの研究は以前の研究に基づいているが、LLMが要求に応じて環境とやり取りできるようにするために、より多様な専門ツールを提供することを目指している。StructGPTのような既存の方法も同様の戦略を試みているが、限られたツールオプションが複雑な環境を理解する効果を制限してた。

#データベースのカスタムツール

データベース環境専用に12種類のツールを設計した。これらのツールは、ナビゲーションツールとファンクショナルツールの2つのカテゴリーに分けられている。

#ナビゲーションツール

これらのツールは、LLMがデータベース内の関連データを探索し、抽出するのを助ける。いくつかの例は以下の通り：

• カラムを探す：この機能は、LLMが照合しようとしている値に基づいてデータベース内の正しいカラムを見つけるのを助ける。

• 異なる値：この機能は特定のカラムからすべてのユニークな値を返し、意思決定をサポートする。

#ファンクショナルツール

ファンクショナルツールは、LLMがデータベース内で特定の操作を実行できるようにする：

• SQLクエリ実行：この機能はLLMがデータを取得するためにSQLクエリを実行するのを助ける。

• 句の指定：FROM、WHERE、SELECTなどの異なる句を指定するのを助ける機能で、効果的なSQLクエリを構築するために重要。

#知識ベースのカスタムツール

データベースツールに加えて、知識ベースのために7つの専門ツールも開発した。これらのツールはナビゲーションおよびファンクショナルタイプを含んでいる。

#ナビゲーションツール

これらのツールは、LLMが知識ベース内の膨大な情報を移動するのを支援する：

• 関係を取得：この機能はLLMが特定のエンティティに関連するすべての関係を見つけるのを可能にする。

• 隣接を探す：このツールは、特定された関係に基づいて関連するエンティティを取得するのを助ける。

#ファンクショナルツール

これらのツールは、知識ベース内で特定のタスクを実行することを可能にする：

• 集約関数：LLMが特定の属性の最大または最小値を持つエンティティを見つけることを可能にする機能。

• エンティティのカウント：このツールはLLMが特定の変数に属するエンティティの数を理解するのを助ける。

#ツールとの推論の統合

LLMがこれらのツールを効果的に使用できるようにするために、ReActというフレームワークを採用した。既存の方法がしばしば硬直した手順に従うのとは異なり、ReActはLLMが直面する文脈に基づいて使うツールを決定できる。

各ステップで、LLMは現在の状態に基づいて自らの行動を予測し、利用可能なツールと推論プロセスを統合する。この柔軟なアプローチは、LLMが複雑な環境が提示する課題に正確に応じる能力を高める。

#異なるモデルでの実験

私たちのフレームワークを評価するために、GPT-4のような先進的なモデルやLlama2、Mistralのようなオープンソースモデルをテストした。結果は、LLMがカスタマイズされたツールを装備しているときにパフォーマンスが大幅に向上したことを示した。

Llama2モデルは一般的にツールの適用に苦労していたが、MistralやMixtralのようなモデルはより良いパフォーマンスを示した。しかし、これらのモデルとより進んだGPT-3.5-turboやGPT-4との間にはまだ顕著なギャップがあった。私たちの発見は、強いモデルがフィードバックを通じてエラーからより効果的に回復できることを示唆している。一方で、弱いモデルはツール使用に関する意思決定の際に構造的な推論から恩恵を受けていた。

#ミドルウェアとしてのツール

私たちの研究の重要な側面は、ツールがミドルウェア層として機能する方法を検証することだった。ツールを使用したLLMのパフォーマンスを、環境からのデータサンプルを直接使用したLLMのそれと比較した。結果は、追加のデータを使用するとパフォーマンスが向上する場合もあったが、ツールを持つLLMが直接的な環境とのやり取りに依存するLLMを一貫して上回った。

#結論と今後の方向性

この研究は、複雑な現実のタスクを管理するためにカスタマイズされたツールの重要性を強調している。知識ベースやデータベースで顕著な成果を上げたものの、明確なインターフェースのないより難しい環境がまだ残っていることを認識している。

今後の研究は、明確なクエリシステムがない環境、例えばウェブページや物理的空間など、より広範な環境のためのツールを作成することに焦点を当てる。私たちの論文は、LLMがより複雑なアプリケーションでの使用を拡張するために特化したツールを用いることで、能力を向上させる大きな可能性を示している。

#謝辞

私たちは、洞察に富んだフィードバックを提供してくれた同僚たちに感謝の意を表します。この研究の発展と洗練に貢献してくれました。私たちの努力は、Ciscoからの研究資金によってさらに支援されました。

#ツールの定義

このセクションでは、データベースと知識ベースのためのカスタマイズされたツールについて詳細に説明する。これらのツールの選定は、広範なドメイン知識に基づいて行われ、さまざまな操作ニーズを満たすように慎重に構築されている。

#ベンチマーク統計

私たちの発見を検証するために、現実の複雑さを反映したベンチマークを作成し、言語エージェントの評価をより効果的に行えるようにした。これらのベンチマークは、異なるモデルが複雑なタスクにどれだけうまく対処できるかをより代表的に評価できるよう選ばれた。

#結果の要約

特化したツールを装備したLLMは、さまざまなベンチマークで素晴らしいパフォーマンスを示した。この研究は、これらのツールが言語モデルの能力を推進する上でどれほど重要であるかを強調し、LLMが複雑な環境で効率よく動作できるようにしている。

全体として、私たちの研究は、LLMが複雑なタスクや環境をナビゲートする能力を拡大するために、革新的なツールデザインの役割を強調して、言語モデルアプリケーションの将来の進展の礎を築いている。