集約的推論タスクを通じたLLMの評価

大規模言語モデル（LLM）は、異なるテキストから情報を集めて組み合わせる必要があるときに、しばしば苦労するんだ。これらのモデルがどれだけうまくできるかを評価するために、「表を通した計算」という新しいデータセットを作成したよ。このデータセットは、複雑な指示を使ってLLMの推論や計算スキルをテストするように設計されてて、質問はモデルが1つ以上のテキストから情報を引き出して、それを統合して答えを出すことを要求するんだ。

このデータセットは、既存のテキストとそれに対応する表を含むデータセットを使って作ったんだ。各表に対して新しい質問を作成し、正しい回答を集めたよ。私たちの調査結果では、既存のLLMはこのデータセットでのパフォーマンスが悪くて、正確さは38％を下回っているんだ。モデルがどこで苦労しているのかを理解するために、タスクの3つの重要な部分に注目したんだ：表の生成、Pandasというプログラミングライブラリ用のコマンド生成、そしてそのコマンドの実行。驚くべきことに、これらの各部分が現在のLLMにとって大きな課題であることがわかったよ。

私たちの分析から、「IEをツールとして」という焦点を当てたアプローチを開発したんだ。このアプローチは、上記の3つのステップそれぞれに特定の「ツール」を追加し、実装のために少数ショットプロンプティングという方法を使うことを含んでる。この新しいアプローチは、従来のプロンプティング技術と比較してパフォーマンスが向上したことを示していて、こういったタスクにおけるモデルの能力を向上させるための有望な手段を際立たせているんだ。

データセットは公に利用可能で、他の研究者が複雑な推論タスクにおけるLLMのパフォーマンスを評価できるようになってる。データセット内の注釈付きコンポーネントの例では、回答は簡潔で明確だけど、高度な推論や統合スキルを必要とすることが示されてる。中間ステップは、LLMの思考を分析したり、IEをツールとしての方法を設計するのに役立つんだ。

LLMはさまざまな言語タスクで強力な能力を示しているけど、まだ単純には提示されていないデータについて推論する問題を解決するのにはかなりの課題があるんだ。例えば、口頭や数学の問題とかね。興味深いことに、研究によると、こういった問題はLLMだけでなく人間にとっても難しいらしい。この問題は、LLMがどのように推論するかに関する広い観察につながるんだ：言語や視覚的な入力を解決可能な数学的問題に変えるのは、しばしば計算自体を行うよりも難しいことがあるから。

この問題は、LLMが単一または複数のテキスト間の情報を集約するタスクを試みるときに特に明らかになるよ。これらのモデルは、テキストの中で似たような出来事やエンティティを数えたり、比較したり、処理したりするタスクではしばしば良いパフォーマンスを示さないんだ。この限界は根本的な課題を示していて、LLMは個々のデータの部分をうまく管理できるけど、異なる文脈間で情報を結びつけて理解するのには苦労してるんだ。

LLMを複雑な推論のために改善するために、高品質なベンチマークが必要だよ。これが「表を通した計算」の出番なんだ。このデータセットの事例は、テキスト間の集約を必要とする質問を設計した専門家によって作成されたんだ。彼らは、他のデータセットの表を指示作成の基礎として使うように指示されていて、情報を整理して統合するための構造化されたフォーマットを持たせているんだ。

その結果、データセットには元のテキスト、策定された指示、正しい回答が含まれていて、すべてが高度な理解と推論スキルを必要とするんだ。こうすることで、モデルが参照を解決したり、多段階の推論を行ったり、要約したり、複数の文書を扱ったりする情報抽出の課題に対処できる方法を紹介してるんだ。

私たちはこのタスクに対するLLMの評価を通じて、彼らの苦労の根本的な原因を特定し、モデリングの改善の可能性を探る予定なんだ。問題を3つの別々のタスクに分解したよ：表を生成すること、Pandasコマンドを作成すること、そしてそのコマンドを実行すること。専門家がキュレーションした真実の表とPandasコマンドを利用して、各ステップでのLLMのパフォーマンスを評価したんだ。

私たちの調査結果は、各タスクに大きな改善の余地があることを示していて、ターゲットを絞った少数ショットプロンプティングを使うことで、LLMはパフォーマンスを大きく向上させることができるよ。これが、「IEをツールとして」というフレームワークの導入に至ったんだ。これは各フェーズを独立して扱うことを目指していて、従来のプロンプティング技術よりも改善を示しているんだ。これは複雑な推論タスクにおけるLLMのパフォーマンスを強化するための有望な方向性を示しているね。私たちは、分解した各コンポーネントに未開発の可能性があることを初めに気づいたんだ。

#貢献

私たちの貢献を以下のようにまとめるよ：

1. 専門家によってキュレーションされた評価データセットを提示し、情報抽出と複雑な推論を必要とする集約的なクエリでLLMを挑戦させる。
2. 各タスクにおけるLLMのパフォーマンスの詳細な分析を提供し、表生成、コマンド生成、実行における彼らの強みと弱みを明らかにする。
3. 「IEをツールとして」というフレームワークを導入し、これらのサブタスクを独立したツールとして活用し、従来のプロンプティング技術に比べて最大12％の改善を示す。

#データセット

私たちの仕事の目的は、LLMがテキスト理解と複雑な推論を必要とする集約的な質問にどれだけうまく対処できるかを検証することだよ。表を基にしてこれらの質問を作成するのは効果的で、元のテキストから重要な情報を整理して集められるからね。したがって、これらの表からデータを集約することは、全テキストを通じて集約を実行することに似ているんだ。

私たちのデータセット「表を通した計算」は、自然言語処理やデータサイエンスの専門家によって作成されたんだ。彼らは、以前のデータセットのインスタンスを集約的な指示に適したフォーマットに変換するための厳格な注釈プロセスを実施したよ。データ作成プロセスには以下のステップが含まれるんだ：

1. 関連性のレビューと評価：専門家は、定量的な指示に適した数値データがある部分を見つけるためにデータセットを徹底的にレビューした。彼らは、数値の整合性や対応するテキストとの整合性を評価したよ。

2. 数値要素の特定：専門家は、テキストや表の中で数値要素、例えば年やカウントを特定し、基本的な操作（カウントや集約）をサポートするようにした。このステップでは、どの部分の表データを指示に含めるべきかを示したんだ。

3. 指示の策定：特定された数値要素に基づいて、明確な自然言語の指示を作成した。これらの指示は、演算関数を使用して単一の数値を生成することを目指しているよ。

4. 表へのクエリ：専門家は、指示を自然言語のクエリに翻訳し、Pandasコマンドを作成する準備をする際の明確さとあいまいさの削減を確保した。

5. Pandasコマンドへの翻訳：次のステップは、自然言語のクエリをPandasコマンドに変換し、実行を通じて正しい応答を抽出することだったよ。

6. 結果の検証：最後に、応答が期待される結果に一致するかを手動でチェックして、指示と一致しているかを確認したんだ。

私たちのデータセットの各インスタンスは以下を含むよ：

• 元のテキストと表：これらの要素は、質問に関連する基本的なデータと数値情報を提供し、テキストのコンテキストと表の構造化された数値データを持っている。

• 自然言語の質問：テキストと表の特定の数値要素に焦点を当てた、明確に言葉で表現された質問。

• 表へのクエリ：数値データを強調するように洗練された自然言語のクエリで、必要な計算情報が明確に定義されている。

• Pandasコマンド：質問をPandasコマンドに正確に翻訳したもので、全体の一貫性を保持している。

• 期待される結果：コマンドを実行して得られた正確な数値の答えであり、モデルの応答を測定する基準となる。

このベンチマークには124の例が含まれていて、LLMの高品質な評価に十分だよ。パフォーマンス評価のために、最終的な答えに対しては正確な一致を利用し、中間ステップ（表生成など）では類似性メトリクスと実行ベースのメトリクスを使う。

#数値の課題

私たちのデータセットは、「計算」と「カウント」の2つの主要なタイプの指示を紹介するよ。

• 計算指示：このカテゴリには、答えを出すために基本的な数学的操作が必要なタスクが含まれている。操作には加算や減算が含まれていて、数値推論に必要な複雑さを反映してる。

• カウント指示：これらのタスクには、テキストから特定の数やカテゴリを特定する必要があり、モデルにデータを正確に解析して解釈するのに挑戦をもたらす。

#IEをツールとして

現在のモデルは、これらのタスクを扱う際に苦労する傾向があるんだ。これに対処するために、「IEをツールとして」というアプローチを提案するよ。これは、一連のツール呼び出しを利用する方法で、最初のツールはテキストと指示から表を生成し、次のツールは対応するPandasコマンドを作成するんだ。モデルはこのコマンドと元のテキストを使って最終的な答えを生成する。これらの方法は、タスクパフォーマンスの改善において有望な結果を示しているよ。

#実験設定と結果

私たちは、標準的なプロンプティング技術と「IEをツールとして」アプローチを使ってさまざまなモデルのパフォーマンスを評価したんだ。分析は、表生成とコマンド生成のパフォーマンスに焦点を当てていて、それぞれのタスクで各モデルを評価した。

正確な一致による測定は、モデルが指示と提供されたテキストに従って正しい数値の答えをどれだけ成功裏に生成できるかを評価するもので、私たちの結果は、すべてのモデルが「IEをツールとして」メソッドを使用することで著しい改善を見せることを示しているよ。特に大きなモデルは、ベースラインのセットアップと比較して一貫してパフォーマンスが向上したんだ。

#結論

要するに、私たちは「表を通した計算」データセットを作成して、情報統合を必要とする複雑なクエリに対するLLMの推論能力を評価したよ。タスクを小さなコンポーネントに分解することで、モデルのパフォーマンスをより効果的に分析できたんだ。「IEをツールとして」フレームワークは、ツールを連続して使用することでタスク解決を向上させることを示していて、LLMの複雑な推論タスクにおけるパフォーマンスを向上させるためのかなりの可能性を示しているんだ。

今後の研究では、テキスト内の複雑な集約指示を処理するために特に焦点を当てた新しいツールを開発することで、LLMのパフォーマンスを向上させることができるかもしれないね。