データサイエンスのタスクにおけるコードインタープリターを使ったLLMの評価

大規模言語モデル（LLM）は今、外部ツールと一緒に使われて複雑なタスクを処理しているんだ。でも、その能力を評価するのは難しく、弱点が見えにくくなってる。この記事では、データ関連のタスクにおけるコードインタプリタの使用についてLLMを評価するためのフレームワークを紹介するよ。このフレームワークにはデータセットと2つの評価モードが含まれてる。データセットはLLMと人間の協力で作られてて、インタラクティブなIPythonセッションを通じてリアルなワークフローをシミュレートしているんだ。2つのモードでは、人間の助けがある場合とない場合でLLMのパフォーマンスを評価するよ。このフレームワークを使って24のLLMを分析して、今後の改善に向けた洞察を提供するんだ。

ToolLLMやLangChainのようなLLMベースのエージェントは、ウェブブラウジングやコード解釈みたいなツールを必要とするタスクにLLMのスキルを活用してる。これらのエージェントは、効率的なワークフローを作るためにLLMに依存しているけど、実行可能なコードを生成したりコードインタプリタを使ったりする能力を測るのは難しいんだ。

この研究では、データ分析、可視化、機械学習のタスクを解決するためにコードインタプリタを使うLLMのスキルを評価することを強調するよ。これらのタスクは高度な指示のフォロー、推論、コーディング能力を求めるんだ。

現在のベンチマーク、例えばGSM8KやHumanEvalは、主に数学やコーディングタスクに焦点を当てている。役立つけど、実際のアプリケーションでコードインタプリタを使った複雑なワークフローを開発するLLMのスキルは捕らえられていないんだ。

最近の取り組みでは、数学やデータ分析に焦点を当てた新しいベンチマークを作ろうとしてるけど、単一の質問を見たり、データサイエンスについての限られた洞察を提供したりするものが多い。

このギャップを埋めるために、さまざまな相互接続されたタスクと評価方法を特徴とする詳細な評価フレームワークを紹介するよ。このベンチマークは、インタラクティブなIPythonセッションを使ってリアルなワークフローを反映させるユニークなLLMと人間の協力アプローチを用いているんだ。重要なPythonモジュール（Matplotlib、Pandas、PyTorchなど）に基づいた関連質問があるんだ。2つのモードと異なる出力のための特定のメトリックのセットを使うよ。

#ベンチマークの特徴

私たちのベンチマークは、インタラクティブなセッション、異なるPythonモジュールにまたがるさまざまなタスク、徹底した評価で構成されているんだ。ツール呼び出し率はこの概要には含めてないよ。

評価データセットは、まずデータサイエンスでよく使われる10のPythonライブラリを特定することから始めた。次に、高度なLLMに指示とJupyterノートブック形式のコードを生成させ、各ノートブックを10から15ステップに構造化して、徐々に複雑にしていったんだ。

LLMが生成したコンテンツのバイアスを最小化するために、人間の専門家と協力して、LLMが生成したコンテンツやオンラインリソースで見られる一般的なパターンに基づくテンプレートタスクを作成してもらった。このタスクは評価のためにさまざまなデータセットを使用できて、ベンチマークの多様性と質を確保しているよ。

私たちのベンチマークでLLMのパフォーマンスを包括的に評価するために、2つの評価モードを設けたよ：エンドツーエンドモードとオラクルモード。

エンドツーエンドモードでは、LLMが完全な問題に取り組み、指示に従ってコードを生成し、いくつかの関連質問にわたってインタプリタのフィードバックに基づいて出力を洗練させるんだ。

オラクルモードは、LLMが失敗したときに正しいコードを提供してガイド付き学習をシミュレートするよ。このフィードバックは、次のタスクで正しい例を使うのに役立つんだ。

#評価メトリック

私たちは、プロセス指向（例：ツール呼び出し率、実行可能率）と出力指向（例：数値的正確性、テキスコア、可視化スコア）の2つのタイプのメトリックを導入するよ。これらのメトリックを使ってモデルのパフォーマンスを深く分析することができるんだ。

この評価フレームワークを使って、19のLLMを分析したよ。結果は、オープンソースのLLMがPyTorchやTensorFlowのライブラリでうまく機能しないことを示唆していて、最高のオープンソースモデルはGPT-4に比べて10%遅れているんだ。

#研究の貢献のまとめ

1. コードインタプリタを使うエージェントのための新しいベンチマークを確立し、リアルな問題解決をシミュレートするインタラクティブなセッションを持つLLMと人間の協力アプローチを活用したよ。
2. エンドツーエンドモードとオラクルモードを組み込んだユニークな評価戦略を開発し、LLMのコーディング能力を測るための複数の評価メトリックを用意したんだ。
3. 24のLLMを使った実験で、オープンソースモデルがGPT-4に比べて特にモデリングタスクで大きく遅れていることがわかったよ。

#関連研究

LLMがコードインタプリタを呼び出す能力を測るためのいくつかのフレームワークが存在するけど、多くのベンチマークは推論、コーディング、ツールの使用を評価しているんだ。でも、指示に従ったりコーディングが重要なデータサイエンスのタスクでLLMの能力を効果的に測るものはないんだ。

CIBenchは、インタラクティブなIPythonセッションを通じてリアルなデータサイエンスワークフローをシミュレートし、広く使われているPythonモジュールに焦点を当てることでこのギャップを埋めようとしているよ。私たちの評価モードとメトリックを使うことで、LLMのパフォーマンスを包括的に見えるようにしているんだ。

#エラー分析とさらなる洞察

LLMのパフォーマンスを分析する中で、指示に従うエラー、幻覚エラー、推論エラー、基本的なコードエラーなどの一般的なエラータイプを特定したよ。これらはLLMの能力の限界を示していて、今後の開発に向けた改善点を浮き彫りにしているんだ。

また、評価中に試行回数を増やすことでモデルのパフォーマンスが向上することも観察したよ。これは、LLMがフィードバックから学び、デバッグ能力を向上させることを示しているんだ。

#結論

データサイエンスタスクにおけるLLMのコードインタプリタ使用を評価するためのベンチマーク、CIBenchを提案するよ。私たちの包括的な評価フレームワークはリアルなシナリオをシミュレートし、今後のモデル改善のための分野を強調しているんだ。

私たちの分析から得られた洞察は、エラー修正の改善、マルチラウンドインタラクション理解の向上、推論スキルの強化など、LLMの能力を高める方向性を示唆しているよ。