MMAUベンチマーク：言語モデルのスキルを評価する

MMAUベンチマークは、大規模言語モデル（LLMs）のスキルを評価する方法だよ。モデルが理解、推論、計画、問題解決、自己修正、画像やテキストみたいなさまざまな入力を扱う能力をどれだけよくできるかに重点を置いてるんだ。

このベンチマークで、"En."は絡み合った、"Dis."は分離されたって意味。各分野はモデルがそれぞれのタスクをどれだけ上手く管理できるかを評価するために、異なる方法でテストされるんだ。

#MMAUの能力

MMAUは、賢いエージェントに必要な重要なスキルをいくつか見てるよ。

#理解

理解は、どんな知能エージェントにも必要な基本的なスキル。MMAUでは、エージェントの理解を以下の点で評価するんだ：

• 複雑な指示のフォロー
• ユーザーの意図を把握
• 統計を読み解く
• 視覚情報の基盤をなす

#推論と計画

推論と計画は、エージェントがどう考えて論理的な結論を出すかを示してる。これらのスキルは他の能力と組み合わさることが多いから、別々に研究するのが難しいんだ。

これを解決するために、MMAUはプランナーシフトってタスクを使う。これにより、推論と計画を2つのステップに分けるんだ。最初のステップで、プランナーは問題に対処するための高レベルな計画を作るけど、最終的な答えは明かさない。そして2番目のステップで、ソルバーはその計画と元の問題を使って解決策を見つける。この設定で、推論と計画のスキルを明確に評価できるよ。

#問題解決

問題解決は、エージェントが計画を実行できるかどうかを測るんだ。これを評価するために、MMAUはソルバーシフトっていうタスクを使うんだけど、これも2つのステップがあるよ。ただし、今回はプランナーは同じで、違うソルバーを使って問題を解けるかどうかを見るんだ。

#自己修正

自己修正は、知能エージェントにとってもう1つ大事なスキル。エージェントがエラーを見つけて、それを修正するために学習できるかを示すんだ。MMAUでは、このスキルは特定の自己修正タスクで評価されるよ。

#データセットの構築

MMAUは、エージェントを正確に評価するために広範で深いデータソースが必要なんだ。データセットはさまざまなソースから作られてるよ：

1. 特定のタスクのための社内ツール使用データ。
2. Kaggleのデータを特定のタスクのために変換したもの。
3. 専用のデータセットからのコーディングコンテスト問題。
4. 別の専門的なソースからの数学の問題。

これらのデータソースはすべて、MMAUのタスクに合わせてキュレーションされてるんだ。

#ツール使用データ

ツール使用タスクのために、ユーザーがエージェントとクエリを通じて対話するシナリオからデータが生成されるよ。これには、関数の呼び出しやレスポンスの追跡が含まれるんだ。

データセットには、単一ステップとマルチステップの会話が両方含まれていて、各会話は標準化されたインタラクションパターンに従うように設計されてるから、モデルの応答を評価しやすくなってる。

#ツール使用のタスク

#ツール使用ベンチマーク

このタスクでは、エージェントがインタラクティブな環境でテストされるよ。リアルタイムのインタラクションの代わりに、モデルのレスポンスは期待される機能やパラメータに基づいて評価されるんだ。

#問題解析

このタスクでは、問題文とテストケースを提供するんだ。エージェントは、これらのテストケースの出力を予測しなきゃいけない。モデルが指示と意図を完全に理解できてれば、正しい予測を出すはずだよ。

#データサイエンスと機械学習

データサイエンスと機械学習のタスクのために、Pythonノートブックスタイルの会話データセットが作成されてるんだ。これらの会話には、コード生成のためのユーザーリクエストが含まれてて、テキストと画像の出力が得られるんだ。

#エンドツーエンドのコード生成とQA

この設定では、モデルがコードを生成して、そのコードに基づいて質問に回答することが求められるんだ。これでモデルの全体的な能力が評価されるよ。

#オラクルコードからのQA

このタスクでは、テキストと視覚情報をコード生成とは別に理解することに焦点が当てられてるんだ。オラクル出力は正しいコードを実行することで得られて、それがモデルの質問回答に使われるんだ。

#コンテストレベルのコーディング

コーディングコンテストでは、特定のプログラミング問題が選ばれてるよ。モデルはこれらの問題をどれだけ上手く解けるかで評価されるんだ。

#E2Eスタンダードタスク

このタスクでは、モデルがいろんなコーディングチャレンジに直面するよ。その解決策の成功は、コードが事前定義されたテストケースに対してどれだけよく動くかで評価されるんだ。

#プランナーシフトとソルバーシフト

これらのタスクは、モデルの計画と問題解決スキルを別々に測ることで、他のスキルからの干渉なしに各能力を明確に理解できるようにしてるよ。

#数学

数学分野は、慎重に選ばれた数学問題のコレクションに焦点を当ててる。これには、微積分、幾何学、統計など、幅広いトピックが含まれてるんだ。

#E2Eスタンダードタスク

このタスクでは、特定の方法を使って答えを生成しながら、正確さを重要な指標として測るよ。

#コンプヘンド+

コンプヘンド+っていう新しいタスクが開発されて、他のスキルから干渉を受けずに理解を評価することになったんだ。このタスクでは、数学的には簡単だけど言葉が複雑な問題が出されるよ。

#結論

MMAUは、さまざまなタスクにおける言語モデルのコア能力を評価するために設計された包括的なベンチマークだよ。各スキルを分解して独立に評価することで、これらのエージェントが異なるシナリオでどれだけ機能できるかをより明確に理解できるんだ。タスクとデータセットの慎重な設計によって、評価が徹底され、知能エージェントの能力がよりよく理解できるようになってるんだ。