マルチモーダルモデルのための新しい評価ベンチマーク

最近の技術の進歩により、テキストと視覚情報の両方を理解し生成するように設計されたコンピュータシステム、つまりマルチモーダル大規模言語モデル（MLLM）が開発された。この研究分野は、画像や動画に関連する質問への回答など、さまざまなドメインで大きな可能性を示しているため、注目を集めている。でも、これらのモデルが異なる入力に基づいてどれだけ理解し、反応を生成できるかを評価する適切な方法がまだ必要なんだ。

#評価の必要性

MLLMを効果的に評価するには、性能に関する明確な指標を提供するベンチマークを作る必要がある。現行のベンチマークは限られた例や以前に開発されたテストに依存していて、オープンエンドの回答を生成する際のモデルの能力を十分に測定できていない。たとえば、既存のテストの中には、期待される回答と正確に一致する場合にのみ回答を正解とみなすものもあって、それがかなり制限的なんだ。

その結果、異なるモデルを比較したり、それらの強みや弱みを理解する上で課題が生じる。研究者がこれらのモデルの性能を正確に評価し比較できるようにするためには、より広範で客観的な評価が必要だ。

#SEED-Benchの紹介

これらのギャップを埋めるために、SEED-Benchという新しい評価ベンチマークを紹介する。このベンチマークは、慎重に人手で注釈された19,000の選択肢のある質問を特徴としていて、モデルが画像と動画の理解度を評価する12の異なる方法をカバーしている。

SEED-Benchの開発には、高品質の質問を生成するための詳細なプロセスが含まれている。自動化された方法と人間による検証を利用して、すべての質問が意味を持ち、関連性があることを確認している。このプロセスにより、人間や追加のAIの入力なしで、モデルのパフォーマンスを客観的に評価できるようになっている。

#SEED-Benchの設計

SEED-Benchは、複数の次元にわたる包括的な評価に明確に焦点を当てて構成されている。各質問は、視覚情報に関連する理解の特定の側面をテストするように設計されている。12の評価次元には、画像に関連する空間（スパイシャル）理解や動画に関連する時間（テンポラル）理解のさまざまなレベルが含まれている。

画像については、詳細な説明を抽出し、オブジェクトを特定し、視覚的要素を理解できる高度なモデルを使用して情報を収集している。動画については、既存の人間による注釈を利用して、アクションや時間的変化を捕らえている。この徹底したプロセスにより、生成される質問が挑戦的で洞察に満ちたものになる。

#評価次元

SEED-Benchは、空間と時間の2つの主要な理解タイプに焦点を当てている。

#空間理解

これは、モデルが画像をどれだけよく解釈し、推論できるかを表している。具体的には9つの領域がある：

1. シーン理解：モデルは画像内の全体的なシーンを理解できるか？
2. インスタンスの識別：モデルは画像内の特定のオブジェクトを識別できるか？
3. インスタンスの属性：モデルは色や形などの属性を説明できるか？
4. インスタンスの位置：モデルは画像内でオブジェクトがどこにあるかを特定できるか？
5. インスタンスのカウント：モデルは存在するオブジェクトの数を数えられるか？
6. 空間関係：モデルは異なるオブジェクトが互いにどのように関係しているかを理解できるか？
7. インスタンスの相互作用：モデルはオブジェクトや人の間の相互作用を認識できるか？
8. 視覚的推論：モデルは視覚情報に基づいて論理的な推論を行えるか？
9. テキスト理解：モデルは画像に含まれるテキスト要素を解釈できるか？

#時間理解

これは、モデルが動画情報をどれだけよく理解できるかに焦点を当てており、3つの領域がある：

1. アクション認識：モデルは動画内で発生しているアクションを識別できるか？
2. アクション予測：モデルは前の情報に基づいて動画内で次に何が起こるかを予測できるか？
3. 手順理解：モデルは動画から一連のアクションを理解して順序をつけられるか？

#質問と回答の生成

SEED-Benchの質問を作るプロセスには複数のステップがある。まず、画像や動画から視覚情報を集めて、それを基にAIモデルを使って質問を生成する。各質問には4つの選択肢があり、その中の1つが正解だ。

画像を使わずに正しく答えられる質問を避けるために、視覚的コンテキストがない質問を除外している。その後、人間の注釈者が質問を確認し、正確性を確認して適切な評価次元に割り当てる。

#データソース

ベンチマークを構築するために、豊富な視覚情報を含むさまざまなデータセットを使用している。これには、説明的キャプション付きの画像やアクションが注釈された動画が含まれている。使うデータセットには、意味のある質問を作成するために十分な詳細さと多様性があることを確保している。

#評価戦略

SEED-Benchを使用したモデルの評価は、体系的なアプローチに従っている。モデルに単に答えに対応する文字を選ばせるのではなく、各回答オプションの生成可能性を見ている。モデルの理解に基づいて最も高い可能性を持つ回答がその予測として選ばれる。この方法により、モデルの能力をより正確に評価でき、回答の順序に基づくバイアスを避けることができる。

#評価結果

SEED-Benchを使って18の異なるモデルをテストした結果、空間理解と時間理解の次元でさまざまなパフォーマンスレベルが観察された。これらのモデルには、言語に焦点を当てたアーキテクチャと視覚に焦点を当てたアーキテクチャが含まれている。

興味深いことに、いくつかのモデルは特定の領域で強力なパフォーマンスを示したが、全体として多くのMLLMは次元全体で高い精度を達成するのに苦労していた。たとえば、あるモデルは画像の全体的な理解においては良いパフォーマンスを示したが、特定のインスタンスやアクションの認識には苦しんでいた。

#評価の結果からの発見

1. 限られたパフォーマンス：ほとんどのモデルは多くの評価次元で50％を超える精度を達成しなかった。

2. グローバルな理解に強み：MLLMは特定のオブジェクトレベルの詳細よりも、画像の広い文脈を理解するのが一般的に得意だった。

3. トップパフォーマー：InstructBLIPのようなモデルは複数の評価次元で優れた結果を示したが、細かな理解が必要な領域ではまだ課題があった。

4. テキスト認識の課題：トップのモデルを除いて、多くが画像内のテキスト要素を認識するのに苦労していた。

5. 時間理解の困難：ImageLLMsとVideoLLMsは、動画内のタイミングやシーケンスを理解し推理するのが難しかった。

#結論

SEED-Benchは、生成的理解能力におけるマルチモーダル大規模言語モデルを評価するための包括的なベンチマークとして機能する。特定の理解の次元に関連する構造化された質問セットを提供することで、モデルの性能評価をより良く行い、将来の研究を前進させることを目指している。

SEED-Benchへの継続的な更新や追加を通じて、評価プロセスを洗練させ、これらのモデルが複雑な情報をどのように解釈し、相互作用するかに関する洞察を深めていきたい。最終的な目標は、MLLMの能力を向上させ、視覚的およびテキスト理解に依存するさまざまな業界にさらなる利益をもたらす進展に寄与することだ。