マルチモーダルモデルの評価方法を再考する

大規模マルチモーダルモデル（LMM）は、テキストと画像の両方を使って理解したり推論したりできる進んだツールだよ。これらは、画像といくつかの選択肢が付いた質問を使ってテストされることが多いんだけど、これらのテストには結果に影響を与えるバイアスがあることが多いんだ。驚くことに、画像を処理できない大規模言語モデル（LLM）が、これらのテストで良い成績を残すことがあって、評価の信頼性に関する懸念があるんだ。

テストプロセスを改善して、より信頼できるものにするために、エラーを最小限に抑えてLMMの評価を強化する新しいベンチマークを紹介するよ。このベンチマークでは、人間の注釈者が元の質問に知覚や知識に関する追加質問を加える丁寧なプロセスを経るんだ。これによって、モデルが本当に内容を理解しているのか、ただの推測なのかを確かめる手助けをするんだ。

#背景

標準化されたテストは、能力を測る正確さについて常に疑問を持たれてきたんだけど、この問題はLMMの評価にも拡張されるんだ。特に、GPT4-oやGemini-1.5のような人気モデルが評価される時にね。通常、これらの評価には、画像、質問、回答オプションが含まれたMCQがあって、他のテスト方法に比べて使いやすいんだけど、LMM用に設計された多くのベンチマークにはかなりの数のMCQが含まれていて、これがモデルの能力を本当に反映しているのか、特に人間のパフォーマンスと比較したときに疑問が残るんだ。

研究では、マルチモーダル評価にバイアスが含まれていることが示されていて、LLMが質問を正しく理解しなくても良い結果を出すことができることがあるんだ。例えば、一部の研究では、LLMが限定的な視覚情報でもうまくいくことがあると指摘されているんだ。私たちの論文は、MMM、ScienceQA、MathVistaという三つの有名なマルチモーダルベンチマークに焦点を当てているよ。

#現行ベンチマークの問題点

初期の研究では、LLMが視覚情報を処理することなく既存のベンチマークで高得点を取れることがわかったんだ。これはしばしばデータ漏洩や無関係な視覚要素、単に推測によるものだったんだ。LLMとLMMの間の小さなパフォーマンスの差は、これらのテストがモデルの能力を正確に評価していない可能性があることを示しているね。

一つの大きな問題は、評価におけるタイプIエラーの多発だ。これは、モデルが本質的な概念を理解せずに正しく答える場合に起こるんだ。例えば、モデルは角度の度数を計算できても、画像内の角度の名前を認識できないかもしれない。これは包括的な理解が欠けていることを示唆しているんだ。

これらの問題に対処するために、より正確にモデルの能力を評価できる新しいベンチマークを提案するよ。このベンチマークは、MCQ評価のシンプルさを維持しながら、理解を深めるための知覚と知識の質問を組み込んでいるんだ。

#新しいベンチマーク

私たちの新しいベンチマークには、評価されるモデルの真の能力を反映するために設計されたさまざまな質問が含まれているよ。各元の質問には、知覚の質問と知識の質問を追加して、三つ組の質問セットを作るんだ。この三つ組の質問を用いることで、モデルが単に推測することなく、本当の理解を示さなければならないようにするんだ。

このアプローチを使って、私たちは本当の理解とただの運を区別できる、より信頼できる評価システムを促進することを目指しているよ。

#方法論

#データソース

新しいベンチマークを作成するために、MMM、ScienceQA、MathVistaという三つの確立されたマルチモーダル評価データセットを使用したよ。これらのデータセットは、中学校から大学の学問的トピックやレベルをカバーしているんだ。

#注釈プロセス

私たちの注釈プロセスは、新しいデータセットの質を保証するためにいくつかのステップで構成されているよ：

1. データレビュー：注釈者はまず元の質問やその背後の概念に慣れ親しむ。
2. 質問作成：元の質問を理解した後、注釈者は元の質問に関連する知覚と知識の質問を作成する。
3. ダブルチェック：各注釈された三つ組は、独立したレビュアーがエラーや論理的不整合をチェックする検証プロセスを経る。

この厳格な方法によって、私たちのベンチマークが正確で信頼できるものにするんだ。

#評価指標

私たちのベンチマークには、真の正確さ（GA）と平均正確さ（AA）の二つの主要指標を提案するよ。GAは、モデルが三つ組の質問すべてを正しく答えられるかどうかを測る一方、AAは全質問を通じた総合スコアを計算するんだ。

さらに、追加された質問に基づいて知覚正確さ（PA）と知識正確さ（KA）を評価するんだ。整合性ギャップ（CG）は、モデルが元の質問と追加された質問の回答でどれだけパフォーマンスが異なるかを測るよ。

#実験設定

評価では、さまざまなLLMとLMMを元のベンチマークと私たちの新しい評価方法の両方でテストしたよ。モデルの出力を標準化するために、与えられた選択肢に基づいて回答を提供するよう指示する固定プロンプトフォーマットを使用したんだ。

#評価したモデル

オープンソースモデルとプロプライエタリモデルを混ぜて評価したよ。LLMの中には、QwenやLLaMAシリーズのバージョン、GPT-3.5-TurboのようなAPIモデルも含めたんだ。LMMでは、LLaVAやMiniCPMのようなモデル、それにGPT-4oのような高度なプロプライエタリモデルもテストしたよ。

#結果と議論

#パフォーマンス分析

私たちの発見は、元のベンチマークと新しいベンチマークの間に大きなパフォーマンスギャップがあることを示しているよ。例えば、先進的なモデルが元のベンチマークで高得点を取れる一方で、私たちの方法で評価するとパフォーマンスが大幅に低下することがわかったんだ。これは、元のベンチマークがモデルの能力を完全に捉えていない可能性があることを示しているんだ。

#整合性ギャップ

結果は、LLMとLMMの間に明確な整合性ギャップ（CG）があることも浮き彫りにしたよ。一般的に、LLMはより大きなCGを示し、これは彼らが教材を一貫して理解していないかもしれないことを示している。一方で、人間の専門家はより小さなCGを維持して、関連する質問と元の質問の両方を正確に扱う能力を示しているんだ。

この不一致は、私たちのベンチマークが本当に教材を理解しているモデルと、推測や運に頼るモデルを効果的に識別することを示しているんだ。

#結論

私たちの研究は、既存のマルチモーダルベンチマークの限界を明らかにし、LMMの評価の信頼性を向上させる新しい評価方法を提供するよ。知覚と知識の質問から成る三つ組の質問の概念を導入することで、モデルの能力をより正確に測定できるようにしたんだ。

私たちの実験からの結果は、先進的なマルチモーダルモデルでさえも私たちのベンチマークに苦しんでいることを示しているだけでなく、評価方法を洗練する重要性を強調しているんだ。この分野での研究が続く中で、私たちの提案するベンチマークは、LMMの能力に対するより深い洞察を促進し、この分野の将来の発展を導くことを目指しているよ。

#今後の方向性

今後は、追加の科目や多様な質問タイプを取り入れて新しいベンチマークを強化するためのさらなる探求を推奨するよ。注釈プロセスや方法論の継続的な改善も、マルチモーダルモデルの評価基準を高めることに寄与するんだ。

私たちの発見は、マルチモーダルな理解に対するさらなる調査を促しているよ。これは、人間のように推論や理解をシミュレートできるより洗練されたモデルを開発する上で重要な役割を果たすんだ。最終的な目標は、評価でうまくいくだけでなく、解釈している世界を本当に理解するモデルを作ることなんだ。