新しいベンチマークが視覚言語モデルの限界を明らかにしたよ。

大規模言語モデル（LLM）は、少ない例から素早く学ぶ能力を示していて、内部設定を変えずに新しいタスクに適応できるんだ。このプロセスはインコンテキスト学習（ICL）って呼ばれてる。最近、テキストと画像の入力を組み合わせた新しいモデル、ビジョン大規模言語モデル（VLLM）が注目されてる。これらのモデルは、視覚認識や推論の分野で進展してるけど、既存の研究は主に画像に関する質問に答えたり、画像の説明を作成することに集中していて、他の可能性のある応用があまり探求されてない。

この記事では、画像とテキストの両方を必要とするさまざまなタスクをテストするために設計された新しいベンチマークを紹介するよ。現在のVLLMの強みと弱みを明らかにして、最も高度なモデルでもこれらのタスクで苦労することを示したい。新しいICLタスクの幅広い範囲を提示することで、この分野の将来の研究にインスピレーションを与えたいと思ってる。

#背景と動機

#ICLの問題設定

私たちの研究では、事前学習済みのVLLMがいくつかの例を使って予測を行うシナリオを設定した。この状況は、モデルが追加の例なしに以前に学んだことだけに依存するゼロショットシナリオとは異なる。ゼロショットシナリオはよく研究されているけど、ICLの評価は同じレベルの注意を受けていない。

#ICL評価における一般的な行動

研究者たちは、VLLMがインコンテキストでどれだけよく学べるかを評価するために、いくつかの一般的なベンチマークを使ってきた。これらのベンチマークは通常、画像に関する質問に答えたり、それらの説明を作成することに焦点を当てている。しかし、これらのタスクはICLの能力を完全には捉えておらず、モデルに十分な挑戦を与えていないと主張する。

さまざまなベンチマークの結果を調べると、ほとんどのモデルはより多くの例を受け取るにつれて限定的な改善しか示さないことがわかった。既存のベンチマークは、VLLMがICLにおいて強力な能力を持っていると研究者に信じ込ませる可能性があるが、実際には主に出力フォーマットの改善を示しているだけで、コアのタスク解決能力は向上していない。

#私たちの新しいベンチマーク

VLLMのICL能力をよりよく評価するために、画像とテキストの両方を必要とするさまざまなタスクからなる新しいベンチマークを作成した。このベンチマークは、詳細の認識、情報に関する推論、長い文脈の扱いなどの課題をカバーしている。私たちの目標は、現在のモデルの能力と限界を正確に反映した評価を提供することだ。

#タスクの概要

ベンチマークには、異なるスキルを対象としたさまざまなタスクが含まれている。これらのタスクは、モデルが画像を説明する画像からテキストへの形式や、モデルがテキストプロンプトに基づいて画像を生成するテキストから画像への形式などがある。いくつかのタスクでは、モデルが画像内のオブジェクトを数える必要があるし、他のタスクでは、画像内の数字を使った基本的な数学問題を解くことが求められている。

VLLMがこれらのタスクでどれだけうまく機能するかを調べることで、彼らの強みや弱み、そしてマルチモーダルICLの全体的な現状について結論を引き出せる。

#主な結果

#タスクパフォーマンスの概要

私たちのベンチマークで最良のモデルをテストしたところ、ほとんどのモデルが異なるタスクでいくつかの例から学ぶ能力を示していた。しかし、特定のタスクに応じてパフォーマンスに顕著な違いがあることがわかった。

いくつかのVLLMは、より多くの例が追加されるにつれて大きな改善を示したが、他のモデルは一貫した学習を示すのに苦労した。結果は、進展がある一方で、多くのモデルが複数の例を効果的に活用することに困難を抱えていることを示唆している。

#例からの学習

結果は、より多くの例がパフォーマンスを助けることがある一方で、常にそうとは限らないことを示している。一部のタスクでは、あまりにも多くの例を追加するとパフォーマンスが低下し、モデルが一度に多くの情報を提示されると混乱する可能性がある。

興味深いことに、私たちのテストで最も強力なモデルはGPT4Vで、タスク全体で一貫して優れた成果を上げた。しかし、すべての個別のタスクで常に最高だったわけではない。

#さらなる分析

#迅速な概念バインディング

私たちのベンチマークの一つのタスクは、モデルが架空の名前を画像と素早く関連付けることに焦点を当てていた。結果は、VLLMがこれらの新しいタスク設定に直面したときに苦労したことを示した。迅速な概念バインディングタスクは、モデルが正確に学ぶために追加の努力を必要とした。

#マルチモーダルとテキストのみの学習の比較

画像ベースの学習とテキストベースの学習の違いをさらに調査するために、画像の代わりにテキストの説明を与えたときにモデルのパフォーマンスを比較した。結果は、モデルが通常テキスト入力の方が良いパフォーマンスを示すことを示していて、画像認識の追加の挑戦なしに推論にもっと集中できるからだ。

#例が増えることでのスケーリング

また、モデルが増えた例数でどうスケーリングするかを調べた。あるモデルは、より多くの例を得ることでパフォーマンスが向上したが、他のモデルは苦労した。パフォーマンスの違いは、複数の例を処理できるより良いトレーニング方法の必要性を浮き彫りにしている。

#質的分析

モデルが特定のタスクをどのように扱ったかを深く掘り下げて観察し、彼らが犯す共通の間違いをいくつか見つけた。たとえば、画像認識タスクでは、モデルがしばしば架空の名前ではなく現実世界のクラスを予測していた。この混乱は、モデルが学習する例が多いほど少なくなった。

画像内のオブジェクトを数えるタスクでは、モデルが質問を誤解したり、不正確なカウントを出したりすることもあった。これらの間違いは、オブジェクトの認識や学習例の具体的な記憶の難しさから来ている可能性がある。

#関連研究

VLLMが進化し続ける中、研究者たちはその能力を評価するためにさまざまなベンチマークを作成している。これらのベンチマークの多くは特定のタスクと単一画像のシナリオに焦点を当てていて、ICLの能力の評価はあまり探求されていない。私たちの作業は、テキストから画像、画像からテキストのタスクをカバーする包括的な評価を提供することによって、このギャップを埋めることを目指している。

#結論

私たちは、VLLMのマルチモーダルICL能力を評価するための新しいベンチマークを導入し、既存の限られた評価を超えた。私たちのベンチマークは、推論、知覚、長い文脈の扱いなど、さまざまなスキルをテストしている。

私たちの研究が、モデル開発者がICLのさまざまな課題に取り組む動機となり、実務者がVLLMの現在の能力と限界を理解するのに役立つことを願っている。研究が進むにつれて、私たちは将来的にもっと多くのタスクやモデルを含めるためにベンチマークを拡張することを目指している。