空間的視覚曖昧性タスクでのビジョン・ランゲージモデルの評価

大きなビジョン・言語モデル（VLM）は、特に新しいタスクを学ぶ際に、コンピュータビジョンの多くのタスクにおいて重要なツールになってる。最近人気がある方法の一つが、インコンテキスト学習（ICL）で、これを使うとモデルは大規模な再トレーニングなしで新しい状況に適応できる。でも、重要な疑問が浮かぶ：これらのモデルは視覚的な例だけから新しいアイデアを学べるのか、それとも入力された情報に基づいて回答の出し方を変えるだけで、何も新しいことを学べないのか？

これをテストするために、Spatial Visual Ambiguity Tasks っていう新しいベンチマークを作った。このベンチマークは、VLMに画像で見えることだけを基にして新しい空間タスクを学ばせるもので、曖昧なテキスト説明も含まれてる。結果は、特定のトレーニングなしではこれらのモデルがうまく動作するのは難しいことを示していて、ファインチューニングをしてもタスクを理解するのが困難なことが多い。でも、カリキュラム学習っていう方法でトレーニング中に簡単なデータを追加することで、パフォーマンスが改善されることがわかった。

最近数年でVLMは大きく進化して、多くのコンピュータビジョンタスクでリーダーになってる。追加のトレーニングがほとんどない状態でも新しい分野でうまくいけるし、答えを瞬時に予測したり、少数の例から学んだりできる。だけど、空間情報はテキスト説明では曖昧なことが多くて、モデルが視覚的な例だけから新しい空間の概念を学ぶのは難しい。

VLMが情報を処理する際に、テキスト内の不明瞭な視覚参照の問題に注目した。これらのシステムに慣れてないユーザーは、モデルが実際には持っていない背景知識を持っていると思い込んでしまうかもしれない。例えば、新しい産業環境では「フィデューシャル」っていう用語がいろんなマークを指すかもしれなくて、文脈だけがどれを指してるのかを明確にできる。理想的には、ラベル付きの画像と一緒に視覚的な例を提供すれば、意味を明確にするはずなんだけど、これが成立するのはVLMがこれらの画像で提供された情報を正しく理解できるときだけ。

過去の研究では、大きな言語モデルは通常、与えられた例から期待される回答形式だけを学ぶことがわかってる。新たな研究でも、VLMが視覚的推論を必要とするタスクを完了するのが難しいことが示されていて、テキストだけで解決できない場合が多い。

この論文では、VLMの限界とICLが結びつくことで、新しいタスクへの適応能力がどう制限されてるかを見てる。特に、視覚的な手がかりが重要だけど、伴うテキストが曖昧なときがそうだ。Spatial Visual Ambiguity Tasksを導入して、VLMがこれらの課題をどれだけうまく管理できるかを評価してる。このベンチマークの各タスクは、限られた不明瞭なテキスト説明といくつかの視覚的な例を基にして、画像内の正しい空間的判断を見つけることを含む。タスクの難易度は、画像の複雑さや存在する気を散らすオブジェクトの数によって変わる。

これらのタスクで最新のVLMのパフォーマンスをゼロショット学習（特定のタスクに対する事前トレーニングなしでモデルをテスト）、直接ファインチューニング、カリキュラム学習を通じたファインチューニングの3つの異なるシナリオで評価する。実験の結果、最新モデルはゼロショットタスクで苦戦していて、ファインチューニングは結果を改善するけど、カリキュラム学習はさらに良い結果をもたらすことがわかった。

私たちがデザインしたベンチマークは、VLMがICLを使ってあいまいな空間推論を理解するタスクをどれだけうまく扱えるかを評価するもの。その内容は、モデルが例から画像内のオブジェクトの正しい位置を学ぶ必要がある分類タスクになってる。タスクの難易度は、テキストにどんな情報があるか、オブジェクトの性質、背景の複雑さによって変わる。たとえば、これらのタスクの主な目標は、オブジェクトが「正しい」場所にいるかどうかを決定することで、これは明示的に示されてなくて、与えられた例から推測しなきゃいけない。

この研究の革新的な点は、VLMが視覚的な手がかりと限られたテキスト情報を通じてこういった微妙なタスクをどれだけ学べるかを分析してるところ。さまざまな設定でモデルのパフォーマンスを評価し、カリキュラム学習が彼らの学習プロセスをサポートする役割に焦点を当ててる。

実践的には、タスクを構築する際に、モデルの空間推論の理解度を測るために、画像や質問を多様性を持たせる必要があった。各タスクファミリーは、特定の難易度に合わせて設計されていて、背景画像の複雑さや気を散らすオブジェクトの数などの要素を慎重にコントロールしてる。たとえば、簡単なタスクは単純な背景に対して基本的な形を特定することを含むかもしれないが、より複雑なタスクは詳細なシーンの中に複数の現実的なオブジェクトを含むことがある。

これらのタスクでのモデルのパフォーマンスは、現在の限界を明らかにしてる。ゼロショット設定では、事前トレーニングされたモデルはかなり苦戦していて、わずかにランダムな推測よりほんの少し良い結果を出すものしかなかった。MiniCPMモデルは総合的に最高の結果を示した。でも、これらのタスクでモデルを直接ファインチューニングすると、全体的に改善が見られた。

面白いことに、カリキュラム学習を適用することで（簡単なタスクから始めて徐々に難易度を上げる）、モデルがより高い精度を達成できることがわかった。このアプローチは多くのモデルにとって有益で、空間推論の課題におけるパフォーマンスを向上させる有望な道だ。

私たちの研究は、あいまいな視覚タスクを扱うVLMの現在の能力を明らかにしようとしたが、明確な限界がある。すべてのタスクのバリエーションを試すことや、視覚推論においてさらなる可能性を持つかもしれない大きなモデルを評価することはできなかった。しかし、今までの結果は、構造化されたカリキュラムでVLMを教育することがその能力を向上させる効果的な戦略であることを示している。

要するに、私たちはSpatial Visual Ambiguity Tasksのベンチマークを導入して、ビジョン・言語モデルがインコンテキスト学習を通じて新しい空間概念をどれだけ学べるかを測定した。私たちの発見は、これらのモデルが補助的なトレーニングなしで視覚入力だけであいまいな空間推論を扱うのが難しいことを示している。しかし、カリキュラム学習を使うことで、彼らのパフォーマンスを大幅に改善することが可能だ。

これらの結果は、実生活のアプリケーションで複雑な視覚タスクを効果的に扱えるVLMの開発に継続的な作業が必要だという重要な必要性を示してる。今後の研究は、私たちの発見を拡張して、より挑戦的なタスクを導入したり、これらの方法を実世界のデータに適用する方法を探求したりできる。技術が進歩する中で、あいまいな状況を明確さと正確さで処理できるモデルを作ることが、さまざまな分野での実用的な使用にとって重要になるだろう。