マルチモーダル言語モデルの論理能力を評価する

大規模言語モデル（LLM）は新しい使い方がされていて、テキストと画像を組み合わせたマルチモーダル言語モデル（MLLM）も登場してる。これらのMLLMは両方の情報を使って、もっと複雑に考えようとしてる。でも、どれくらい推論が得意かはまだあまりわかってない。

この研究では、オープンソースとクローズドソースのMLLMが、視覚的思考を必要とする非言語的抽象推論タスクをどれくらいこなせるかを見てみた。ラベンの進行マトリックスっていうテストを使って、視覚パズルを提示して欠けている部分を答えさせた。結果は、これらのモデルがパズルを解くのが難しいことを示していて、オープンソースとクローズドソースのMLLM間でパフォーマンスに大きな差があることに気づいた。

さらに、モデルの視覚的部分とテキスト部分の両方に大きな弱点があって、それが性能に影響してた。MLLMをもっと良くするために、Chain-of-Thoughtプロンプティングみたいなさまざまな方法を試したら、性能がかなり改善されたよ。

#基盤モデルと推論能力

LLMや大規模視覚モデル（LVM）を含む基盤モデルは、人工知能に大きな影響を与えてる。これらは特定のタスクに対するトレーニングがなくても例から学べて、時には人間よりも上手くいくこともある。このモデルは、知識を思い出す明確な知能と、新しいクリエイティブな推論を含む流動的な知能の二つのタイプに対応してる。

最近、MLLMの開発が増えてきて、視覚情報とテキスト情報の両方を処理できるようになった。これにより、両方の入力を使ったより複雑なタスクを扱える可能性が広がった。非言語的抽象推論タスクは、視覚とテキスト情報を効果的に使う必要があり、流動的な知能を測るためによく使われる。

これまでの研究では、LVMやLLMがこれらのタスクを単独でどれくらいこなせるかを見てきたけど、この研究ではそれらを組み合わせた場合に何が起こるかに焦点を当てた。視覚的知覚は周りの世界を理解する手助けをし、言語はアイデアを考えるのをサポートする。

以前の研究からインスパイアを受けて、視覚的な手がかりと言語的な手がかりがどう協力して推論を改善できるかを探った。"MLLMは正確な非言語的抽象推論能力を持ってるのか？"っていう質問に答えたいと思ったし、推論に関する問題の理由や性能を改善するための戦略を試した。

#研究の貢献

いくつかの評価を行ったよ：

1. ラベンの進行マトリックスに基づく3つの異なるベンチマークを使って、24個の異なるMLLMの推論能力を評価した。
2. MLLMがテキストだけ、または画像だけを使った時のパフォーマンスを調べて、どちらかにエラーがあると全体的なパフォーマンスにどんな影響があるかを見た。
3. ゼロショット（トレーニングなし）とフューショット（少しトレーニングあり）シナリオでのMLLMのパフォーマンスを調べて、言語的理解と視覚的理解がどう一致するかについて明確な絵を描いた。

結果として、オープンソースのMLLMは非言語的抽象推論でかなり苦労してたのに対し、クローズドソースのモデル（例えばGPT-4V）はいくつかの有望な能力を示した。でも、どちらのグループも視覚的推論と言語的推論での顕著な弱点があって、それがパフォーマンスの悪さに繋がってた。さらに、クローズドソースモデルはテキストと視覚の理解の間にいくつかの整合性があり、ガイド付きプロンプトやデモを通じて改善が見られた。

#非言語的推論タスク

IQ50ベンチマークは、オンラインで見つけた50の視覚パズルを含む非言語的推論テストだ。それぞれのパズルは、グリッドに配置された画像で構成されていて、一つの画像が欠けてる。その欠けてる部分を特定するのが目標。各パズルには問題を説明するテキストやヒントも含まれているから、テキストと画像が推論プロセスでどう相互作用するかを分析できた。

RAVENはもう一つ使ったデータセットで、70,000のサンプルを含むパズルの大きなコレクションだ。IQ50と同じように、参加者はグリッドの配置に基づいて欠けている画像を選ぶ必要がある。全サンプルを評価するのは不可能だったから、各カテゴリから500の例に制限した。

中国の公務員試験から新しいデータセットも作成した。それには175の推論チャレンジが含まれていて、視覚的問題がある。このデータセットはもっと複雑で、さまざまな推論パターンを含むように設計された。

オープンソースまたは指示チューニングされた最先端のMLLMをいくつか評価することにした。目的は、非言語的抽象推論分野での能力に関する洞察を集めることだった。

#パフォーマンス評価

評価方法には自動スコアリングだけでなく、正確さと理解を確保するための手動検査も含まれていた。自動スコアリングのために、各モデルが特定の選択肢を選ぶ可能性を評価する方法を開発した。観察結果から、どのモデルもランダムなベースラインを一貫して上回ることはなかった。

モデルは異なるデータセットでパフォーマンスがまちまちで、多くはランダムな推測に比べてわずかにしか改善されなかった。一部のオープンソースモデルはクローズドソースのモデルと似たパフォーマンスを示したけど、IQ50ベンチマークを扱う際には一貫性と信頼性があまり見られなかった。

モデルのサイズがパフォーマンスにどう影響するかも見た。驚くことに、大きいモデルが必ずしも良い推論能力に繋がるわけではなく、これらのMLLMの真の推論能力に疑問を持たせる結果となった。

#手動検査と発見

深い洞察を得るために、モデルが生成した応答を手動で検査して、一貫性や正確性を評価した。この検査で、意味のある応答ができたモデルはほんの数個しかなかったことがわかった。

発見として、モデルは画像の形状を理解していることが多いけど、深い推論には苦労してることが示された。多くの応答はパズルがどんな形をしているかに重点を置きすぎて、どう解くかにはあまり焦点が当たってなかった。

#視覚とテキストによる推論の課題

MLLMは視覚とテキストの情報を組み合わせてるから、一方のエラーが全体のプロセスに影響することがある。テスト中、モデルにはテキストのみのサンプルを提供して、彼らのテキスト推論能力を特定した。そうしたら、クローズドソースのモデルが一般に良いパフォーマンスを示した、特にGPT-4Vがね。

私たちの研究は、オープンソースとクローズドソースモデルの間に推論能力に明確なギャップがあることを明らかにした。オープンソースモデルは適切な理解が欠けているようだった一方、クローズドソースモデルはより強力なパフォーマンスを示したけど、基本的なヒューリスティックアプローチを一貫して超えることはできなかった。

#MLLMの改善

MLLMのパフォーマンスを向上させるために、さまざまなプロンプトエンジニアリング技術を探った。構造化されたプロンプトを使ってモデルにより良い指導をすることによって、正確さが改善されるのを観察した。

特定の要素に注意を向けさせるプロンプトを使ったいくつかの設定を試したら、結果は修正ヒントを使った場合が他のプロンプト戦略よりも大幅にパフォーマンスを改善させることが示された。

インコンテキスト学習、つまりモデルがその場で学ぶための例を与えられる手法も検討した。私たちの研究では、いくつかのモデルが良いパフォーマンスを示す一方で、他のモデルは示された概念を理解するのに苦しんでいたという混合結果が出た。

#結論

この研究は、非言語的抽象推論タスクにおけるマルチモーダル大規模言語モデルの推論能力を評価した。私たちの発見は、オープンソースモデルがかなり苦労し、クローズドソースモデル（GPT-4Vのような）がいくつかの能力を示したけど、基本的なヒューリスティックを一貫して上回ることはできなかったということを明らかにした。

実験は、MLLMが視覚的詳細を正確に認識し、テキスト情報を通じて推論する際にどこで短所があるかを強調した。結果は、これらのモデルの改善が必要で、特に評価の基礎をしっかりさせることや、修正ヒントを提供する過程を自動化する可能性があることを示唆している。

結論として、MLLMはさまざまなタスクで期待が持てる一方、そのシンプルな知性の指標に対するパフォーマンスはかなり改善が必要な領域を示している。未来の研究では、これらの発見の広範な応用を考慮して、他の推論タスクをテストして、さまざまな分野で似たような課題が存在するかどうかを確認するべきだ。

#倫理声明

この研究には倫理的な考慮事項はない。