ビジョントランスフォーマーとビジュアルリレーションシップ

最近、ビジョントランスフォーマー（ViT）は、さまざまな画像関連のタスクで大きな成功を収めている。でも、異なるオブジェクト間の関係を理解するタスクには時々苦労することがある。そこで重要な疑問が浮かぶ：ViTは、2つの視覚エンティティが同じか異なるかを判断する必要があるとき、どうやって機能するの？

これまでの研究は、これらのモデルが処理する基本的な視覚特徴に焦点を合わせることが多かった。でも、今回は問題にアプローチを変えて、ViTが視覚関係を推理するために使う高次のプロセスを調べることにした。具体的には、画像内の2つのオブジェクトが同じかどうかを判断するという重要なタスクに注目した。私たちの発見では、事前訓練されたViTはこれらのタスクを区別する明確なルールを持っていないにもかかわらず、2つの異なる処理段階を経ているようだ。

#処理の2つの段階

処理の段階は以下のように説明できる：

1. 知覚段階：この最初のステップでは、モデルがオブジェクトのローカル特徴を見て、それらの特徴の明確な表現を作成する。ここで形や色に関する情報を集める。

2. 関係段階：2つ目のステップでは、モデルが最初の段階で作成した表現を比較し、オブジェクト間の関係を理解する。

興味深いことに、私たちは、事前訓練されたViTが抽象的な視覚関係を表現することを学ぶ能力を持っていることを発見した。これは、専門家たちが人工神経ネットワークの手の届かないところにあると考えていた能力だ。しかし、どちらかの処理段階で問題が起こると、簡単なタスクを解決する能力が妨げられることがある。

#視覚関係の理解

視覚関係は、画像に関する質問に答えるなどのさまざまなタスクにとって重要だ。例えば、「テーブルの上に皿は何枚ある？」と誰かが尋ねると、モデルは各皿を同じオブジェクトのインスタンスとして特定する必要がある。同様に、2人が同じ本を読んでいるかどうかも判断しなきゃいけない。2つのオブジェクトが同じか異なるかを特定する能力は、人間だけでなく、さまざまな動物種にも見られる重要なものだ。

#研究したタスク

私たちの研究では、ViTを2つの主要なタスクを通じて分析した：

1. 同一性識別タスク：このタスクは、2つのオブジェクトが形や色の点で同一かどうかを認識することに焦点を当てる。

2. 関係的サンプル対照タスク（RMTS）：これは、モデルがオブジェクトのペアを評価し、同一性または差異の概念を深く理解する必要がある、より複雑なプロセスを含む。

私たちは、モデルが使用するアルゴリズムがこれらのタスクのパフォーマンスに大きく影響することを観察した。

#技術と方法

ViTがオブジェクト間の関係をどう扱うかを理解するために、私たちはメカニスティック解釈の新しい方法を利用した。これらのモデルの内部の動作を調べることで、関係操作の実装に関する洞察を得ることができた。

#注意パターン分析

私たちが注目した重要な側面の1つは、ViTの注意パターンだった。注意ヘッドは、モデルが入力データの特定の部分に焦点を合わせるためのコンポーネントだ。これらのヘッドを2種類に分類した：

• ローカル注意ヘッド：これらは主に単一のオブジェクト内の特徴に焦点を当てる。
• グローバル注意ヘッド：これらのヘッドは異なるオブジェクト間の関係をチェックする。

これらのヘッドがモデルのいくつかの層を通じてどのように動作するかを観察することで、ローカル操作からグローバル操作への移行を見ることができ、先に述べた処理段階を示している。

#知覚段階分析

知覚段階では、トークン間の注意が主に同じオブジェクト内に留まる。この段階は、各オブジェクトの形や色を含む明確な表現を生成するためのものだ。私たちの目標は、モデルがこれらの特性をどれくらいよく区別できるかを判断することだった。

#分散アラインメントサーチ（DAS）

私たちは、形と色の観点からオブジェクトの表現がよく分離されているかどうかを特定するために、分散アラインメントサーチ（DAS）という方法を採用した。これは、あるオブジェクトの形を色から独立に操作できるかどうかをテストすることを含んでいた。

結果は、モデルの初期層が形と色のために分離された表現を作成することを示した。しかし、モデルが深くなるにつれて、これらの表現は決定を下すためにあまり明確で関連性が薄くなった。

#関係段階分析

関係段階では、モデルは単に特徴を認識するだけでなく、それらを比較し始める。ここでは、トークン間の関係により注意が払われる。私たちは、モデルの関係的タスクの実行能力が比較されているオブジェクトの特定の特性から抽象化できるかを探りたかった。

分析の中で、関係段階で行われる操作はやや抽象的であることが分かった。モデルは、個々のオブジェクトの前の記憶に依存せずに表現を比較することができた。つまり、異なる文脈で同じか異なる操作の理解を一般化できたということだ。

#中間判断のプロービング

私たちは、関係段階でモデルが行った中間判断が、オブジェクトペアの知覚的特性に関係なく一貫しているかどうかを確認するためにテストを行った。結果は非常に示唆に富んだものだった。モデルが使用する内部表現と、さまざまなタスクにおけるパフォーマンスとの間に明確な関連性を特定した。

#一般化とパフォーマンス

私たちの研究では、明確で区別された表現を持つことで、モデルが新しい状況に対してより良く一般化できることを示した。モデルのパフォーマンスを3つのシナリオでテストした：

1. 既知の形と色のペアを比較する。
2. モデルが以前に見たことのない新しいペアを評価する。
3. 完全に新しい形と色の組み合わせでテストする。

結果は、オブジェクトが形と色の観点でより明確に表現されるほど、モデルがさまざまなシナリオでタスクをうまく実行できることを示した。

#失敗モード

知覚段階または関係段階のいずれかで問題が生じることが明らかになった。私たちは、ゼロから訓練されたモデルが知覚から関係処理への明確な移行を示さないことを発見した。

これをテストするために、モデルがより良いオブジェクト表現を発展させるのを助ける補助損失を導入した。このアプローチは、識別タスクのパフォーマンスを改善する一方で、RMTSのようなより複雑なタスクには同様の利益をもたらさなかった。

#結論

私たちは、事前訓練されたビジョントランスフォーマーが同じ・異なるタスクに取り組むために2段階の処理パイプラインを利用していることを示した。彼らは最初に知覚処理を行い、オブジェクトの明確な表現を形成し、その後、関係処理に進み、これらの表現を比較する。私たちの発見は、モデルが知覚的特性をどれほどうまく分離できるかと、一般化されたタスクにおけるパフォーマンスとの間に顕著な相関関係があることを示している。

今後の研究では、なぜ一部のモデルが他のモデルよりも良いパフォーマンスを発揮するのか、そしてどのようにして彼らの複雑な視覚関係の理解を高められるかに深く掘り下げていくことができる。これらのモデルを改善することで、より広範なタスクに取り組む能力を持つ洗練された人工視覚システムの道を開くことができる。

#最後に考えること

画像認識と処理が進化を続ける中で、ビジョントランスフォーマーを研究することで得られる洞察は、人工知能、コンピュータビジョン、さらには認知科学などのさまざまな分野に大きな影響を与えることができる。これらのモデルが達成できる限界を不断に押し広げることで、視覚情報をよりよく理解するシステムの開発に向けて歩むことができる。最終的には、現実世界のシナリオにおけるアプリケーションへの彼らの潜在能力を活用することが目標だ。

機械が視覚データを解釈する方法を理解する旅はまだ終わっちゃいない。各発見は新たな疑問を呼び起こし、研究者たちを人工知能の向上を求める未踏の領域へと導く。視覚関係についての抽象的判断を行う能力は、人間のように考え、推論できる機械を作るための長い道の一歩に過ぎない。