視覚データのための自己教師あり学習の進展

深層学習が研究から実世界の利用へ進んでいく中で、自己教師あり事前学習の方法がますます重要になってきてるね。特に画像に関するこの方法は、大量のラベルなし画像データをうまく活用するのに役立って、他のタスクでのパフォーマンス向上にもつながるんだ。この記事では、空間的推論に焦点を当てた新しい補助的な事前学習方法を紹介するよ。

提案されている方法は、空間的推論を追加のタスクとして取り入れて、柔軟なコントラスト学習のバージョンを使ってる。空間的推論は、重ならない画像のサンプルパッチ間の距離を予測するネットワークのことを指すんだ。このアプローチは、ネットワークが物体の詳細な表現やその部分同士の関係を学ぶことを促進する。実験では、同様の方法と比べてタスクのパフォーマンスが大幅に向上していて、空間的推論に関連するさらなる研究の可能性も示唆しているよ。

深層学習モデルがどんどん大きくなっていく中で、一部は何百万ものパラメータを持ってるから、ラベルなしデータが増えることに対処するためには、手動アノテーションを減らす効果的な方法が必要だよ。自己教師あり事前学習は、モデルが小さいラベル付きデータセットでファインチューニングする前に重要な特徴を学ぶのを助けるんだ。

自己教師あり学習の画像に対する主な方法は、生成的と識別的の2種類があるんだ。生成的な方法は、画像の欠損部分を再構築することに重点を置いていて、通常はパフォーマンスが良くなるけど、大きなネットワークとデータが必要になる。一方で、識別的自己教師あり方法は、明示的なラベルなしでデータのさまざまな特徴の違いをモデルに教える。ここでは、データを効率的に使える小さいサイズの識別的な方法に焦点を当ててるよ。

コントラスト学習は、自己教師あり画像学習で一般的な識別的アプローチなんだ。同じ画像の増強バージョンと異なる画像を区別することで、有意義な表現を作り出そうとする。深層学習モデルは、これらの表現を作るために画像の意味を理解する必要があるよ。分類ヘッドを使って、コントラスト目的を分類目標に変え、大きなバッチサイズなしでも強い監視信号を維持できるようにしているんだ。

画像の拡張プロセスは、画像からパッチを選んでリサイズすることで拡張されてきた。パッチと画像の両方の表現が同じエンコーダーネットワークによって予測された後、特定の方法でペアに結合される。パッチ集約は負のサンプルを使わず、コントラスト目的のために正のラベルがデフォルトになる。画像集約は距離のために擬似ラベルを使っていて、ペアが正か負かに基づくんだ。

この柔軟な定式化をうまく使うことで、分類ヘッドは同じ画像からランダムに選ばれた2つのパッチ間の相対距離を予測するんだ。この作業により、ネットワークが主要な物体やその部分間の空間的関係をより良く認識できるようになって、有意義な表現につながるんだ。パッチベースとフルイメージの表現を統合することで、他のものを凌駕する拡張された表現が作られるんだ。

推論段階での追加パッチ計算はもっと計算資源を必要とするけど、パッチ表現の数は厳しいタスクのために調整できるよ。代替アプローチとして、additive-patch-useっていう方法もあって、推論中の余分な計算を避けることができる。この作業のコードは、出版後にGitHubで共有する予定だよ。

要するに、貢献内容は以下の通りだよ：

• 既存のフレームワークに簡単に統合できる新しい方法「Spatial Reasoning」。
• 様々な評価シナリオで視覚的表現が改善され、トレーニング中の計算が減ること。
• 推論中の異なる計算ニーズに適応するパフォーマンス。
• 推論中の余分な計算を減らすadditive-patch-useっていう代替手法があって、パフォーマンスの損失は少ない。
• トレーニング中に使うパッチの最適なサイズと数についての提案。

#関連研究

自己教師あり事前学習を通じてより良い表現を作る進歩がかなりあったよ。この方法は、生成的アプローチと識別的アプローチに分類できる。現代のVision Transformer (ViT)アーキテクチャを使って、生成的手法で良い結果が得られてきたよ。例えば、ViTモデルは同じ画像のさまざまな変換を再構築できるんだ。でも生成的手法は高い計算力が必要で、特にトレーニング中は大変なんだ。

その一方で、モダンな識別的手法、たとえばMoCo v3とViTアーキテクチャを組み合わせたものも素晴らしいパフォーマンスを示しているけど、かなりの計算資源が必要だよ。例えば、基本的なViTモデルは8600万パラメータあって、他のモデルは3億までいくし、大きなバッチサイズも必要なんだ。ViTモデルを生成タスクでトレーニングするプロセスは不安定になることがあるから、データを効率的に使える小さいトランスフォーマーモデルをトレーニングする方が効果的なんだ。ResNetアーキテクチャのような畳み込みニューラルネットワーク(CNN)は、小さいデータセットでも競争力のあるパフォーマンスを発揮するよ。CNNは設計的に、ローカルな特徴や関係に焦点を当てるから、データや計算リソースが限られたシナリオにうまく適応できるんだ。

以前の研究では、パッチから空間情報を利用して自己教師あり学習の表現を改善することが検討されていたよ。いくつかのアプローチでは、ジグソーパズルを使って、ニューラルネットワークにピースの正しい配置を見つけさせていたよ。私たちの方法は、画像の限られた情報しか受け取らないネットワークを使うことで、部分的に見えない物体の構造に対してより深い推論を目指す点が特長なんだ。

物体認識タスクでは、パターンのような小さな詳細に焦点を当てるだけでは全体像が見えないことがある。伝統的な手法、例えばクロッピングを使うことが役立つかもしれない。Spatial Reasoningは、必要な物体情報と物体の部分間の空間関係を含む強力な監視信号とより意義ある表現を生み出すことを目指しているんだ。目的は、同じ画像からランダムに選ばれたパッチ間の距離を予測することなんだ。

#パッチとラベル生成

標準的な関係推論手法では、画像が何度も拡張され、すべてのバージョンがネットワークに入力されるんだ。他の画像とともにバッチに入れられる。全体のバッチサイズは拡張の数で掛け算されるんだ。私たちの方法は、パッチのためにランダムな位置を生成することでこれをさらに進めていて、最初の2つのパッチが重ならないようにしてるんだ。これでトリビアルな解決策を減らせるんだ。パッチは標準の入力サイズに合わせてリサイズされ、目標位置とともに保存されるよ。各パッチは色のジッターやグレースケール変換などの変換を受ける一方で、フルサイズの画像はその拡張スキームを維持するんだ。

パッチとその位置が生成されたら、標準の画像拡張と組み合わせるんだ。私たちの手法の別のバージョンは、選択したパッチを黒い画像の元のサイズに戻すことをする、additive-patch-useって呼ばれる方法だよ。

#パッチ位置予測

トレーニング中、パッチは拡張された画像とともにエンコーダーに入るんだ。表現の数は、拡張の数、各画像に生成されたパッチの数、ミニバッチサイズによって決まるよ。集約の後、2つの表現が分類ヘッドに入力される。生成されるペアの数は、ミニバッチサイズ、拡張、パッチによるんだ。標準的な集約関数がペアを生成し、各正のペアに対して負のペアが考慮されるんだ。

関係モジュールは、以前の設計から適応されて、複数のニューロンを含むように拡張されてる。1つのニューロンは正のサンプルと負のサンプルを分類し、他のニューロンは距離の座標を予測する。主な焦点は、フルサイズの拡張画像ペアだけが使われている場合でも、勾配が流れることを許可することなんだ。

#評価における動的な計算要件

推論中、画像はトレーニングで使われたのと同じサイズのパッチに分割される。選ばれたパッチは、フルイメージ表現と組み合わされるんだ。ほとんどの実験が9個のパッチを利用するけど、パッチの数が増えると計算コストが上がるよ。トレーニング中に生成されたパッチを2つだけ使用し、拡張を少なくしても、より多くの拡張やパッチを使用する方法と比べてパフォーマンスが向上するんだ。

空間的推論の目標は、ネットワークがパッチから表現を生成することで、距離の予測を正確に助けることなんだ。エンコーダーネットワークは、各パッチでどの部分の物体が表現されているのかを理解する必要があるよ。この情報が最終的な統合表現を向上させ、より意義のある結果につながるんだ。

#パッチサイズとパッチの数

以前の研究では、パッチサイズとパッチの数がパフォーマンスに大きな影響を与えることが示されているよ。tiny-imagenetの最適な結果は23から24ピクセルのパッチで見つかっている。小さすぎるパッチは物体情報が不足し、結果が悪くなるけど、大きすぎるパッチはタスクを簡単にし、監視信号の効果を減らすんだ。

このセクションでは、トレーニング中に取り出されるパッチの数がパフォーマンスにどう影響するかを話すよ。最適なパッチ数は3で、情報量とチャレンジレベルのバランスが取れてるんだ。

#Additive-Patch-Use

実験では空間的推論にいくつかの制限が示されて、ドメインシフトを減らすためにトレーニング中のパッチ数を制御する必要があることが強調されたよ。これに対処するために、additive-patch-useと呼ばれる代替手法がテストされた。この方法は、パッチを画像サイズに戻すことで、リサイズなしでトレーニングできて、ドメインシフトの影響を減らすのに役立つかもしれない。この新しいアプローチでは、画像を1回のフォワードパスで処理できるようになって、重要な情報を保持しつつプロセスをシンプルにしているんだ。

結果として、additive-patch-useを使うことで評価中のパフォーマンスが向上した。ただ、パッチが増えると重なりが生じて効果を維持するのが難しくなったんだ。全体的に、この方法を追加することで表現が改善される簡単な方法を提供できるよ。オリジナルの空間的推論手法と比べると限界はあるけど、推論中の計算ニーズを減らして、ハイパーパラメータの選択にも鈍感になるんだ。

#結論

この研究は、関係ヘッドを使って空間的推論を補助的な事前学習の目標として設計できることを示しているんだ。この方法により、視覚的表現が向上しながら、トレーニング中の計算負荷が軽減されるんだ。結果は、空間的推論がさまざまな評価において表現の質を大幅に向上させることを示しているよ。

トレーニングは計算的にそれほど厳しくないけど、推論中にはまだ高いコストがかかるし、パッチの数を設定するには注意が必要だよ。代替のadditive-patch-use手法はドメインシフトの影響を減らし、推論中の余分な計算を取り除くんだ。今後の努力は、パッチサイズのより良いサンプリング技術を定義したり、空間的推論をより標準的なフレームワークに統合したりすることに向けられるかもしれないね。

#追加情報

私たちは、異なるデータセットを使って2つの異なるノードで実験を行ったよ。一方のノードには小さいパッチ数用のRTX3080 GPUが、もう一方には強力なA100 GPUがあるんだ。トレーニング時間、学習率、オーギュメンテーション戦略は一貫していて、調整があったのはパッチ用の特定の拡張を削除したことだけだよ。各データセットは、提案された方法のパフォーマンスと効果を評価するための異なる課題を提供したんだ。

実験で使用されたデータセットは、CIFAR-100、CIFAR-10、tiny-ImageNet、STL-10で、それぞれが画像認識タスクに対して独自の特性や難しさを持っているんだ。この多様性が、現実的なシナリオでの方法の能力を包括的に評価することを可能にしているよ。