モバイル用にビジョントランスフォーマーをスケールダウンする

ビジョントランスフォーマー（ViT）は、画像認識みたいなコンピュータビジョン関連のタスクで人気になってるモデルだ。ViTはすごいパフォーマンスを見せてるけど、その大きさやスピードのせいでモバイルデバイスで使うのは難しい。ほとんどの研究はこれらのモデルを大きくて複雑にすることに焦点を当ててるけど、この論文はその逆の質問に目を向ける：ViTはどれだけ小さくできて、モバイルデバイスで役に立つのか？

この論文の目的は、モバイルアプリケーションを考慮して設計されたさまざまなViTをレビューすることだ。これらのモデルを小さくて速くするためのいろんなアプローチを見て、モバイル用のViTを作る際の課題も明らかにする。

#サイズとスピードの課題

ビジョントランスフォーマーは、画像分類タスクで高い精度を達成してるけど、計算資源を大量に必要とすることが多い。特にデスクトップコンピュータに比べて処理能力が限られているモバイルデバイスでは特にそう。高解像度の画像と多数のパラメータで、従来のViTは推論時間が長くて、モバイルアプリには実用的じゃない。

多くの人は、モバイルデバイスにおいてはCNN（畳み込みニューラルネットワーク）を使い続けている。だから、課題はViTを適応させて、精度やスピードを失わずにモバイルアプリでうまく動作させる方法を見つけることだ。

#モバイルフレンドリーなViTのアプローチ

ViTをモバイルデバイスに適したものにするための主な方法は、トレーニング後に既存のモデルを修正することと、モデルアーキテクチャ自体を変更することの2つだ。

#既存モデルの修正

このアプローチは、すでにトレーニングされたモデルを最適化することに焦点を当てている。量子化のようにモデルの数値の精度を下げたり、プルーニングのように不必要な部分を取り除いたりする技術を使って、既存のモデルを軽くて速くできる。

これらの修正は通常、モデルがトレーニングされた後に適用される。たとえば、研究者たちは、ViTのサイズを小さくしながら精度を維持する方法を開発している。この技術には、トレーニングやファインチューニングプロセスを通じてモデルを改善し、これらの変更後でもうまく機能するようにすることが含まれます。

#モデルアーキテクチャの変更

もう一つのアプローチは、モデルアーキテクチャを再設計することだ。これには、CNNとビジョントランスフォーマーを組み合わせたハイブリッドモデルを作ったり、処理を速くする新しいレイヤーを導入することが含まれる。

新しいViTモデルの中には、効率を高めるために設計の変更を使っているものもある。たとえば、Efficient-ViTは、深さ別の畳み込みレイヤーと線形注意メカニズムを使って、処理に必要なリソースを減らしている。EdgeNeXtも特殊なエンコーディング手法を採用してパフォーマンスを向上させている。

#主要な設計変更

いくつかの主要な設計変更が、モバイルアプリケーションに対してビジョントランスフォーマーをより効率的にするのに役立つ：

#レセプティブフィールドの増加

コンピュータビジョンの課題の1つは、計算負荷を増やさずに高解像度の画像を処理することだ。Efficient-ViTとEdgeNeXtはこれに対処するための設計変更を導入している。Efficient-ViTは、特定の畳み込みレイヤーと新しい注意メカニズムを組み合わせて、計算要求をあまり増やさずに能力を高めている。

#プーリングレイヤー

一部のハイブリッドモデルは、注意モジュールの後にプーリングレイヤーを組み込んで処理時間をさらに短縮している。たとえば、NextViTは畳み込みブロックとトランスフォーマーブロックを組み合わせ、プーリングレイヤーを使用して効率を改善している。PoolFormerは、性能を向上させつつパラメータを減らす修正されたトークンミクスチャメソッドを導入している。

#CNNの原則

LeViTはCNNの原則をトランスフォーマーの世界に持ち込み、注意をより効果的に管理するために畳み込みレイヤーを使用している。MobileViTは、構造化アプローチを通じてローカルとグローバルな特徴を組み合わせることに焦点を当てていて、モデルの画像理解能力を高めている。

#一貫したテンソル次元

EfficientFormerは、モデルのアーキテクチャ内で一貫した次元を維持することに取り組んでいて、スムーズな処理を可能にしている。これには、テンソルの次元に基づいて全体のネットワークを分割し、トークンの長さをより良く管理するために埋め込みレイヤーを使用することが含まれる。

#並列レイヤー

一部のモデルは並列処理の利点を活かしている。たとえば、Mobile-Formerは、ローカルとグローバルな画像特徴に同時に焦点を当てた2つのブランチを持っている。MixFormerも似たようなことをしていて、両方のブランチがより良い全体的な学習のためにコミュニケーションを取っている。

#トークン削減

トランスフォーマーで使用されるトークンの数を減らすことで、処理時間を大幅に減少させることができる。いくつかの方法は、類似性に基づいてトークンを統合することで、モデルを再トレーニングすることなく行うことができる。

#整数量子化

量子化は、モデルが予測を作るのにかかる時間を短縮するのに役立つ。ただし、整数だけの操作を使用することには課題もある。I-ViTは、整数のみの計算を可能にする新しい操作を導入してこの問題に取り組んでいる。

#スパースビジョントランスフォーマー

ビジョントランスフォーマーを最適化するための別のアプローチは、スパースニューラルネットワーク（SNN）を作ることだ。これらのネットワークは、モデル内のアクティブな重みの数を減らすことに焦点を当てている。スパース性は構造化または非構造化であり、構造化スパース性は重みのブロックに適用され、非構造化スパース性は個々の重みにターゲットを当てている。

これらのスパースモデルのトレーニングやファインチューニングは複雑で、特にViTに関しては、削減後に失われた精度を回復するためにより多くの努力を要する。

#注意の代替案

最近の研究では、従来の注意メカニズムの代替案が探求されている。いくつかの提案は、効率を向上させるために注意をゲーティングや他の方法に置き換えることを目指している。これらの代替案は、計算ニーズを大幅に削減しながらモデルパフォーマンスを維持することを目指している。

#結果の比較

さまざまなビジョントランスフォーマーモデルのモバイルアプリケーションにおけるパフォーマンスを調べると、スピードと精度の間で異なるトレードオフを持つ多くの選択肢があることがわかる。一部のモデルは高い精度を達成しつつ低遅延を維持していて、実用的なアプリケーションにより適している。

#結論と今後の研究

この調査では、モバイル用に設計されたビジョントランスフォーマーの現在の状態を概観している。いくつかの有望なモデルを観察したものの、スピードと精度のバランスを取ることにはまだ課題が残っている。

今後の研究は、トークン削減技術のさらなる精緻化、注意メカニズムの代替案の発見、広範囲な再トレーニングを必要としない適応を探ることに焦点を当てることができる。これらの分野での革新は、日常のタスクでの使いやすさを向上させるモバイルアプリケーションに特化したより効果的なビジョントランスフォーマーの道を切り開くかもしれない。