画像分類におけるシャープ化コサイン類似度の評価

畳み込み層は、多くのコンピュータビジョンタスクで画像を分類するための主要なツールとして使われてきた。最近、従来の畳み込みアプローチに代わる新しい手法、シャープコサイン類似度（SCS）が提案された。多くの報告によると、SCSは画像の特徴を検出するのにより良い方法かもしれない。しかし、SCSを含むニューラルネットワークの性能を、従来の畳み込み層を使用するものと比較する徹底的な研究は、今まで行われていなかった。

#私たちがやったこと

私たちの研究では、SCSのパラメータがどのように機能するか、そしてSCSがCIFAR-10データセットでテストしたさまざまなニューラルネットワーク設計の畳み込み層に簡単に置き換えられるかを調べた。SCSは精度を大きく向上させるわけではないが、データの明確な表現を示すかもしれないことがわかった。また、SCSは敵対的攻撃に対するモデルの防御にいくらかの利点を提供することがあると観察した。

#背景

何年もの間、畳み込み層はニューラルネットワークにおける画像分類の基盤となっていた。これらの層は、画像をスライドさせて、画像が特定のパターンや「カーネル」とどれだけ似ているかを計算することで機能する。しかし、専門家の中には、畳み込み層が画像をフィルタリングするのは得意でも、特徴を検出するには最適ではないかもしれないという意見がある。畳み込み層の働き方が、感度の増加や一般化の悪さといった問題を引き起こす可能性が懸念されていた。

それに応じて、研究者たちは、2つの信号がどれだけ似ているかを測定するコサイン類似度を代わりに使うことを提案した。コサイン類似度の利点の一つは、制約があるため、モデルのパフォーマンスの変動を減らすのに役立つ可能性があることだ。

この考えに基づいて、研究者たちは標準のコサイン類似度を改良した、シャープコサイン類似度というバージョンを提案した。これは、元のベクトルの方向を保ちながら、類似度スコアを特定のべき乗に引き上げることを目的としている。

2020年2月の研究では、SCSカーネルは1次元ベクトルでテストした際、標準の畳み込みカーネルよりも特徴をより正確に検出することが示された。この考えから、畳み込み層をSCSに置き換えることで予測精度が向上するか調査することにした。

#関連研究

SCSについての初期の議論以来、多くの人々がさまざまなモデルでSCSを使用しようと試みている。初期の結果は、SCS層を使用することでパラメータを節約できることを示しており、これは限られたリソースで作業する際に有利である。たとえば、ある研究では、1,400未満のパラメータを持つSCSベースのモデルでMNISTデータセットにおいて99%の高精度を達成した。また、SCSネットワークは解釈可能な重みを提供し、データの正規化なしでうまく機能するようだ。

CIFAR-10データセットでは、SCSを使用したモデルが25,200パラメータで80%の精度を主張した。しかし、SCSネットワークを大規模データセットにスケールアップしようとしたところ、一般的に畳み込みベースのモデルよりもトレーニングに時間がかかることが明らかになった。これは、SCSの冪乗演算がGPUの並列処理能力とうまく機能しないからだ。

いくつかの研究では、SCSが既存のアーキテクチャと比較してモデルの精度を改善しないことがわかった。他の研究者は、SCSが非線形活性化関数、ドロップアウト層、または正規化層なしでも良好に機能することを指摘した。研究者たちはResNetやGANなどのさまざまなアーキテクチャにSCS層を追加する実験を行ったが、結果はまちまちだった。

#私たちのアプローチ

SCS層を調べるために、テスト用の2つの主要なネットワーク設計を使用した：10万パラメータのSCSネットワークと約1160万パラメータのResNet18ネットワーク。また、異なるパラメータ数の他のSCSベースのモデルも試して、その性能の変化を見た。CIFAR-10データセットをテストのベンチマークとして利用した。

各モデルバリアントについて、畳み込み層かSCSを使用する設定、MaxPoolingかMaxAbsPooling、非線形活性化関数を組み込むかどうかを変更した。各モデルを指定されたエポック数だけトレーニングし、それらの精度、損失、トレーニング時間を記録した。

#初期実験

まず、モデル内でSCS層をテストした。結果は、SCSネットワークは畳み込みネットワークと比較して最適な精度に達するのに一般的により多くの時間がかかることを示した。SCSベースのモデルは畳み込み層と同様の精度レベルを達成したが、非線形活性化関数を必要とせず、畳み込み層は最適に機能するためにこれらの関数が必要だった。

興味深いことに、私たちのモデルの一つでは、MaxAbsPoolを使用した標準の畳み込み層が精度の低下を引き起こすことが判明したが、ResNet18アーキテクチャではこのようなことはなかった。

SCSネットワークは一般的にトレーニングに時間がかかったが、評価中には時々より早くパフォーマンスを発揮することがあった。これは、特定の状況でSCSが利点を提供する可能性があることを示している。

#コサイン類似度 vs. シャープコサイン類似度

私たちは、SCSがピーク性能のためにReLUのような活性化関数を必要としないように見えることを発見した。SCSは自身の活性化関数として機能できるからだ。これは、シャープでないコサイン類似度の精度をReLUあり・なしで比較したときに明らかで、シャープバージョンがより良い結果を出すことを示していた。

#重みの規範と解釈可能性

SCSがモデルの重みにどのように影響するかを理解するため、SCSベースのネットワークと標準の畳み込みネットワークの重みを比較した。SCSベースのモデルをトレーニングしたとき、重みが安定したままであったが、事前にトレーニングされた畳み込みモデルの重みは大幅に増加した。この発見は、SCSモデルが畳み込みモデルよりも大きな重みをよりよく耐える可能性があることを示唆しており、特徴検出における感度を改善するのに役立つかもしれない。

また、モデルの意思決定を可視化するサリエンシーマップを通じて、両方のタイプのモデルの解釈可能性を調べた。私たちの発見は、SCSモデルが畳み込みモデルの散らばったマップと比較して、より集中したサリエンシーマップを生成することを示していた。これにより、SCSはモデルが画像の重要な部分に集中するのを助けるかもしれない。

#敵対的堅牢性

SCSネットワークの解釈可能性と堅牢性をさらに評価するため、さまざまな強度の敵対的攻撃にさらした。結果は、SCSベースのモデルが畳み込みベースのモデルよりも敵対的攻撃に対してより耐性があることを示した。

#フォローアップ実験

フォローアップのテストでは、私たちの初期の観察が真実であるかを確認するために、4つの追加のSCSモデルに同じ方法を適用した。また、SCSに似た動作をするシャープSDPという代替レイヤーのアイデアも探った。さまざまなモデル間で、SCSは追加の活性化関数を必要とせずに一貫してより良い精度を生み出すことがわかった。

全体として、SCSを使用したモデルはより明確な表現を学習する能力を示した。私たちはこれらのモデルを敵対的条件下でもテストし、初期のテストとは異なる結果を得た。この不一致は、SCSネットワークの堅牢性に影響を与える要因についてさらなる研究が必要であることを示している。

#考察と今後の方向性

私たちの研究から、SCSの性能についていくつかの結論を引き出せる。まず、SCSは従来の畳み込み層と比較して精度を大きく上げるわけではない。次に、SCSモデルはトレーニングに時間がかかることがあるが、評価時間が短縮されることが多い。三つ目に、SCSは追加の正規化や活性化関数なしでうまく機能する。四つ目に、SCSは学習したデータのより明確な表現を生み出す傾向がある。最後に、いくつかのケースで、SCSは敵対的攻撃に対してより堅牢なネットワークを生み出す可能性がある。

ただし、これらの観察は絶対的なものとして見なすべきではなく、SCSの性能はネットワークアーキテクチャや他の要素によって変化する可能性がある。これは、SCSを使用するためのベストプラクティスを開発し、SCSのユニークな利点を完全に活用できる新しいアーキテクチャを作成するためにさらなる作業が必要であることを示している。

今後の有望な方向性の一つは、SCSを既存のテキストモデルに適用することで、より明確な表現を提供できるかもしれないということだ。別の調査対象として、マルウェア検出システムやさまざまなタスク用に設計されたトランスフォーマーモデル内でSCSを使用することが考えられる。

結論として、SCSはそのユニークな特性と潜在的な利点をもって、従来の畳み込み層の代替手段としての可能性を示している。