言語ツールを使ってビジョンモデルを分析する

ディープニューラルネットワーク（DNN）は、画像処理など多くの分野で役立つツールなんだけど、これらのネットワークが正しく動作しているかを確認するのは難しい。主な理由は、特に視覚的なタスクにおいて、これらのネットワークにどんなことをしてほしいかを明確なルールで説明するのが難しいから。そして、これらのネットワークは複雑で、決定をどうやって下しているかを見ることができないから、理解するのも大変。

この問題に取り組むために、研究者たちは視覚ベースのDNNを分析するために、ビジョン・ランゲージモデル（VLM）という新しいタイプのモデルを使い始めた。VLMは、大量の画像とその説明文を学習してるから、画像に関連する高レベルの概念を認識したり理解したりできる。VLMを使うことで、我々の期待を人間にも機械にも理解しやすい形で表現できるんだ。

#アプローチ

私たちの方法は、チェックしたい視覚モデルと、それを分析するためのVLMという2つの主要な要素から成る。私たちが注目しているのは、画像を入力にしてクラスを予測する画像分類器だ。これには2つの部分があり、エンコーダーが低レベルの画像データ（ピクセル値みたいな）を高レベルの表現に変換し、その表現に基づいて決定を下すヘッドがある。

一方、VLMは画像用とテキスト用の2つのエンコーダーを使って、両方の入力を共有の表現空間にマッピングする。これにより、コサイン類似度のような方法を使って、画像とテキストがどれだけ一致しているかを直接比較できる。

私たちは、人間が理解しやすい概念に基づいて仕様を書くための言語を開発した。たとえば、モデルに猫、犬、鳥、車、トラックを区別してほしい場合、"金属的"、"耳"、"車輪"のような概念を使うかもしれない。この機能的な仕様は、専門家がモデルに何を期待しているかを明確に表現するのに役立つ。

私たちの仕様言語の重要なアイデアの1つは、強度述語だ。この述語は、与えられたクラスに対して2つの概念間の関係を示す。たとえば、出力が"トラック"の場合、モデルは"金属的"や"車輪"にもっと注目し、"耳"にはあまり注目しないことが期待される。

#仕様のチェック

特定のプロパティを持つ画像をチェックするために、そのタスクを画像の表現とテキスト空間にエンコードされた述語の組み合わせとの類似性チェックに変換できる。これにより、VLMの共有空間を使って検証を行うことができ、スケーラブルな解決策になる。

私たちは、RIVAL-10というデータセットでトレーニングされた特定の画像分類器で技術を示した。CLIPモデルをVLMとして使用している。RIVAL-10は、より大きなImageNetデータセットから取られた小さなデータセットで、10クラスの豊かな視覚属性が含まれている。

#ニューラルネットワーク分類器

ニューラルネットワーク分類器は、入力（高次元ベクトルとして表現されることが多い）を受け取り、クラスラベルを出力する関数だ。分類プロセスは、各クラスのスコアを提供し、最も高いスコアのクラスがモデルの出力として選ばれる。

一般的に、ニューラル分類器は、入力から特徴を抽出するのを助けるエンコーダーと、最終的な分類を行うヘッドの2つの主要な部分から構成される。たとえば、畳み込みニューラルネットワークでは、エンコーダーは特徴を抽出する畳み込み層で構成され、ヘッドはクラス予測を導き出す全結合層で構成されることがある。

#コサイン類似度

コサイン類似度は、2つのベクトルがどれだけ似ているかを測る方法だ。2つのベクトルが与えられた場合、-1（完全に反対）から1（完全に同じ）までの範囲で、0は無関係を意味する。このメトリックを使うことで、異なる概念や表現がどれだけ関連性があるかを定量化できる。

#ビジョン・ランゲージモデル

CLIPのようなVLMは、画像とテキスト処理を組み合わせている。彼らは、画像とそれに対応するキャプションのペアを含む巨大なデータセットでトレーニングされている。特定の入力画像に対して、VLMは共有の表現空間での類似性に基づいて、その画像を最もよく表現するキャプションを決定できる。

ゼロショット分類を通じて、VLMは特定のトレーニングインスタンスを期待せずに画像を分類できる。画像の埋め込みを一連のクラスの説明と比較することで、VLMは画像に最も関連性の高いクラスを特定できる。

#仕様言語

私たちは、開発者がニューラル分類器に関する仕様を作成できる一階仕様言語を開発した。この言語は、人間が理解しやすい述語の表現をサポートしている。

仕様言語には、変数、概念名、分類ラベルが含まれている。開発者は、特定の概念がモデルの出力内でどのように関連しているかを表現する条件を書くことができる。これにより、チェックプロセスを自動化することが可能になる。

たとえば、猫、犬、鳥、車、トラックのクラスの分類器があるとする。これらのクラスに関連する概念を定義することで、これらの概念に基づくクラス予測に関して論理的な制約を表現できる。

#概念表現

ニューラルネットワークを分析するためには、彼らが学習する概念の表現を調査する必要がある。これには、VLMを使用して入力画像を意味のある概念表現にマッピングすることが含まれる。VLMは、予測されたクラスに関連する異なる概念の強度についての洞察を提供できる。

最近の方法を使って、視覚モデルとVLMの表現空間の間にマッピングを作成できる。この接続により、VLMが説明する自然言語の特性に関して、視覚モデルの特定のプロパティをチェックできる。

#マップの構築

視覚モデルとVLMの表現空間を一致させるために、私たちは2つをつなぐアフィン変換を学習する。このマッピングは、両方のモデルで同じ表現を効果的に比較していることを確認するのに役立つ。

学習したマッピングは、2つの表現空間の違いを最小限に抑える場合に最適であり、さらなる結果の検証を可能にする。

#検証プロセス

2つのモデルの間のマッピングが確立されたら、検証プロセスを実行できる。この検証は、設定した特性（仕様）が視覚モデルによって満たされているかどうかを特定することを目的としている。

このプロセスは効率的で、視覚モデルを直接検証するのではなく、VLMの表現空間でプロパティをチェックすることで検証タスクを減らすことができるため、計算コストがかからない。

#ケーススタディ

私たちのケーススタディでは、RIVAL10データセットでResNet18モデルを使用して私たちの方法を適用した。このデータセットには属性を持つ画像とラベルが含まれており、関連する概念を収集し、検証のための述語を作ることができる。

RIVAL10データセットで提供される属性を使用して、各クラスのための概念を選択する。たとえば、"トラック"の場合、"金属的"、"車輪"、その他のいくつかの概念を含めることがある。これにより、モデルの予測を効果的に検証するためのフレームワークが提供される。

#統計的検証

マッピングと述語が有効であることを確認するために、統計的検証を行った。RIVAL10テストデータセットを使用して、私たちが作成した強度述語がさまざまな画像入力に対して成り立つかどうかを確認した。

述語の満足度確率を測定することで、視覚モデルの予測が入力画像に基づく期待される特性と一致しているかどうかを評価した。満足度確率が高いほど、私たちの概念表現が信頼性が高いことを示している。

#検証の結果

我々の検証結果は、VLMを使用して得られた概念表現が高品質であることを強く示した。強度述語をテストした際、大多数が成り立ち、VLMが分類タスクに関連する概念を効果的にキャッチしたことを示している。

さらに、表現空間が完全に一致していない場合も観察され、モデル間の誤分類や不一致の可能性がある領域が明らかになった。これにより、モデルと仕様の両方の継続的な改善の必要性が強調される。

#視覚モデルの検証

私たちは検証の努力を広げてResNet18モデル自体の分析も含めた。埋め込み空間内の入力領域を定義することで、私たちの仕様が成り立つかどうかをチェックできた。

この検証プロセスでは、モデルが私たちが特定した関連概念に基づいて正確な予測をしているかどうかを判断できる。私たちの焦点は、発見の有効性を最大化するために、統計的に有意な強度述語に置かれた。

#結論

要するに、ビジョン・ランゲージモデルを活用することで、視覚ベースのディープニューラルネットワークを分析し検証するための効果的な手段を開発した。我々のアプローチは、明確で理解しやすい仕様の重要性を強調しつつ、VLMの能力を活用して検証プロセスを向上させている。

今後は、私たちの方法論をさらに洗練させ、より多くのマルチモーダルモデルやそれらの実際のアプリケーションを探求することを目指している。また、インディストリビューションとアウトオブディストリビューションデータを区別するなどの長年の課題にも取り組み、我々のモデルが安全にクリティカルな状況で機能することを確実にしたい。

この研究は、複雑なAIシステムと人間が理解できる概念の間のギャップを埋めるための一歩を強調しており、専門家がこれらのシステムを重要なアプリケーションで検証し信頼できるようにすることを可能にしている。