CoAPT: 画像分類の新しい方法

CoAPTは、プロンプトチューニングにおけるコンテキスト属性ワードの略だよ。このアプローチは、特定のクラスの例が少ない場合や全くない場合に画像を分類する方法を改善するのに役立つ。CoAPTは、各クラスの特徴を説明する追加の言葉を導入して、調整に使われるプロンプトに追加するんだ。この方法は、プロンプトを使う他の既存の技術にも簡単に追加できるよ。

使う説明的な言葉は、大きな言語モデルによって生成される。この言葉を使うことで、CLIPというシステム内の画像により適した豊かなテキストクエリが作成できる。CLIPは、テキストと画像をつなげて、より効果的に比較できるようにする。

トレーニングプロセスでは、ソフトプロンプトと一緒に、テキストクエリとの関連性に基づいて各画像の特徴を調整する特別なネットワークを使用する。テスト結果では、CoAPTがさまざまなタスクにおいて画像分類を大幅に改善することが示されており、特に新しいクラスの画像を分類する際に効果的だ。

#視覚と言語のモデルの重要性

CLIPやALIGNのような視覚と言語モデルは、テキストを使って画像を分類するのをずっと簡単にしてくれた。これらのモデルは、画像とそれを説明する言葉を比較することで学習して、さまざまなタスクを理解するのに役立つ。彼らは、画像とテキストの説明がペアになった大規模なデータセットでトレーニングされる。

画像分類の場合、これらのモデルは、通常「クラス名の写真」というフレーズから始まるクラスのテキスト説明を作成する。この説明は、画像特徴と一致させて、正しく画像を分類するのに役立つ。

これらのモデルを特定のタスクに適応させる最もシンプルな方法の一つがファインチューニングだ。しかし、この方法は計算リソースを非常に要求する場合があり、モデルがすでに学んだ貴重な知識を失う可能性がある。

最近、研究者たちは固定されたモデルエンコーダーを使った追加のプロンプトを使用し始めた。これらのプロンプトは、テキストと画像のペア間のつながりを強化するのに役立つ。たとえば、例が非常に少ない画像を分類する際（少数ショット分類）には、ハードプロンプトとソフトプロンプトの2種類を使える。

ハードプロンプトは、慎重に選ばれた言葉から作られた直接的なテキストトークンから成り立っている。一方で、ソフトプロンプトは、学習によってトレーニングされる複雑な空間の調整可能なトークンだ。ソフトプロンプトは、手動で広範なテキストを作成することなく、タスクに柔軟に対応できる可能性がある。

ソフトプロンプトの効果は、どのように設計され、最適化されるかに大きく依存している。このため、少数ショット分類のためにソフトプロンプトを設定する最適な方法を調べる研究が多数行われている。

#CoAPTメソッドの概要

CoAPTは、ハードプロンプトを追加してソフトプロンプトを強化するように設計された方法だ。主なアイデアは、プレフィックスとソフトプロンプトを使用した後にプロンプトに残る空白を、特定のクラスに関連する説明的な言葉で埋めること。

既存のメソッド、たとえばCoOpは、利用可能なテキスト入力を最大限活用していない。これらの空白にハードプロンプトを追加することで、CoAPTは分類の精度を改善できる。

CoAPTはシンプルで、さまざまなプロンプトチューニングシステムに簡単に統合できる。特に一般化、クロスデータセットテスト、新しいドメインへの適応関連のタスクで、既存のメソッドよりも一貫した改善を示している。

#プロンプト学習の仕組み

プロンプト学習は、特定のフレーズをテキスト入力に追加してモデルに指示するアプローチから来ている。この技術を使うことで、事前学習された言語モデルが少数の例でさまざまなタスクに適応できる。

視覚と言語のモデルでは、ハードプロンプトを使って事前学習されたモデルがさまざまなタスクでどれだけうまく機能するかを確認する。一部のモデルは、特定のタスク用に入力と一緒にグローバルソフトプロンプトを使用する。他のバリエーションでは、特定の入力やクラスのためにソフトプロンプトを定義する。

研究者たちは、少数ショットの状況でモデルが適応するのを改善する効果的なテキストプロンプトを作成するさまざまな方法を調べてきた。たとえば、画像の説明やクラスについての既存の知識を利用して、より良いプロンプトを作成するかもしれない。

#CoAPTプロセス

CoAPTメソッドは、主に2つのステップから成り立っている。まず、言語モデルを使って各クラスの説明的な言葉を生成する。このステップは一度だけ行う。次に、プロンプト学習プロセス中に、これらの言葉をソフトプロンプトとクラストークンと組み合わせる。

これにより、より豊かなテキストクエリが作られ、モデルが画像をよりよく評価できるようになる。メタネットワークがこれらの結合されたクエリを処理して、結果をさらに微調整する。目標は、正しいクラスに焦点を絞ること。

#CoAPTの評価

CoAPTの効果は、いくつかの方法で検証できる。一つの方法は、基盤から新規への一般化で、モデルがどれだけうまく学習を一般化できるかをチェックする。これは、データセットをモデルが見たことがあるクラス（基盤）と見たことがないクラス（新規）に分けることが含まれる。

クロスデータセット転送では、モデルが新しいクラスを持つ異なるデータセットに学んだことをどれだけ適用できるかを見る。ドメイン一般化は似たような働きをするが、同じタスクの異なるスタイルに焦点を当てる、たとえば画像の外観を変えてみるといった感じ。

#実装の詳細

実験では、特定のモデルアーキテクチャであるViT-B/16を使用した。信頼性を確保するために、複数回の実行から得た結果を平均して方法をテストした。各テストでは、言語モデルを使って一連の説明的な言葉を生成した。

CoAPTの結果を他のモデルと比較する際に、ImageNet、Caltech101、OxfordPetsなどいくつかのデータセットに焦点を当てた。各データセットには独自の特徴があり、さまざまなタイプのデータでCoAPTがどれだけ良く機能するかを評価するのに役立つ。

#パフォーマンスの比較

CoAPTがさまざまなタスクでベースラインモデルとどれだけ良くパフォーマンスを発揮するかを示す結果を提示する。基盤から新規への一般化の結果は、CoAPTを追加することで、通常は既知のクラスと未知のクラスの両方に対して分類精度が向上することを示している。

クロスデータセット転送タスクにCoAPTを適用した際に、特にPromptSRCというベースラインモデルを使用した場合にパフォーマンスの改善が見られた。これは、強化されたコンテキストと適切なプロンプトチューニングの組み合わせが、新しいデータセットへの適応をより良くする可能性があることを示唆している。

しかし、いくつかのモデルではCoAPTがパフォーマンスを改善しなかった事例も見つかった。これは、属性ワードに特定の情報が含まれていて、特定のタスクでは役立たない可能性があるからだと思う。

#コンテキスト属性ワードの理解

コンテキスト属性ワードは、プロンプトの影響力を高めるために重要で、そうでなければ影響が少ない空白を埋めてくれる。大きな言語モデルを使ってこれらの言葉を生成することで、空白をより関連性の高い説明に置き換え、分類プロセスを改善することができる。

これらの言葉を生成するプロセスは、言語モデルをガイドする簡単なテンプレートに基づいている。これにより、異なるクラスで常に有用で関連性のある属性ワードを一貫して生成できるようになっている。

#画像へのクエリの適応

時には、属性ワードからの追加コンテキストがあまりにも一般的すぎて、モデルが特定の画像特徴にうまく一致しないことがある。これに対処するために、分類される特定の画像に基づいてテキスト特徴を適応させる。

これにより、テキストと画像の特徴がより良く一致し、分類精度が向上する。

#推論における属性ワードの使用

属性ワードを生成する際、出力がリクエストするたびに異なる場合があることに気づくことがある。トレーニング中は、語彙を一つの出力セットに固定できる。しかし、テスト中は複数のセットを使用し、平均結果を取ってより信頼性のあるスコアを得る。

CoAPTをさまざまなタスクやデータセットで評価し、一般化の精度向上を目指している。

#属性ワードの数の影響

実験では、コンテキスト属性ワードの数がパフォーマンスに大きく影響することがわかった。一般的に、より多くの属性ワードを使用すると、さまざまなタスクで精度が向上する。

研究によって、利用可能なコンテキストスロットを完全に埋める最大数の属性ワードを使用した際に、最高のパフォーマンスを達成できることが示された。

#CoAPTコンポーネントの調査

CoAPTの各部分がそのパフォーマンスにどのように寄与しているかを確認するために、各コンポーネントを個別にテストした。コンテキスト属性を追加し、メタネットワークからの特定の適応を組み合わせることで、最も大きな改善が見られた。

これにより、CoAPTの柔軟性がさらに強調され、他の方法との統合によって高い精度を達成できた。

#メタネットワークの評価

出力特徴を調整するメタネットワークのさまざまな構成についても調べた。メタネットの出力を適用するさまざまな方法をテストし、テキストクエリに特定のバイアスを追加することで最良の結果が得られた。

この調査は、モデルの調整に対してパフォーマンスを最大化するために正しい操作を選ぶことがいかに重要かを浮き彫りにした。

#属性生成のための言語モデル

異なる言語モデルが属性ワードの質にどのように影響するかを分析するために、さまざまなモデルを使ってコンテキストワードを生成した。より大きなモデルは、より良い属性ワードを生成する傾向があり、分類精度に役立った。

画像入力も使用するGPT4-Visionというモデルを使ったところ、新しいクラスに対する精度が向上した。これは、モデルに提供する入力指示が、より関連性の高い属性ワードを生成するのを導く可能性があることを示唆している。

#属性ワードの改善

あるモデルの言葉を別のモデルの言葉に置き換えることが分類性能にどのように影響するかを確認するために、定性的な分析を行った。これにより、どの特定の言葉が良い影響を与え、どれが悪い影響を与えるかを特定できた。

GPT4-Visionが生成した言葉に焦点を当てることで、GPT4-Languageが生成した効果の薄い言葉を置き換えると、さまざまなクラスで著しい改善が見られた。

全体として、明確な視覚的特性を持つ言葉が分類タスクにおいて良く機能することが明らかになった。

#まとめ

結論として、CoAPTという方法を紹介した。これは、ハードプロンプトとソフトプロンプトを組み合わせて画像分類を改善する手段だ。コンテキスト属性ワードを使うことで、CLIPモデルのテキストクエリを強化する。

CoAPTは実装が簡単で、さまざまな既存の方法に追加でき、テキストと画像の間の整合性をより良くする。実験の結果、CoAPTがさまざまなタスクの精度を大幅に高めることが確認された。

結果は、どの属性ワードが最も良く機能するかを理解することが、事前学習モデル内でのテキストと画像の相互作用における重要な発見につながることを示している。今後の研究では、分類をさらに改善するために最適なコンテキストワードを生成する探求を続けるべきだ。