Self-TPT: プロンプトチューニングへの新しいアプローチ

Self-TPTは、視覚-言語モデルのプロンプト調整を簡素化し、スピードと効率を向上させる。

Yuhan Zhu, Guozhen Zhang, Chen Xu, Haocheng Shen, Xiaoxin Chen, Gangshan Wu, Limin Wang

2025-06-29T10:40:24+00:00 ― 1 分で読む

オープンセット画像分類
TPTとSelf-TPTの比較
実証分析とパフォーマンス
ビジョンと言語モデルにおける関連研究
テストタイムアダプテーション技術
Self-TPTのパイプライン概要
コントラストプロンプトチューニング
グラデーションマッチング
実験のセットアップとデータセット
一般化と適応に関する所見
限界と今後の作業
結論
オリジナルソース
参照リンク

ビジョンと言語のモデルは、適切なテキスト指示を受けることで、追加のトレーニングなしに画像を分類するのが得意なんだ。でも、テスト中にこれらのプロンプトを調整する過去の方法は、各画像ごとに調整が必要で、遅くて実用的にスケールしにくいんだよね。

そこで、自己教師あり学習を使ってプロンプトチューニングを速く簡単にするフレームワーク「Self-TPT」を提案するよ。Self-TPTの主な特徴は、各画像ごとに重い計算をする必要がなくなって、クラス調整をもっと効率的に行えることなんだ。

Self-TPTは、基本的なデータでのトレーニングから始まって、自己教師あり学習と通常の分類タスクを組み合わせる。次に、テスト中に新しいクラスに適応するために自己教師あり学習のタスクを使うんだ。特に「Contrastive Prompt Learning (CPT)」というタスクを作ったんだけど、これは似たクラスを近くに保ちながら、異なるクラスは離して学ぶことに焦点を当ててる。

このコントラストタスクは、トレーニング中にモデルを調整する他の方法と似たように動くことがわかったから、効果的に機能する理由が説明できるんだ。それをサポートするために、グラデーションマッチングロスを追加して、タスク同士の相性をさらに良くしているよ。

Self-TPTは3つの難しいベンチマークでテストされて、予測にかかる時間が短縮される一方で、結果の精度も抜群で、効率とパフォーマンスのバランスをうまく取ることができたんだ。

オープンセット画像分類

画像分類はコンピュータビジョンの重要な領域なんだ。CLIPのようなビジョンと言語のモデルは、画像データとテキスト記述を組み合わせて、正確にカテゴライズするのに効果的なんだけど、入力クラスに対する効果的なプロンプトを作るのはめっちゃ手間がかかる。

最近の研究では、連続テキストベクターをプロンプトとして使うことが検討されていて、これによってタスクに特化したプロンプトを自動的に生成することで結果が改善されることがある。でも、これらの方法はすべての可能なクラスをカバーできない場合があって、オープンセットの条件下ではパフォーマンスが落ちちゃう。

テストタイムアダプテーション（TTA）への関心も高まっているんだけど、これはテスト中に異なるデータセットにモデルを調整する方法なんだ。テストタイムプロンプトチューニング（TPT）は、新しいクラスが出現したときにプロンプトを微調整するために導入されて、オープンセットのシナリオでの一般化を向上させることができるよ。ただ、TPTは各テストサンプルごとにモデルを何度も通す必要があるから、かなりの計算リソースが必要で、遅延やメモリ使用量が大きくなっちゃう。

TPTとSelf-TPTの比較

TPTでは、プロセスは3つの主な段階から成っている。まず、ソースデータを使ってプロンプトを学ぶ。次に、これらのプロンプトを新しいテストサンプルに適応させ、最後にその特定のプロンプトを使って予測を行うんだ。TPTの欠点は、テスト中にかなりの計算能力が必要なため、リソースが限られた環境では展開が難しいことなんだよね。

一方、Self-TPTはより効率的なアプローチを活用してる。適応中はあらかじめ定義されたクラス名のみに集中して、個々の画像ごとにプロンプトを変更する必要がなく、すばやく予測ができるんだ。この変更によって、テスト中の計算負荷が劇的に減少するんだよ。

自己教師あり学習の部分では、コントラスト学習のような方法を使って、モデルが効果的に分類できるように学習するんだ。同じクラスの埋め込みは近くに、異なるクラスの埋め込みは明確に離れるべきだと考えてる。

これを実装するために、コントラストプロンプトチューニング（CPT）タスクを導入するよ。CPTでは、トレーニング中にクラストークンの異なる配列を使ってペアを作って、モデルの学習を助けるんだ。

実証分析とパフォーマンス

研究によると、CPTは分類タスクと密接に関連していて、適応中に効果的な理由を説明する助けになっている。さらに、グラデーションマッチング（GM）ロスも追加して、CPTタスクと分類タスクのグラデーションが似た状態に保たれるようにしてるよ。

Self-TPTのパフォーマンスを、クロスデータセット、ベースから新クラスへの一般化、ドメイン一般化など、さまざまなベンチマークでテストした結果、Self-TPTは前の方法を常に上回って、全ての主要ベンチマークで精度が向上したんだ。

さらに、Self-TPTは驚くべき効率を示して、伝統的なTPT方法と比べてずっと速い推論スピードを達成し、必要なメモリも大幅に減少した。この結果は、Self-TPTが現実のアプリケーションでビジョンと言語モデルを展開するのに強力なソリューションであることを示唆しているよ。

ビジョンと言語モデルにおける関連研究

最近のコンピュータビジョンと自然言語処理の進展は、ビジョンと言語モデル（VLM）の開発を急増させた。これらのモデルは、画像とテキストのペアの大規模データセットを組み合わせて、多モーダル情報を理解し処理するんだ。CLIPのようなVLMは非常に効果的であることが証明されてるけど、適応可能なプロンプトを作るには挑戦があるんだ。

現在のプロンプト学習の方法は、見たクラスに対してオーバーフィッティングを引き起こすことが多くて、新しいクラスのパフォーマンスが制限されることがある。これに対抗するために多くの戦略が開発されてきたけど、本当に一般化されたプロンプトを達成するのは依然る難しい課題なんだ。それで、研究者たちはテストタイムアダプテーション戦略に焦点を移して、テスト中にプロンプトを動的に調整するようになっているよ。

テストタイムアダプテーション技術

さまざまなTTA技術が、トレーニングとテストフェーズのデータ分布の変化を管理するために開発されている。一部の戦略には、予測の不確実性を最小化すること、バッチノーマリゼーションの統計を調整すること、擬似ラベリングを使用することが含まれている。これらの方法は期待が持てるけど、計算コストが高くて実用的なアプリケーションには適さないことが多いんだ。

Self-TPTは、テストタイムプロンプトチューニングのためのより効率的なフレームワークを提供することを目指していて、ピークパフォーマンスと現実世界での適用性のバランスを取ろうとしてるよ。

Self-TPTのパイプライン概要

Self-TPTは、はっきりした3段階のプロセスを踏む。最初の段階では、ソースデータセットでプロンプト学習を行い、より良い適応のために自己教師あり学習を取り入れる。次の段階では、自己教師ありタスクを使ってテスト中に新しいクラスに適応し、最後の段階で、さらなる調整なしで予測を行うんだ。

この全体のパイプラインにより、効率的な学習が可能になって、推論中の計算負荷が大幅に削減されるよ。

コントラストプロンプトチューニング

CPTはSelf-TPTの中で重要な役割を果たしていて、モデルがクラスを効果的に区別できるように学ばせるんだ。コントラスト学習のためにクラストークンの配列を変えてポジティブペアを生成する。この設定は、学習プロセスを強化するだけでなく、効果的な分類に必要なクラスの区別を維持するのにも役立つんだ。

CPTは分類タスクと強い相関関係を示していて、適応段階でのその効果をサポートするんだ。このつながりは、ターゲットタスクに密接に関連する効果的なトレーニングタスクを維持することの重要性を強調しているよ。

グラデーションマッチング

CPTが適応中のパフォーマンスにどのように寄与するかを分析するために、分類タスクとCPTタスクのグラデーションの相関を調べた。明らかな正の相関があって、CPTが分類タスクの最適化目標と整合できることを示している。これに基づいて、GMロスを発展させて、グラデーションの方向を一貫させて、全体のパフォーマンスを向上させることを目指している。

実験のセットアップとデータセット

さまざまな認識タスクをカバーするために、いくつかのデータセットを利用して包括的な評価を行うことを目指した。パフォーマンス評価には、クロスデータセット一般化、ベースから新クラスへの一般化、ドメイン一般化のシナリオが含まれているよ。

一般化と適応に関する所見

Self-TPTは複数のデータセットで素晴らしいパフォーマンスを発揮して、既存の最先端の方法を常に上回っている。さまざまなモデルアーキテクチャやスケールに適応できる可能性を示し、異なるアプリケーションでの汎用性も示しているよ。

発見から、ソースデータ内に多様なクラスのセットを持つことが、モデルのパフォーマンスに大きな影響を与えることがわかった。これからも、実用的な展開のために多様なクラスの表現を優先することの重要性があるね。

限界と今後の作業

Self-TPTはテストタイムアダプテーションに関連する多くの問題に対処しているけど、その実装の効率性にはまだ課題がある。テスト中に多様なクラスセットに対処できるように、さらなる改善が必要だよ。

今後の目標には、画像分類を超えて、動画理解や複雑な視覚と言語の相互作用を扱うタスクに適応できるようにSelf-TPTフレームワークを強化することが含まれている。

結論

要するに、Self-TPTを効率的なテストタイムプロンプトチューニングの新しいアプローチとして紹介するよ。この方法は、既存のTPT方法に見られる計算の非効率性に取り組んでて、自己教師あり学習を活用してリアルタイムでプロンプトを適応させるための堅牢なフレームワークを作ってる。私たちの実証結果は、Self-TPTの効果と効率を検証していて、この分野での未来の探求のための確固たる基盤を提供しているんだ。

オリジナルソース

タイトル: Efficient Test-Time Prompt Tuning for Vision-Language Models

概要: Vision-language models have showcased impressive zero-shot classification capabilities when equipped with suitable text prompts. Previous studies have shown the effectiveness of test-time prompt tuning; however, these methods typically require per-image prompt adaptation during inference, which incurs high computational budgets and limits scalability and practical deployment. To overcome this issue, we introduce Self-TPT, a novel framework leveraging Self-supervised learning for efficient Test-time Prompt Tuning. The key aspect of Self-TPT is that it turns to efficient predefined class adaptation via self-supervised learning, thus avoiding computation-heavy per-image adaptation at inference. Self-TPT begins by co-training the self-supervised and the classification task using source data, then applies the self-supervised task exclusively for test-time new class adaptation. Specifically, we propose Contrastive Prompt Learning (CPT) as the key task for self-supervision. CPT is designed to minimize the intra-class distances while enhancing inter-class distinguishability via contrastive learning. Furthermore, empirical evidence suggests that CPT could closely mimic back-propagated gradients of the classification task, offering a plausible explanation for its effectiveness. Motivated by this finding, we further introduce a gradient matching loss to explicitly enhance the gradient similarity. We evaluated Self-TPT across three challenging zero-shot benchmarks. The results consistently demonstrate that Self-TPT not only significantly reduces inference costs but also achieves state-of-the-art performance, effectively balancing the efficiency-efficacy trade-off.