CLIPを使ったスケッチベースの画像検索の進展

最近、特にデータが少ないときにスケッチを使った画像検索の関心が高まってきてるよね。一般的なアプローチは、スケッチに基づいて画像を探せるシステムを使うこと。でも、スケッチが十分にないからモデルをうまくトレーニングするのが難しいんだ。

この記事では、CLIPっていうモデルを使ってスケッチと写真のギャップを埋める方法について話してる。スケッチと対応する写真のマッチングを改善するために、2つのメインの方法、カテゴリーレベルマッチングとファインチューニングマッチングに焦点を当ててるよ。

#スケッチベースの画像検索（SBIR）

SBIRは、ユーザーがスケッチを描いて画像を見つけることを可能にする分野だよ。通常、スケッチが提供されると、システムはそのスケッチが属するカテゴリの写真を探す。これをカテゴリーレベルSBIRって呼ぶんだ。スケッチデータが限られているという課題から、研究者たちはゼロショットSBIR（ZS-SBIR）に目を向けてる。ZS-SBIRは、モデルが見たことのないカテゴリを認識できるようにするんだ。見たクラスから学んだ知識を新しいクラスに適用するってアイデアだね。

#SBIRの課題

スケッチを使った画像検索の主な課題は、大規模なデータセットがないこと。これが原因で、従来のトレーニング方法は不十分なんだ。成功するZS-SBIRモデルは、異なるカテゴリとモダリティ（スケッチから写真）間での知識の移転をうまく行う必要がある。

以前の方法はいくつか進展があったけど、シンプルな単語埋め込みに頼ってることが多い。これらの埋め込みは、より良い画像検索に必要な深い意味を捉えられないから、CLIPのようなモデルの強みを活かせるもっと進んだアプローチが必要なんだ。

#CLIPの紹介

CLIPは「Contrastive Language-Image Pre-training」の略。これは、画像とテキストを理解してリンクさせるのに成功を収めているモデルだよ。大規模な画像とその関連テキストの説明のデータセットでトレーニングしてるから、画像とテキストを同じ空間で表現できるようになるんだ。

CLIPのユニークな点は、新しいタスクのために特別なトレーニングなしで使えること、つまり「ゼロショット」ってこと。これによって、ユーザーが新しいカテゴリを入力しても、CLIPはそれなりの結果を出せるんだ。この能力がSBIRの大きな変革をもたらす可能性があるんだよ。

#SBIR用のCLIPの適応

CLIPのSBIRに対するパフォーマンスを向上させるために、プロンプトラーニングを取り入れた方法が紹介されてる。これにより、CLIPがスケッチと写真をよりよく理解しマッチさせる手助けをする具体的なプロンプトを作成するんだ。

#プロンプトラーニングの説明

プロンプトラーニングは、モデルが追加の文脈を使って結果を改善できるようにトレーニングすることについてだよ。たとえば、スケッチ専用のプロンプトを使うことで、モデルがスケッチと写真の類似性を理解しやすくなるんだ。これらのプロンプトをCLIPのアーキテクチャに組み込むことで、SBIRのタスクにより特化するんだよ。

このアプローチの最初のステップは、スケッチ用と写真用の2セットの視覚プロンプトを作ることだ。これらのプロンプトはCLIPの画像エンコーダに組み込まれて、モデルがマッチングに重要な関連フィーチャーに焦点を当てる手助けをするんだ。

#カテゴリーレベルSBIR

CLIPを使ったカテゴリーレベルSBIRでは、スケッチを取って同じカテゴリに属する写真を探すプロセスがあるよ。具体的にはこういう流れだ。

#モデルのトレーニング

トレーニングはトリプレット損失関数を使うんだ。つまり、モデルは3つの画像のセットから学ぶ。1つはスケッチ、1つはマッチする写真、もう1つは異なるカテゴリの写真。モデルは、マッチしたスケッチと写真のペアを近づけつつ、マッチしないペアを遠ざけようとするんだ。

このプロセスは、モデルがスケッチとそれが表す写真の関係をよりよく理解するのに役立つ。目標は、システムがスケッチを認識して、それに対応する写真を見つけること。たとえその写真がトレーニング中に見られなかったとしてもね。

#ナイーブアプローチの限界

従来の方法をCLIPで置き換えるだけではうまくいかない。「カタストロフィックフォゲティング」っていうもので、モデルが新しいことを学ぼうとすると忘れちゃうんだ。だから、CLIPを効果的に適応させながら、画像とテキストの強い理解を失わないようにするための、よりニュアンスのあるアプローチが必要なんだよ。

#ファインチューニングSBIR

ファインチューニングSBIRは、単にマッチするカテゴリを見つける以上のことを目指してる。カテゴリ内の特定のインスタンスを特定することを目指すんだ。つまり、単に靴の写真を見つけるのではなく、スケッチに合った特定の靴を見つけることができるってわけ。

#ファインチューニングマッチングの課題

ファインチューニングマッチングは、セマンティックな類似性だけでなく、構造的な類似性も求められるから、もっと複雑なんだ。ここにはいくつかの重要な障害があるよ。

1. 変動する距離：スケッチと写真のフィーチャー間の距離は、カテゴリによって異なる。だから、均一なアプローチがうまくいかないかもしれない。

2. 構造的対応：インスタンスレベルのマッチングを見つけるには、スケッチとその写真の具体的な特徴がどのように対応するかを理解する必要があるんだ。

これらの課題に対処するために、2つのメインの戦略が利用されてる：

• 正則化：これは、マッチングにおける一貫性を向上させるために、異なるカテゴリ間で相対的な距離を均一にすること。

• パッチシャッフル：スケッチと写真の部分を混ぜ合わせて、より良い構造的対応を学ぶための方法。

#トレーニング戦略

ZS-SBIRとFG-ZS-SBIRのトレーニングプロセスは、プロンプトラーニングの利点を活用することが含まれてる。

• CLIPの特定のレイヤーを固定し、他のレイヤーをトレーニングできるようにすること。
• スケッチと写真に最も関連性のある特定のフィーチャーに焦点を当てること。
• パフォーマンスを最適化するために、損失の組み合わせを使用すること。

#評価メトリクス

メソッドのパフォーマンスを評価するために、いくつかの指標が使用されてる：

• 平均適合率(mAP)：これは、取得した画像に対するモデルの精度を測るもの。
• Top kでの精度：これは、真のマッチがモデルが返したトップ結果の中にどれだけ頻繁に現れるかを示すものだ。

#結果と比較

新しい方法のパフォーマンスを既存のモデルと比較すると、ZS-SBIRとFG-ZS-SBIRの両方で significantな改善が見られた。CLIPの能力を活用することで、適応されたモデルは、さまざまなデータセットで以前の最先端の方法を上回ったんだ。

#主な発見

• プロンプトの使用が、モデルの理解とマッチング能力を大きく改善した。
• スケッチと写真の両方の特徴を組み合わせたモデルが、独立して扱ったモデルよりもよい結果を出した。
• ファインチューニングマッチングのニーズに適したトレーニング方法が、より良い精度をもたらした。

#結論

CLIPをスケッチベースの画像検索に適応させるのは、分野における重要な進展だよ。プロンプトラーニングとトレーニング戦略を活用することで、データが限られているシナリオでも印象的な結果を達成できる可能性があるんだ。SBIRの未来は、スケッチに基づいて画像をやり取りし、検索する方法の改善とともに、より広い応用の可能性が期待できそうだよ。この研究は、画像検索タスクの精度を向上させるだけでなく、スケッチコミュニティにおいて新しい手法を探求する道を開いて、将来的にさらに革新的なアプローチにつながるかもしれないね。