ビジュアルプロンプトで欠陥検出を進化させる

産業の欠陥検出の世界では、ほとんどのシステムが教師あり学習に依存してるんだ。これは、特定のタイプの欠陥を認識するためにラベル付きの画像セットを使って訓練されるって意味。これらのモデルは、期待されるものが分かってる時はうまく機能するけど、新しいタイプの欠陥に出くわすと苦労することが多い。だから、常に更新や再訓練が必要になって、それが時間とお金を消耗する原因になってる。

最近の機械学習の進展で、視覚プロンプトと呼ばれる手法が登場した。この技術は、モデルが事前に定義されたカテゴリーに厳密に縛られることなく、視覚的な手がかりをもとに欠陥を理解して分類するのを可能にするんだ。意思決定の過程で画像をプロンプトとして使うことで、モデルは新しい欠陥に対してもっと柔軟に適応できるようになる。

#過信の課題

視覚プロンプトの大きな課題の一つは、モデルが予測に対して過信しがちだってこと。これって、未知の物体を既知の欠陥として高い確信を持ってラベリングしちゃうことがあるって意味。これが間違いや誤分類を引き起こす原因になって、工業環境では正確さが重要だから大問題なんだ。

この問題を解決するためには、モデルがどれだけ自信を持って予測しているかを評価することが重要だよ。そうすることで、モデルが誤りを犯している状況や信頼性が低い場合を特定できる。

#提案する解決策

過信の問題に取り組むために、視覚プロンプトプロセスの不確実性を推定する方法を提案するよ。基本的なアイデアは、モデルが予測から元のプロンプトを正しく復元できるか確認すること。要するに、モデルが自信を持って正確に判断してるなら、初期のプロンプトを正しく再現できるはずなんだ。

このモデルのパフォーマンスを測るために、平均交差比率（[MIoU](/ja/keywords/ping-jun-jiao-chai-bi--k9m6dep)）という指標を使う。これを使うことで、予測結果と元のプロンプトがどれくらい一致してるかを比較できる。

プロンプトのチェックと復元のサイクルに焦点を当てることで、モデルの予測の信頼性を効果的に測定できる。この自信の推定は、特に新しい欠陥が頻繁に発生する工業環境でのエラーを減らし、モデルのパフォーマンスを向上させるのに役立つよ。

#ベースライン手法の役割

私たちのアプローチを評価するために、Dinovというエンコーダー・デコーダー構造に基づいたベースライン手法を使った。この方法は、画像を処理して予測するのに役立つ。ベースラインでは、参照画像からの視覚プロンプトをエンコードして、新しい画像の文脈でこれらのプロンプトを解釈するために共有デコーダーを使う。

だけど、Dinovの一つの限界は、見たことのある欠陥に偏ってしまうこと。これが新しい欠陥にうまく対処する能力を妨げるんだ。私たちの提案したサイクル一貫性の手法を使うことで、モデルの信頼性を高め、偏りを減らし、実際のシナリオでの適応性を改善できる。

#私たちの方法の仕組み

私たちの方法は、前向きフェーズと逆向きフェーズの2つの主要なフェーズから成り立ってる。

#前向きフェーズ

前向きフェーズでは、サポート画像とその対応するプロンプトマスクから始める。さらに、分析したいクエリ画像もある。ここでの目標は、クエリ画像のどの部分がサポート画像からのプロンプトと一致するかを特定すること。このプロセスの結果、クエリ画像における検出された領域を示すマスクマップが得られる。

#逆向きフェーズ

逆向きフェーズでは、前向きフェーズからの出力、具体的にはクエリ画像とその生成されたマスクを新しいサポート画像とマスクとして扱う。元のサポート画像が新しいクエリ画像になる。このステップで、元のマスクを正確に再生成できるかを確認する。

元のマスクと逆向きフェーズで生成されたマスクを比較することで、モデルの信頼性を測ることができる。復元されたマスクが元のマスクとよく一致していれば、モデルが偏りのない予測を行っていることを示している。

#画像処理技術

モデルの予測精度を向上させるために、Swin-Lという強力な画像特徴抽出器を利用してる。このアーキテクチャは、大規模データセットからの事前訓練済みの重みを持っていて、画像を効果的に分析できる。

さらに、様々なデータ拡張技術も適用してる。これらの方法は、工業検査の文脈では非常に重要で、照明の変動を考慮しつつ色の変化を最小限に抑えるのに役立つ。画像の明るさ、コントラスト、彩度を調整したり、トレーニング中に横向きの反転を行ったりして、モデルのロバスト性を強化する。

#シングルモデルアプローチ

競合他社の多くは、パフォーマンスを向上させるために複数のモデルを使うことに依存しているけど、リソースの制限があるから、私たちはシングルの視覚プロンプトモデルを洗練させることに集中することにした。私たちの戦略は、複数のモデルを構築するのではなく、予測の信頼性を判断するために自信スコアを推定することを重視している。

#方法の評価

私たちのアプローチを検証するために、何千もの画像から成るVISION24の一発工業検査データセットでテストした。このデータセットには、既知および未知の欠陥タイプを持つ様々な製品カテゴリが含まれてる。私たちの評価では、ポジティブペアのキャッチ率とネガティブペアのイールド率の2つの重要な側面を考慮した。

ポジティブペアは、予測マスクがグラウンドトゥルースとよく一致すれば成功と見なす。ネガティブペアについては、モデルの応答率が特定のしきい値以下であれば正しいイールドと考える。

#実装に関する洞察

私たちのトレーニングセットは、ケーブル、シリンダー、PCBなど、異なる欠陥を持つ5つのカテゴリを含んでる。例えば、ケーブルカテゴリには雷鳴や破損などの欠陥が含まれてる。この主要カテゴリに属しているけど、各欠陥タイプを独立したクラスとして扱った結果、合計で12クラスになった。

トレーニングでは、画像のサイズを変更し、前述したデータ拡張技術を使用した。Dinovネットワークは、特定のバッチサイズで8つのGPUを使って20,000回のイテレーションで訓練された。

モデルからの自信スコアが一定の値以上の時は、予測マスクを受け入れ、もしそれが低ければ信頼できないとマークした。

#結果と発見

私たちの方法は、専門的なネットワークデザインや複雑なアンサンブル技術を必要とせず、優れたイールド率を達成した。サイクル一貫性アプローチによって、誤検出の大幅な減少も見られた。

さらに、定性的な評価では、私たちのモデルが両フェーズを通じてサポートマスクを正確に復元したケースが明らかになった。予測が正確な場合、モデルは高いmIoUスコアを示し、新しい欠陥タイプに成功裏に適応できる能力を確認した。

逆に、mIoUスコアが低い場合、モデルは弱点を正しく特定し、偏った予測を受け入れないようにしている。この正確な予測と信頼できない予測を見分ける能力は、工業環境では高い正確性を維持するために重要なんだ。

#結論

私たちが提案する方法は、産業の欠陥検出において大きな前進を示している。視覚プロンプトとサイクル一貫性の不確実性推定を統合することで、過信に関するリスクを効果的に減らすことができる。モデルが元のプロンプトを信頼できるように復元できることで、新しい欠陥タイプへの適応性を高め、エラーを最小限に抑えることができる。

今後も技術を洗練させてパフォーマンスをさらに向上させる方法を探っていく中で、この革新的なアプローチが新たな予測不可能な課題に直面する産業に大きな利益をもたらすことは明らかだよ。技術が進化するにつれて、様々な工業分野での欠陥管理に対して、さらに効果的な解決策が期待できる。