未確認オブジェクトのための革新的な異常検出アプローチ
自己教師あり学習を使った見えない物体を検出する新しい方法。
― 1 分で読む
目次
画像の中で異常なオブジェクトを検出することは、セキュリティやモニタリングなどのいろんなアプリケーションにとってめっちゃ重要なんだ。でも、今の多くの方法は事前にどんなオブジェクトがあるかを知っていることに頼りすぎてる。実際の生活では、見たこともないオブジェクトに出くわすことが多いから、従来の方法はあまり効果的じゃないんだよね。
この研究では、見たことのないオブジェクトを見つける新しいアプローチとして、異常検出を提案するよ。オブジェクトを厳密に既知のカテゴリーに分類するのではなく、異常を特定することに focus してる。知らないオブジェクトを異常として扱って、オープンワールドの設定で検出するっていうアイデアさ。
背景
オブジェクト検出はコンピュータビジョンの重要な部分で、コンピュータが世界からの視覚情報をどう解釈するかに関わってる。従来、検出器は特定のオブジェクトクラスを認識するように訓練されてきた。でも、トレーニングカテゴリー外のオブジェクトに直面すると苦戦するんだ。
最近の検出システムの進歩は、認識されていないオブジェクトの問題に取り組んでるけど、多くの方法は事前定義されたクラスに頼ってるから、現実的じゃないことも多い。実際のシナリオでは、異常なイベントの発生は正常なものよりも少ないから、異常に関するデータを集めるのが難しいんだよね。
異常検出は、正確な性質を事前に知らなくても、こういった異常な事例を特定することを目指してる。重要なのは、豊富な正常データから学び、まれな異常を検出するシステムを作ることだね。
我々のアプローチ
我々の方法は、オブジェクト検出と異常検出のギャップを自己教師あり技術で埋めてる。それはつまり、クラスの事前知識が必要なラベル付きデータを使うのではなく、データから自ら学ぶことを可能にしてるってこと。
オブジェクトのローカライズ
我々はオープンワールドオブジェクト検出器というタイプの検出器を利用してる。この検出器はクラスラベルなしで、画像の中の馴染みのあるオブジェクトと馴染みのないオブジェクトの両方を見つけるためにデザインされてる。画像の中の潜在的なオブジェクトを特定するために、オブジェクトの構造や特徴を理解することに focus した一連の技術を使ってるんだ。
自己教師あり学習
我々の方法は、検出したオブジェクトのために擬似クラスを作成するために自己教師あり学習を利用してる。これは、検出された特徴を類似性に基づいてクラスタにグループ化することを含む。こうすることで、実際のクラスを知らなくても、それぞれの検出されたオブジェクトに擬似ラベルを割り当てられる。このアプローチは、オブジェクトの特性から学ぶことで、新しい見えないオブジェクトに適応するのを可能にしてるんだ。
アウトライヤー合成
学習した擬似クラスを使って、画像内の異常のモデリング理解を表す仮想的なアウトライヤーを生成する。これらのアウトライヤーは、異常が存在すると予想される空間からサンプリングされ、正常なオブジェクトと異常なオブジェクトの間により正確な境界を作るのに役立ってる。
異常検出プロセス
これらの仮想的なアウトライヤーを合成することで、正常と異常なオブジェクトを効果的に区別できる分類器を訓練できる。これによって、我々の方法は異常を構成するものについてより深く理解し、クラスラベルの事前知識なしにデータだけに頼ることができるようになるんだ。
結果と評価
提案された方法は、可視光、赤外線、X線スキャンなど、異なるモダリティの画像を含むさまざまなデータセットでテストされてきた。我々のアプローチは、特に以前に見たことのないオブジェクトの異常を検出する際に、従来の方法と比較して一貫して性能が向上してることを示してるよ。
データセット間のパフォーマンス
我々の方法の効果は、いくつかのベンチマークデータセットで検証された。結果は、再現率スコアが大幅に上昇し、我々の方法が馴染みのあるシナリオでも馴染みのないシナリオでも異常を効率的に検出できる能力を示してる。例えば、標準的な方法が苦戦するセキュリティスキャンでの禁止アイテムの特定において、我々の方法は特に優れた性能を発揮したよ。
視覚的定性的結果
我々はまた、異常を特定しローカライズする我々の方法の性能を示すために視覚的な評価を行った。処理された画像は、従来の技術がこういった見えないオブジェクトを認識するのに失敗することが多い中で、検出された異常の周りに正確なバウンディングボックスを示していたんだ。
既存の方法との比較
我々のアプローチは異常検出の他の最先端の方法と比較されてきた。多くの方法が既知のクラスラベルに依存している一方で、我々のシステムはその要求なしで動作する。これによって、より広範囲の異常を検出できるようになり、提案された解決策の現実世界での適用可能性を強調しているんだ。
現在の方法の制限
多くの既存の技術は、事前定義されたカテゴリーに収まらない異常を認識する際に重要な制限に直面している。我々のアプローチは、未知のオブジェクトクラスを効果的に検出できるようにすることで、この課題に取り組んでいるんだ。これによって、実用的なアプリケーションにより強靭なものになってる。
結論
要するに、我々の研究は自己教師あり学習を用いたオープンワールドオブジェクトベースの異常検出の包括的な方法を提案している。データの内在的な構造から学び、仮想的なアウトライヤーを生成することで、さまざまな画像コンテキストで見えない異常を効果的に特定できる。我々の方法は、異常検出能力を向上させるだけでなく、予期しないオブジェクトが現れる可能性がある現実世界のシナリオでのアプリケーションの可能性を広げているよ。
さまざまなデータセットや画像モダリティにおける柔軟性を示したことで、我々のアプローチはセキュリティや監視、産業検査などの分野で価値あるツールとなることが期待されている。異常を事前にその存在を知らずに検出できる能力は、コンピュータビジョンの分野における重要な進歩を示しているんだ。
タイトル: Towards Open-World Object-based Anomaly Detection via Self-Supervised Outlier Synthesis
概要: Object detection is a pivotal task in computer vision that has received significant attention in previous years. Nonetheless, the capability of a detector to localise objects out of the training distribution remains unexplored. Whilst recent approaches in object-level out-of-distribution (OoD) detection heavily rely on class labels, such approaches contradict truly open-world scenarios where the class distribution is often unknown. In this context, anomaly detection focuses on detecting unseen instances rather than classifying detections as OoD. This work aims to bridge this gap by leveraging an open-world object detector and an OoD detector via virtual outlier synthesis. This is achieved by using the detector backbone features to first learn object pseudo-classes via self-supervision. These pseudo-classes serve as the basis for class-conditional virtual outlier sampling of anomalous features that are classified by an OoD head. Our approach empowers our overall object detector architecture to learn anomaly-aware feature representations without relying on class labels, hence enabling truly open-world object anomaly detection. Empirical validation of our approach demonstrates its effectiveness across diverse datasets encompassing various imaging modalities (visible, infrared, and X-ray). Moreover, our method establishes state-of-the-art performance on object-level anomaly detection, achieving an average recall score improvement of over 5.4% for natural images and 23.5% for a security X-ray dataset compared to the current approaches. In addition, our method detects anomalies in datasets where current approaches fail. Code available at https://github.com/KostadinovShalon/oln-ssos.
著者: Brian K. S. Isaac-Medina, Yona Falinie A. Gaus, Neelanjan Bhowmik, Toby P. Breckon
最終更新: 2024-07-22 00:00:00
言語: English
ソースURL: https://arxiv.org/abs/2407.15763
ソースPDF: https://arxiv.org/pdf/2407.15763
ライセンス: https://creativecommons.org/licenses/by/4.0/
変更点: この要約はAIの助けを借りて作成されており、不正確な場合があります。正確な情報については、ここにリンクされている元のソース文書を参照してください。
オープンアクセスの相互運用性を利用させていただいた arxiv に感謝します。
参照リンク
- https://github.com/cvpr-org/author-kit
- https://www.pamitc.org/documents/mermin.pdf
- https://support.apple.com/en-ca/guide/preview/prvw11793/mac#:~:text=Delete%20a%20page%20from%20a,or%20choose%20Edit%20%3E%20Delete
- https://www.adobe.com/acrobat/how-to/delete-pages-from-pdf.html#:~:text=Choose%20%E2%80%9CTools%E2%80%9D%20%3E%20%E2%80%9COrganize,or%20pages%20from%20the%20file
- https://superuser.com/questions/517986/is-it-possible-to-delete-some-pages-of-a-pdf-document
- https://github.com/KostadinovShalon/oln-ssos
- https://ctan.org/pkg/axessibility?lang=en