インスタンスセグメンテーションにおけるアクティブラーニングの新しいアプローチ

インスタンスセグメンテーションのモデルをトレーニングするには、たくさんのラベル付き画像が必要なんだ。これらの画像は、各オブジェクトとその正確な形を示さなきゃいけなくて、取得するのが高くつくこともあるんだよ。アクティブラーニングは、ラベリングコストを削減するのに役立って、最も有用な画像を選び出すんだ。でも、インスタンスセグメンテーションではあまり使われてなくて、モデルが画像の中の異なるオブジェクトを見つけて分けるタスクだからね。アクティブラーニングは、ラベルが少なくて済む画像分類みたいなタスクではもっと使われてるんだ。

この記事では、不確実性に基づく戦略と多様性に基づく戦略を組み合わせた新しいアクティブラーニング手法を紹介するよ。不確実性の戦略は、モデルが自信のない画像を見つけるんだ。一方、多様性の戦略は、全体のデータセットを最もよく表す画像を選ぶんだ。私たちの方法は使いやすくて、いくつかのデータセットでより良い結果を出してる。実際の上空画像に適用してみたら、ラベリング効率を5倍向上できることが分かったんだ。

#インスタンスセグメンテーションとは？

インスタンスセグメンテーションは、画像の中の個々のオブジェクトを特定して分けることを指すよ。自動運転車や医療画像、空中画像分析など、いろんな分野で役立つんだ。ただ、このタスクに必要なラベルを取得するのは、他のコンピュータビジョンタスクよりもはるかに高くつくんだ。画像内の各オブジェクトにはユニークなラベルが必要で、オブジェクトの正確な形も示さなきゃいけないから、効果的なインスタンスセグメンテーションモデルの開発が難しいんだよ。

#アクティブラーニングの役割

アクティブラーニングは、ラベリングコストを下げることを目指してる。これは、ラベルのないデータのプールから最も有用なサンプルを選ぶことによって実現するんだ。サンプルを選ぶための主要な戦略は、不確実性に基づくものと多様性に基づくものの2つがあるよ。不確実性に基づく戦略は、モデルが予測に自信のないサンプルを探す。一方、多様性に基づく戦略は、データセットをうまく表現するサンプルを選ぶことを目指してるんだ。アクティブラーニングは多くのコンピュータビジョンタスクで広く使われてるけど、インスタンスセグメンテーションに焦点を当てた研究は少ないんだ。

インスタンスセグメンテーションのために効果的なアクティブラーニング手法を構築するには、いくつかの要因を考慮する必要があるんだ。インスタンスセグメンテーションモデルは、各インスタンスに対してクラス分布、バウンディングボックスの位置、詳細なセグメンテーションマスクなど、異なるタイプの出力を生成するから、アクティブラーニングのために最適な不確実性メトリックを選ぶのが難しくなるんだよ。不確実性メトリックだけに頼ると、冗長になることがあって、一番不確かなインスタンスが同じ難しいカテゴリに属してるかもしれないからね。だから、多様性サンプリングを組み込むことが重要で、ラベルのない画像の中で異なるセマンティックタイプを捉えることができるんだ。

#TAUDISの紹介

私たちは、インスタンスセグメンテーションのために不確実性と多様性サンプリングを組み合わせた2ステップのアクティブラーニングアルゴリズム、TAUDISを提案するよ。最初のステップでは、TAUDISは不確実性サンプリングを使って最も情報量の多いオブジェクトインスタンスを見つけるんだ。2番目のステップでは、インスタンスから特徴を抽出して、以前に特定した不確実なインスタンスから多様なセットを選ぶために最大セットカバーアプローチを適用するよ。最後に、方法はラベリング予算が達成されるまで、最も情報量の多いインスタンスを持つ画像を優先して選ぶんだ。

#TAUDISの仕組み

提案された方法は、3つの重要なステップで機能するんだ：

1. 不確実性の評価：最初に、各インスタンスの不確実性を評価して、ラベルのないデータから最も情報量の多いインスタンスを特定するよ。

2. 多様なインスタンスの選択：次に、グラフベースの最大セットカバーアルゴリズムを使って、不確実なインスタンスの中から最も代表的なインスタンスを選ぶんだ。

3. 画像選択：以前のステップから、最も情報量の多いインスタンスを含む画像を選ぶために多数決アプローチを適用するよ。

私たちは、TAUDISをCOCOとカスタムの上空画像データセットの2つで評価したよ。その結果、TAUDISは他のアクティブラーニング手法を常に上回ったんだ。

#関連研究

現在のアクティブラーニング手法のほとんどは不確実性に焦点を当ててるよ。画像分類では、不確実性はソフトマックス確率や様々なメトリックを使って測定されるんだ。セマンティックセグメンテーションでは、不確実性スコアはピクセルレベルで計算される。オブジェクト検出手法では、まず各バウンディングボックスの不確実性を計算して、そのスコアを集約して全体の不確実性スコアを作るんだ。

多様性に基づくアクティブラーニング手法は、データ分布を最もうまく表すサンプルを選ぶことを目指してるよ。この分野では、深層学習モデルのための様々な技術が開発されてきたんだ。不確実性と多様性サンプリングを組み合わせることが効果的なので人気が出てきてるけど、私たちの手法がインスタンスセグメンテーションのために両方のアプローチを統合した初めてのものなんだ。

ラベリングコストが増加しても、インスタンスセグメンテーションのためのアクティブラーニングに関する研究は限られてるよ。過去のいくつかの研究では、異なる出力からのモデル予測を組み合わせた不確実性メトリックを作ろうとしたけど、これらの手法はしばしば多様性を見落とすんだ。私たちの方法は多様性を考慮してるから、既存のアーキテクチャ、特に新しいモデルとの統合がしやすくなってるんだ。

#モデルのトレーニング

アクティブラーニングプロセスは、ラベル付きデータでインスタンスセグメンテーションモデルをトレーニングすることから始まるよ。私たちの方法は、領域レベルの特徴を使用する任意のインスタンスセグメンテーションモデルで機能できるんだ。研究では、Mask R-CNNという人気のあるモデルを使用したよ。モデルの動作中、入力画像に対して検出されたインスタンスを生成するんだ。各インスタンスに対して、クラス確率分布、マスク、インスタンス埋め込みを生成するんだけど、これらは中間ネットワーク層から抽出した特徴マップから平均プーリングを使って計算されるよ。

#不確実性の測定

私たちの方法の最初のステップは、モデルの現在の理解に基づいて、ラベルのない画像から不確実なインスタンスを特定することなんだ。不確実性をインスタンスレベルで評価するために、分類マージン、分類エントロピー、セグメンテーションエントロピーの3つのメトリックを探るよ。各メトリックは不確実性の異なる側面を捉えて、選択プロセスをサポートするんだ。

#多様性サンプリング

不確実性に基づくサンプリングは、サンプルバッチの冗長性が高いと満足な結果を出さない場合があるんだ。この問題はインスタンスセグメンテーションで発生しやすくて、不確実性スコアはオブジェクトのサイズや配置によって影響を受けることがあるんだ。冗長性を減らすために、私たちの方法は不確実なインスタンスをオーバーサンプリングして、その後このセットを refinすることで、より多様なサブセットを選ぶんだ。

私たちは多様性サンプリングを最大kセットカバー問題としてモデル化するよ。インスタンスを表す頂点と、それらの間の類似性を表すエッジを持つグラフを作るんだ。コサイン類似度を使って、インスタンス同士の類似度を測定するよ。目標は、全体のデータセットをうまく表す多様なインスタンスのサブセットを最適に選ぶことなんだ。

#画像選択のための多数決

注釈を得るために、最も不確実で多様なインスタンスを含む画像を優先するんだ。選択されたインスタンスが多い画像は、重要なビジュアル概念を示す可能性が高いんだ。ラベルのないプールの各画像に対してインスタンスをカウントして、ランク付けするよ。その後、上位の画像をラベリングのために選び、新しくラベリングされた画像はラベルのないプールから削除して、再トレーニング用のラベル付きデータセットに追加するんだ。

#実験設定

私たちは、COCOとカスタムの上空画像データセットの2つで方法を評価したよ。COCOには約118,000枚のトレーニング画像があり、上空データセットには約50,000枚のトレーニング画像が含まれてる。私たちのアプローチでは、まず約25%の画像をランダムに選んで初期のラベル付きデータセットを形成するよ。アクティブラーニングの各ラウンドの後、固定数の新しい画像をラベル付きセットに追加するまで、ほとんどのラベルのないサンプルが考慮されるまで続けるんだ。

実験中、私たちはランダムサンプリングや異なる不確実性および多様性ベースの手法を含むさまざまなベースラインと比較したよ。パフォーマンスは、インスタンスセグメンテーションモデルのパフォーマンスを評価するために平均平均精度を使って測定するんだ。

#結果

結果は、TAUDISが他の手法を上回ることを示したよ。特にアクティブラーニングの初期段階でね。COCOデータセットでは、TAUDISがランダムおよび不確実性ベースのサンプリング手法よりも一貫して良いパフォーマンスを示したんだ。同様に、上空データセットでも、TAUDISはランダム戦略に比べて少ない画像で優れた結果を達成し、多様性サンプリングアプローチの効果を示しているんだ。

#結論

要するに、私たちはインスタンスセグメンテーションのための新しいアクティブラーニングアルゴリズムを提案するよ。このアルゴリズムは、不確実性と多様性サンプリングをインスタンスレベルで組み合わせてるんだ。私たちの方法は、複数のデータセットでさまざまなベースラインを超えるパフォーマンスを示してて、実世界のアプリケーションでの価値を証明したんだ。今後は、先進的なセグメンテーションアーキテクチャを使うことをさらに調査して、私たちのアクティブラーニング戦略を一層向上させる予定だよ。