データで新しいクラスを発見するのって難しいよね。

新しいクラスの発見（NCD）は、データの中で既知のカテゴリと未知のカテゴリを識別する方法に焦点を当てた分野なんだ。NCDでは、ラベルのある既知のクラスのセットでモデルをトレーニングし、ラベルのない未知のクラスのセットも持っているんだ。目標は、既知のクラスから学んだ情報をもとに未知のクラスを分類することだよ。

NCDに関しては、これまで多くの手法が登場してきたけど、この分野はますます確立されてきてる。この記事では、NCDにおける最新の手法やアイデアをざっと紹介するよ。

#NCDの問題

NCDの問題は、ラベルのあるクラス（既知のクラス）を含むデータセットと、ラベルのないクラス（未知のクラス）を含むデータセットの2つから成るんだ。テスト中に新しいクラスに遭遇したとき、理想的なモデルは既知のクラスを正しく分類するだけでなく、未知のクラスも発見して分類するべきなんだ。この状況は特に現実のアプリケーションでは重要で、すべてのクラスにラベル付きデータが常にあるわけじゃないからね。

NCDでは、モデルが未知のデータを間違って既知のクラスとして分類しちゃうシナリオがよくあるんだ。例えば、オウムや猫でトレーニングされたモデルが、見たことのないトラを間違えてその2つのクラスの一つだと判断しちゃうことがある。

#NCDのトレーニング設定

NCDの標準的な設定では、トレーニングデータはラベル付きの既知のクラスとラベルのない未知のクラスの2つのセットからなるんだ。テストセットには未知のクラスのサンプルしか含まれない。このフレームワークは、Weakly Supervised Learningと呼ばれるカテゴリに属していて、モデルがトレーニングに含まれなかったクラスを認識できるようにするもの。

Open-World Learning（OWL）みたいな手法は、既知のクラスにラベルを付けつつ、未知のクラスも特定することを目指してるけど、OWLは未知のクラスをクラスタリングすることに焦点を当ててない。一方、Zero-Shot Learning（ZSL）は、一度も見たことのないクラスを予測しようとするが、新しいクラスには何らかの記述が必要なんだ。

それに対してNCDは、未知のクラスを名付けることなく、既知のクラスからの知識を使って分類を目指すんだ。

#クラスタリングだけでは不十分な理由

シンプルなクラスタリング手法はNCDの問題を解決するための簡単な方法に見えるかもしれないけど、実際には苦労することが多いんだ。例えば、非監視クラスタリングはシンプルなデータセットではうまくいくこともあるけど、クラスタが実際のカテゴリと合わないようなより複雑なセットでは失敗することがある。

クラスタリング手法はしばしば特定の形状や分布を仮定するけど、これはすべてのデータセットに当てはまるわけじゃない。例えば、あるクラスタリングアルゴリズムが色に依存しすぎると、実際のカテゴリではなく色に基づいて画像をグループ分けしちゃうかもしれない。

これらの問題に対処するために、NCDは既知のクラスからの知識を使って未知のクラスの分類を向上させようとしているんだ。つまり、ラベル付きデータに基づいて良いクラスとは何かを表現し、その理解をラベルなしデータに応用する方法を見つけ出すことだよ。

#NCDの重要な概念

NCDは、知識の転送とクラスの表現という2つの基本的な概念に焦点を当てているよ。知識の転送は、既知のクラスから学んだ情報を使って未知のクラスの発見を助けることを指すんだ。もし既知のクラスの表現が良ければ、それを使って未知のクラスをより良くグループ化できるんだ。

クラスの表現は、他のクラスと区別するための特徴を使ってクラスがどんなものかを定義するフレームワークを作ることを指すよ。明確な表現を確立することで、未知のクラスのクラスタリングを改善できるんだ。

#NCDへの貢献

この分野では、NCDの問題をよりよく定義し、取り組もうとするさまざまな研究が行われてきたよ。最近の多くの手法は、ラベル付きデータからラベルなしデータへの知識の転送を洗練しようとしているんだ。これらの手法は、アプローチに基づいてグループに整理されることが多い。

これらの手法は大きく2つのカテゴリに分けられるよ：2段階アプローチと1段階アプローチ。2段階アプローチはまず既知のクラスから知識を抽出し、その後その知識を未知のクラスに適用するんだ。一方、1段階アプローチは既知と未知のクラスの両方に同時に取り組む方式だよ。

#2段階手法

#学習した類似性に基づく手法

これらの手法は、まず既知のクラスに基づいて類似性関数を学習し、その後この学習した関数を未知のクラスに適用するんだ。特徴に基づいてデータポイントが同じクラスに属するかどうかを判断するネットワークのトレーニングを含むことが多いんだ。

例えば、もし2つのインスタンスが類似だと判断されれば、クラス割り当ての出力特性も似ているべきなんだ。

#潜在空間に基づく手法

これらの手法は、既知のクラスの重要な特徴を捉える高次元の空間を定義することに依存してるんだ。一度トレーニングが終わると、ラベルのないセットのインスタンスをこの潜在空間に投影できるようになり、それでグループ化しやすくなり、未知のクラスを特定しやすくなるんだ。

#一般的なワークフロー

2段階手法では、プロセスは通常、最初にラベル付きデータから学習し、クラス間の類似性を理解するモデルをトレーニングし、その後ラベルなしデータに対処する際にこの理解を適用するって感じなんだ。

#1段階手法

1段階手法は、NCDに対するアプローチのシフトを表しているよ。学習と分類のタスクを分けるのではなく、ラベル付きデータとラベルなしデータを一緒に利用するんだ。これにより、既知のクラスに偏りすぎないよりバランスの取れた表現を得ることができるんだ。

#共同目的学習

多くの1段階手法では、2つのネットワークを同時にトレーニングすることが関与しているよ。一方のネットワークは既知のラベルを予測し、もう一方は未知のデータをクラスタリングするようにトレーニングされるんだ。両方のネットワークは潜在空間を共有しているから、お互いから学ぶことができるんだ。

#データ増強

ロバスト性を向上させるために、データ増強手法がよく使われるよ。これには、既存のデータを変化させて（クロッピング、反転など）、新しいトレーニング例を作成し、既知と未知のクラスの両方のために利用可能なデータを広げることが含まれるんだ。

#未知のクラスの数を推定する

ラベルのないセットの中に未知のクラスがどれだけあるかを判断するのはチャレンジになることがあるんだ。いくつかの手法は、データの特徴に基づいてクラスターを特定するクラスタリングネットワークを使用してこの数を推定しようとしているよ。

例えば、あまりにも多くのクラスターが見つかると、未知のクラスの予想数を減らすべきだというサインになるかもしれないし、逆にクラスターが少なすぎるとクラスを組み合わせるべきということを示唆するかもしれない。

#NCDから生まれた新しい分野

NCDへの関心が高まる中で、元の問題のバリエーションや拡張を考慮した新しい分野が登場しているよ。

#一般化されたカテゴリ発見

この領域は、モデルが推論中に既知のクラスと未知のクラスの両方を分類できるようにすることでNCDを拡張しているんだ。つまり、モデルは既知のクラスからのインスタンスを正しく特定しつつ、未知のクラスも発見する必要があるんだ。

#忘れない新クラス発見

この分野は、ラベル付きとラベルなしのセットが一緒に利用できないシナリオに対処しようとするものなんだ。最初に既知のクラスでトレーニングを行い、その後未知のクラスを発見するって流れだよ。

#セマンティックセグメンテーションにおける新クラス発見

このタスクでは、新しいクラスを含む画像をセグメンテーションして、既知と未知のカテゴリに基づいてピクセルを特定し分類することに焦点を当てているんだ。

#NCDのツールと手法

#自己教師あり学習

このアプローチでは、明示的なラベルなしにラベル付きとラベルなしのデータから特徴を学ぶことができるから、既知のクラスに偏った表現が少ないロバストな表現を提供する手助けをするんだ。

#擬似ラベリング

擬似ラベルを使用することは、モデルの予測に基づいてラベルのないデータに弱いラベルを作成することを含むんだ。この手法により、モデルはラベルなしデータに対して効果的にトレーニングすることができるようになるんだ。

#対照学習

この手法は、似たサンプルと異なるサンプルを対照しながら表現を学ぶことで、同じクラスを構成するものとそうでないものを区別するモデルの能力を向上させるんだ。

#関連研究

NCDはいくつかの他の研究領域と相互に関連しているよ。

#非監視クラスタリング

NCDと非監視クラスタリングは、事前知識なしでデータポイントをグルーピングするという目標を共有しているんだ。クラスタリング手法はしばしばラベルなしで操作するけど、NCDは新しいクラスの発見を導くために既知のクラスを使用するんだ。

#半監視学習

このアプローチは少量のラベル付きデータを大規模なラベルなしデータセットと組み合わせて使用するんだ。NCDとの類似点はあるけど、半監視学習手法はラベル付きとラベルなしのセットのクラスが同じである必要があるから、NCDにはあまり適用できないことが多いんだ。

#転移学習

転移学習は、あるタスクやデータセットからの知識を活かして別のタスクのパフォーマンスを向上させることを含むことが多いんだ。NCDの一部は転移学習から利益を受けることができるけど、NCDは単純にある領域から別の領域に知識を適用するのではなく、新しいクラスを発見しようとする点が異なるんだ。

#オープンワールド学習

オープンワールド学習は、新しいクラスが以前に知られていたものの外で出現するようなシナリオに取り組むことを指すよ。ここでの焦点は新しいカテゴリの発見ではなく、未知のクラスを認識して拒否することなんだ。

#結論

新しいクラスの発見は、既存の知識を使ってデータの中で新しいクラスを識別し分類する方法を改善しようとするエキサイティングな研究分野なんだ。既知のクラスと未知のクラスを効果的に活用することで、NCDは機械学習、人工知能、データ分析などの分野で新しい可能性を開くんだ。分野が進化し続けるにつれて、さらに効果的な方法や応用、ツールが洗練されていくことを期待できるよ。

この分野の探索と開発が続くことで、現実のデータセットの複雑さやニュアンスに適応できるより良いモデルや手法が生まれるかもしれないね。もっと多くの研究者がNCDに取り組むことで、新しいカテゴリの発見や分類の課題に取り組む革新的な解決策が見られることを期待しているよ。