ノイズのあるラベルで医療画像分類を改善する
この研究は、ラベル付けの誤りがあっても医療画像分類を改善する方法を調べてるよ。
― 1 分で読む
医療画像の分類は、うまく機能するために正確にラベリングされた画像がたくさん必要だよ。でも、完璧なラベルを得るのは難しいことがあって、ラベリングのミスがよく起こるんだ。これらのミスは、クラウドソースされたデータや自動システムが医療報告を誤って解釈することから来ることがある。結果として、ノイズのあるラベルができて、ディープラーニングモデルを混乱させてパフォーマンスを悪化させちゃうんだ。
この研究では、ラベルが完璧じゃない時に医療画像の分類をどう改善するかを考えてるよ。前の研究では、ラベルのないデータからパターンを学ぶ自己教師あり事前学習アプローチを使うと、ノイズのあるラベルを扱う時にパフォーマンスが良くなることが示されてる。でも、これまでの研究は一般的な画像に焦点を当てていて、医療画像にはあまり注目されてなかったんだ。
医療画像は小さくてクラス間に微妙な違いがあるから、正確に分類するのがもっと難しいんだ。そこで疑問が浮かぶのは、自己教師あり事前学習が医療画像にも標準画像と同じように効果的に働くのかってことだね。
アプローチ
私たちは、主に2つの戦略に注目してる：コントラスト学習と前提タスク。どちらの方法も、ラベルに依存しすぎずにモデルを訓練することを含んでる。これが、ノイズのあるラベルデータで訓練する時に、ラベルの誤りに対してモデルがより頑健になるのを助けるかもしれないよ。
この研究で使った2つの医療データセットは：
NCT-CRC-HE-100K：このデータセットは9つの異なるクラス（脂肪組織やリンパ球など）の組織画像から成り立ってる。
COVID-QU-Ex：このコレクションには、患者がCOVID-19にかかっているか、非COVIDの状態か、または正常かを示すラベルが付いた胸部X線画像が含まれてる。
ノイズのあるラベル
ラベルのノイズを扱うことは、正確な予測を得るために重要だよ。実験では、意図的にラベルをランダムにひっくり返してみた。これは、ラベルが間違ってるかもしれない現実のシナリオをシミュレートしてるんだ。いくつかのノイズレベルをテストして、モデルがこの状況下でどう反応するかを見たよ。
私たちは作業を2つのフェーズに分けた：
事前学習：モデルは最初に自己教師ありメソッドを使って画像から学んでる。これは、画像がどう回転されるかを推測したり、画像の異なる部分を使ってジグソーパズルを解いたりすることを意味してる。
ノイズのあるラベルでの訓練：2つ目のフェーズでは、モデルは事前学習中に学んだことを使って実際の分類タスクに取り組むけど、ラベルはノイズがあるんだ。このノイズの中で、モデルがどれだけ理解して分類できるかを評価してるよ。
私たちの発見
結果からわかったのは、自己教師あり事前学習で始めたモデルは、ゼロから訓練したモデルよりもパフォーマンスが良かったことだよ。例えば、SimCLRというコントラスト学習法を使ったモデルは、高いノイズレベルの時に特に精度が大幅に向上したんだ。
また、さまざまな自己教師あり技術を調査したんだ。回転予測、ジグソーパズル、そして組織病理画像用の特別なタスク（Jigmagパズル）という3つの主要なタスクを使うことで、さまざまな条件下でどの方法が最も効果的だったかを特定できたよ。
前提タスクの重要性
それぞれの前提タスクは、モデルが特徴を学ぶ能力に影響を与えるんだ。例えば、回転予測タスクは、画像が回転しているかどうかを判断させることで、画像の全体的な構造を理解させるんだ。一方、ジグソーパズルは、画像のパッチの配置を予測させることで、画像の部分を見分ける能力を向上させるよ。Jigmagパズルは特に組織病理画像に焦点を当てていて、こういった医療画像の理解を深める手助けになってるんだ。
モデルパフォーマンスの比較
ノイズのあるラベルでモデルをテストした結果、パフォーマンスに明確な違いが見られたよ。一般的に、自己教師あり技術を使ったモデルは、ランダムに初期化された重みから始めたモデルよりも優れてた。特に、SimCLRは標準的な訓練法に比べて一貫して高い精度を示したんだ。
比較分析によると、特に自己教師あり学習の重みで初期化されたモデルは、高いラベルノイズに直面してもより良いパフォーマンスを維持してた。これは、医療分野で自己教師あり学習をさらに探求すべきという有望な証拠になるね。
学んだ教訓
研究を通じて、一般の画像データセットで直面する多くの課題が医療画像にも当てはまるけど、違った対応が必要だとわかったよ。モデルはノイズのあるラベルの管理に強い改善を見せたけど、いくつかの落とし穴もあった。例えば、非常に高いノイズレベルでは、特にコントラスト法のモデルが苦戦する傾向があったんだ。
もう一つ面白い観察は、選んだ自己教師ありタスクが、モデルがノイズのあるデータを分類する際にどれだけうまく適応できるかに影響を与えることだったよ。SimCLRのようなタスクは大いに助けになったけど、他のタスクは思ったほどパフォーマンスを向上させなかった。
今後の方向性
今後は、自己教師あり事前学習の示す可能性にもっと取り組む必要があるね。さらに多くの自己教師ありメソッドを試して、さまざまな種類の画像がこれらのモデルのノイズのあるラベルに対する頑健性にどう影響するかを探る予定だよ。
さらに、私たちの作業は主に畳み込みニューラルネットワーク（CNN）に焦点を当ててるけど、最近のトランスフォーマーを使った方法がノイズのあるラベルをどう扱うかを探求するつもりだよ。これが将来的にさらに良い解決策につながるかもしれないね。
結論
結論として、ノイズのあるラベルがあるときに医療画像分類を改善することは、信頼できるモデルを作るために重要だよ。私たちの発見は、自己教師あり学習がノイズを効果的に扱えるモデルの訓練において重要な役割を果たすことを確認したんだ。さまざまな前提タスクを使うことで、モデルの特徴抽出やパフォーマンスを向上させる方法を見つけたし、これがより良い医療診断への道を開くことになるね。
この研究から得られた知見は、既存の知識を加えるだけでなく、医療画像分析のさらなる革新への道を切り開くんだ。自己教師あり技術の探求を続けることで、医療画像の精度を確保するためのもっと効果的な戦略が明らかになることを期待してるよ。最終的には、患者のケアに役立つことになるんだ。
タイトル: Improving Medical Image Classification in Noisy Labels Using Only Self-supervised Pretraining
概要: Noisy labels hurt deep learning-based supervised image classification performance as the models may overfit the noise and learn corrupted feature extractors. For natural image classification training with noisy labeled data, model initialization with contrastive self-supervised pretrained weights has shown to reduce feature corruption and improve classification performance. However, no works have explored: i) how other self-supervised approaches, such as pretext task-based pretraining, impact the learning with noisy label, and ii) any self-supervised pretraining methods alone for medical images in noisy label settings. Medical images often feature smaller datasets and subtle inter class variations, requiring human expertise to ensure correct classification. Thus, it is not clear if the methods improving learning with noisy labels in natural image datasets such as CIFAR would also help with medical images. In this work, we explore contrastive and pretext task-based self-supervised pretraining to initialize the weights of a deep learning classification model for two medical datasets with self-induced noisy labels -- NCT-CRC-HE-100K tissue histological images and COVID-QU-Ex chest X-ray images. Our results show that models initialized with pretrained weights obtained from self-supervised learning can effectively learn better features and improve robustness against noisy labels.
著者: Bidur Khanal, Binod Bhattarai, Bishesh Khanal, Cristian A. Linte
最終更新: 2023-08-08 00:00:00
言語: English
ソースURL: https://arxiv.org/abs/2308.04551
ソースPDF: https://arxiv.org/pdf/2308.04551
ライセンス: https://creativecommons.org/licenses/by/4.0/
変更点: この要約はAIの助けを借りて作成されており、不正確な場合があります。正確な情報については、ここにリンクされている元のソース文書を参照してください。
オープンアクセスの相互運用性を利用させていただいた arxiv に感謝します。