ディープラーニングで乳がん診断を進める
この研究では、乳がんのHER2スコアリングにディープラーニングと転移学習を使ってるんだ。
Rawan S. Abdulsadig, Bryan M. Williams, Nikolay Burlutskiy
― 1 分で読む
医者が患者に乳がんの可能性があると思ったら、組織サンプルを顕微鏡で見るんだ。これらのサンプルは、細胞が見やすくなるように通常染色されるんだ。一般的な染色法にはヘマトキシリンとエオシン(H E)や免疫組織化学(IHC)があるんだけど、IHCは特に重要で、患者が標的治療を受けられるかどうかを判断するのに役立つ。医者が小さな詳細をじっくり見る時間を短縮するために、コンピュータやディープラーニングを使ってスライドを自動的に読むことに興味が集まっているんだ。
でも、医療画像をコンピュータに見せるのは思ったより簡単じゃない。コンピュータモデルを効果的に訓練するには、たくさんのラベル付き画像が必要なんだ。そこでトランスファーラーニングが登場する。この方法を使うと、コンピュータがあるセットの画像から学んだことを、別のセットの理解に役立てることができるんだ。
トランスファーラーニングって何?
子供にいろんな果物を認識させようとしていると想像してみて。もしその子がりんごがどういうものか知っていたら、その知識を使って桃の見た目をもっと早く覚えることができるよね。同じように、トランスファーラーニングは、ある領域(例えばIHC画像)の知識を別の領域(例えばH E画像)に活かす方法なんだ。このアプローチは、医療データは珍しくて見つけにくいから、特に時間を節約できるんだ。
マルチインスタンスラーニングって何?
時々、すべての画像に対して詳細なノート(またはラベル)がないことがある。そこにマルチインスタンスラーニング(MIL)が登場する。これはスカベンジャーハントに似ていると思ってみて。バッグの中にアイテムがいっぱい入っていて、その中に少なくとも一つ自分が探しているものが入っているってわかっていたら、そのバッグが役に立つかもしれないって考えられるよね。同じように、MILを使えば、少なくともひとつのパッチがポジティブにラベル付けされていれば、そのグループ全体をポジティブとして扱える。これによって、すべての詳細が揃っていない画像でも作業が楽になるんだ。
研究内容
この研究では、トランスファーラーニングがディープラーニングモデルにHER2のスコアをつける手助けになるかを見たかったんだ。研究のために、3種類の画像を使った。
- H E画像: 組織を検査するために使われる染色された画像。
- IHC画像: HER2に関する具体的な情報を提供する画像。
- 非医療画像: 猫や風景などのランダムな写真。
私たちはこれらの異なる種類の画像で訓練されたモデルがどのようにパフォーマンスを発揮するかを調べた。HER2のスコアに焦点を当てつつ、診断に重要なスライド内の特定のエリアに注意を引くモデルも作ったんだ。
方法論
まず、全体のスライド画像から小さな部分(パッチ)を切り取った。これらのパッチはH EとIHC染色されたスライドから取ったよ。訓練データをもっと多様で堅牢にするために、パッチの明るさや色、わずかな回転を変えて遊んだ。
事前に訓練されたモデルを使用して、これらのパッチをコンピュータが理解できる形式に変換し、注意の新しい層を作った。この注意の層は、モデルが画像の重要な部分に焦点を合わせるのを助ける。細部を際立たせる眼鏡をかけるような感じだよ。
いよいよ本番
すべて準備が整ったら、モデルを訓練した。パッチのバッグをいくつか作成して、訓練中に同じバッグが再利用されないようにした。これは、すべての可能なバリエーションをカバーするためだったんだ。
訓練後、データを2つのグループに分けた。1つは訓練用、もう1つはテスト用。新しいデータに対して、私たちのモデルがどれだけうまくパフォーマンスできるかを見たかった。これは、初めてレシピでケーキを焼いて、そのケーキを友達に振る舞ってみるみたいな感じだよ。
結果
H E画像からのパッチを使って訓練した時、モデルは全体的に他よりも良いパフォーマンスを見せた。でも、PatchCamelyonデータセットからのパッチを使ったときが一番良くて、すべての成功指標で他を凌駕したんだ。
モデルが全体のスライドでHER2のスコアを予測できるかどうかも知りたかった。全体のスコアをより理解するために、ゲームを何度もシミュレーションするような方法を使った。何度もサンプリングして予測することで、最終的な結果の精度を向上させたんだ。
モデルのスコアだけでなく、どこを見ているかも知りたかった。注意メカニズムを使うことで、モデルの予測にとって重要なスライドの部分を示すヒートマップを作ることができた。重要な部分に懐中電灯を当てているみたいな感じだよ。
結果の可視化
私たちの発見を示すために、データに基づいていくつかのヒートマップを作成した。このヒートマップは、HER2陽性の疑いがあるエリアを強調した。宝の地図を想像してみて、金ではなく、組織の中に隠れている重要な癌マーカーがどこにあるかを示しているんだ。
テスト中、サンプリングしたパッチの数を増やすにつれて、モデルが予測に自信を持つようになったことに気づいた。サンプルが増えるほど結果が良くなっていく。つまり、練習を続ければ続けるほど、どんどん上達するってことだね。
結論と今後の計画
要するに、私たちはH E画像を使って自動HER2スコアリングモデルを成功裏に構築した。H EからH Eへのトランスファーラーニングは、IHCや非医療画像を使うよりも効果的だった。この研究は、詳細な注釈が不足しているときにMILを使う可能性を示している。
将来の計画については、まだやることがある。モデルを微調整して、パフォーマンスを向上させるための戦略をもっと探求したいと思っている。さまざまなデータソースを使う最適な方法を見つけられれば、医療画像分析を改善する新しい方法を開けるかもしれない、一スライドずつ。
結局のところ、まだ癌の治療法を見つけられないかもしれないけど、診断をずっと簡単にするための正しい道にいることは確かだ。パッチのバッグとちょっとしたコンピュータサイエンスが、医者を助けるきっかけになるなんて誰が思っただろうね。
タイトル: Leveraging Transfer Learning and Multiple Instance Learning for HER2 Automatic Scoring of H\&E Whole Slide Images
概要: Expression of human epidermal growth factor receptor 2 (HER2) is an important biomarker in breast cancer patients who can benefit from cost-effective automatic Hematoxylin and Eosin (H\&E) HER2 scoring. However, developing such scoring models requires large pixel-level annotated datasets. Transfer learning allows prior knowledge from different datasets to be reused while multiple-instance learning (MIL) allows the lack of detailed annotations to be mitigated. The aim of this work is to examine the potential of transfer learning on the performance of deep learning models pre-trained on (i) Immunohistochemistry (IHC) images, (ii) H\&E images and (iii) non-medical images. A MIL framework with an attention mechanism is developed using pre-trained models as patch-embedding models. It was found that embedding models pre-trained on H\&E images consistently outperformed the others, resulting in an average AUC-ROC value of $0.622$ across the 4 HER2 scores ($0.59-0.80$ per HER2 score). Furthermore, it was found that using multiple-instance learning with an attention layer not only allows for good classification results to be achieved, but it can also help with producing visual indication of HER2-positive areas in the H\&E slide image by utilising the patch-wise attention weights.
著者: Rawan S. Abdulsadig, Bryan M. Williams, Nikolay Burlutskiy
最終更新: 2024-11-05 00:00:00
言語: English
ソースURL: https://arxiv.org/abs/2411.05028
ソースPDF: https://arxiv.org/pdf/2411.05028
ライセンス: https://creativecommons.org/licenses/by/4.0/
変更点: この要約はAIの助けを借りて作成されており、不正確な場合があります。正確な情報については、ここにリンクされている元のソース文書を参照してください。
オープンアクセスの相互運用性を利用させていただいた arxiv に感謝します。