Avancer le diagnostic du cancer du sein avec l'apprentissage profond
Cette étude utilise l'apprentissage profond et l'apprentissage par transfert pour le scoring HER2 dans le cancer du sein.
Rawan S. Abdulsadig, Bryan M. Williams, Nikolay Burlutskiy
― 6 min lire
Table des matières
Quand les docs pensent qu'un patient pourrait avoir un cancer du sein, ils regardent des échantillons de tissus sous un microscope. Ces échantillons sont souvent teintés pour rendre les cellules plus visibles. Deux méthodes de coloration courantes sont l'Hématoxyline et l'Éosine (H E) et l'Immunohistochimie (IHC). L'IHC est super important parce qu'elle aide les médecins à déterminer si un patient peut recevoir des traitements ciblés. Il y a beaucoup d'intérêt à utiliser des ordis et du deep learning pour lire automatiquement ces diapositives, comme ça les médecins passent moins de temps à scruter des détails minuscules.
Le souci, c'est que apprendre aux ordis à regarder des images médicales n'est pas aussi simple qu'on pourrait le penser. Pour entraîner un modèle d'ordi efficacement, on a besoin de beaucoup d'images étiquetées. C'est là que le transfert d'apprentissage entre en jeu. Cette méthode nous permet d'utiliser ce que l'ordi a appris d'un ensemble d'images pour l'aider à comprendre un autre ensemble.
C'est quoi le Transfert d'Apprentissage ?
Imagine que tu essaies d'apprendre à un enfant à reconnaître différents fruits. Si l'enfant sait déjà à quoi ressemble une pomme, il peut utiliser cette connaissance pour apprendre plus vite à quoi ressemble une pêche. De la même manière, le transfert d'apprentissage utilise des connaissances d'un domaine (comme les images IHC) pour aider dans un autre (comme les images H E). Cette approche peut faire gagner du temps, surtout en travaillant avec des données médicales, qui peuvent être rares et difficiles à trouver.
Pourquoi le Multiple-Instance Learning ?
Parfois, on n'a pas de notes détaillées (ou d'étiquettes) pour chaque image. C'est là que le multiple-instance learning (MIL) entre en jeu. Pense à une chasse au trésor. Si tu as un sac plein d'objets, tant que tu sais qu'au moins un objet dans le sac est ce que tu cherches, tu peux deviner que le sac pourrait être utile. De même, avec le MIL, si au moins un patch est étiqueté positivement, tout le groupe de patches peut être considéré comme positif. Ça rend plus facile le travail avec des images où on n'a pas tous les détails.
L'Étude
Dans cette étude, on voulait voir comment le transfert d'apprentissage pourrait aider les modèles de deep learning à scorer l'HER2, un marqueur crucial pour le cancer du sein. On a pris trois types d'images pour notre recherche :
- Images H E : Ce sont les images teintées pour examiner les tissus.
- Images IHC : Ces images fournissent des infos spécifiques sur l'HER2.
- Images non médicales : Pense à des photos random, comme des chats et des paysages.
On a examiné comment les modèles entraînés sur chacun de ces types d'images performaient. En se concentrant sur le score HER2, on a aussi construit un modèle qui peut attirer l'attention sur des zones spécifiques dans les diapositives qui sont importantes pour le diagnostic.
La Méthodologie
On a commencé par prendre des petits morceaux, appelés patches, des images de diapositives complètes. Ces patches ont été prélevés sur des diapositives teintées H E et IHC. Pour rendre nos données d'entraînement plus variées et robustes, on a joué avec les patches, en changeant leur luminosité, leur couleur et en faisant de petites rotations.
En utilisant un modèle pré-entraîné, on a transformé ces patches en un format que notre ordi pouvait comprendre, créant une nouvelle couche pour l'attention. Cette couche d'attention aide le modèle à se concentrer sur les parties importantes des images. Pense à ça comme mettre des lunettes qui font ressortir les détails.
Passons aux Choses Sérieuses
Une fois qu'on a tout mis en place, on a entraîné nos modèles. On a créé plusieurs sacs de patches, en s'assurant qu'aucun sac n'était réutilisé pendant l'entraînement. C'était pour s'assurer qu'on couvrait toutes les variations possibles des patches.
Après l'entraînement, on a divisé nos données en deux groupes : un pour l'entraînement et un pour le test. On voulait voir à quel point notre modèle pouvait performer sur de nouvelles données qu'il n'avait jamais vues avant. C'est comme faire un gâteau avec une recette pour la première fois et ensuite voir comment il se tient quand tu le sers à tes amis.
Résultats
On a découvert que quand on utilisait des patches d'images H E pour l'entraînement, le modèle performait mieux dans l'ensemble par rapport aux autres. Cependant, quand on utilisait des patches du dataset PatchCamelyon, il a surclassé le reste sur tous les critères de succès.
On voulait savoir à quel point notre modèle pouvait prédire les scores HER2 sur des diapositives entières. On a utilisé une méthode similaire à simuler un jeu plusieurs fois pour mieux comprendre le score global. En échantillonnant et en prédisant plusieurs fois, on a amélioré la précision de nos résultats finaux.
Non seulement on voulait savoir comment le modèle a marqué, mais on voulait aussi voir où il regardait. En utilisant le mécanisme d'attention, on pouvait créer une carte de chaleur montrant quelles zones de la diapositive étaient importantes pour la prédiction du modèle. C'était comme avoir une lampe de poche sur les spots qui comptaient le plus.
Visualisation des Résultats
Pour montrer nos découvertes, on a créé des cartes de chaleur basées sur les données. Ces cartes de chaleur mettaient en avant des zones qui étaient suspectées d'être positives pour l'HER2. Imagine une carte au trésor, mais au lieu d'or, elle montre où se cachent les marqueurs de cancer importants dans le tissu.
Pendant les tests, on a remarqué qu'en augmentant le nombre de patches échantillonnés, le modèle devenait plus confiant dans ses prédictions. Plus d'échantillons entraînaient de meilleurs résultats, ce qui signifie que si on continue à pratiquer, on va juste s'améliorer.
Conclusions et Projets Futurs
En résumé, on a réussi à construire un modèle pour le scoring automatique de l'HER2 en utilisant les images H E. Le transfert d'apprentissage de H E à H E était plus efficace que d'utiliser des images IHC ou non médicales. Cette étude montre des promesses pour utiliser le MIL quand les annotations détaillées manquent.
Pour ce qui est des projets futurs, il reste encore du boulot. On espère affiner nos modèles et explorer plus de stratégies pour améliorer leur performance. Si on peut trouver les meilleures façons d'utiliser les différentes sources de données, on pourrait débloquer de nouvelles manières d'améliorer l'analyse des images médicales, une diapositive à la fois.
À la fin, même si on ne peut pas encore trouver le remède contre le cancer, on est clairement sur la bonne voie pour rendre le diagnostic beaucoup plus facile, un pixel à la fois. Qui aurait cru que aider les médecins pouvait commencer avec juste un sac de patches et une pincée d'informatique ?
Titre: Leveraging Transfer Learning and Multiple Instance Learning for HER2 Automatic Scoring of H\&E Whole Slide Images
Résumé: Expression of human epidermal growth factor receptor 2 (HER2) is an important biomarker in breast cancer patients who can benefit from cost-effective automatic Hematoxylin and Eosin (H\&E) HER2 scoring. However, developing such scoring models requires large pixel-level annotated datasets. Transfer learning allows prior knowledge from different datasets to be reused while multiple-instance learning (MIL) allows the lack of detailed annotations to be mitigated. The aim of this work is to examine the potential of transfer learning on the performance of deep learning models pre-trained on (i) Immunohistochemistry (IHC) images, (ii) H\&E images and (iii) non-medical images. A MIL framework with an attention mechanism is developed using pre-trained models as patch-embedding models. It was found that embedding models pre-trained on H\&E images consistently outperformed the others, resulting in an average AUC-ROC value of $0.622$ across the 4 HER2 scores ($0.59-0.80$ per HER2 score). Furthermore, it was found that using multiple-instance learning with an attention layer not only allows for good classification results to be achieved, but it can also help with producing visual indication of HER2-positive areas in the H\&E slide image by utilising the patch-wise attention weights.
Auteurs: Rawan S. Abdulsadig, Bryan M. Williams, Nikolay Burlutskiy
Dernière mise à jour: 2024-11-05 00:00:00
Langue: English
Source URL: https://arxiv.org/abs/2411.05028
Source PDF: https://arxiv.org/pdf/2411.05028
Licence: https://creativecommons.org/licenses/by/4.0/
Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.
Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.