Avanzando en el diagnóstico del cáncer de mama con aprendizaje profundo
Este estudio utiliza aprendizaje profundo y aprendizaje por transferencia para la puntuación de HER2 en el cáncer de mama.
Rawan S. Abdulsadig, Bryan M. Williams, Nikolay Burlutskiy
― 6 minilectura
Tabla de contenidos
Cuando los doctores piensan que un paciente podría tener cáncer de mama, miran muestras de tejido bajo un microscopio. Estas muestras generalmente se tiñen para que las células sean más fáciles de ver. Dos métodos de tinción comunes son Hematoxilina y Eosina (H E) e Inmunohistoquímica (IHC). IHC es especialmente importante porque ayuda a los médicos a determinar si un paciente puede recibir tratamientos dirigidos. Hay mucho interés en usar computadoras y aprendizaje profundo para leer automáticamente estas diapositivas, así los doctores pueden pasar menos tiempo entrecerrando los ojos ante detalles pequeñitos.
El problema, sin embargo, es que enseñar a las computadoras a mirar imágenes médicas no es tan sencillo como suena. Para entrenar un modelo de computadora de manera efectiva, necesitamos un montón de imágenes etiquetadas. Ahí es donde entra el aprendizaje por transferencia. Este método nos permite usar lo que la computadora ha aprendido de un conjunto de imágenes para ayudarle a entender otro conjunto.
¿Qué es el Aprendizaje por Transferencia?
Imagina que estás tratando de enseñar a un niño a reconocer diferentes frutas. Si el niño ya sabe cómo es una manzana, puede usar ese conocimiento para aprender más rápido cómo es un durazno. De la misma manera, el aprendizaje por transferencia utiliza conocimientos de un área (como imágenes IHC) para ayudar con otra (como las imágenes H E). Este enfoque puede ahorrar tiempo, especialmente al trabajar con datos médicos, que pueden ser raros y difíciles de conseguir.
Aprendizaje de Múltiples Instancias?
¿Por quéA veces, no tenemos notas detalladas (o etiquetas) para cada imagen. Ahí es donde entra el aprendizaje de múltiples instancias (MIL). Piensa en ello como una búsqueda del tesoro. Si tienes una bolsa llena de cosas, mientras sepas que al menos un ítem en la bolsa es lo que buscas, puedes suponer que la bolsa podría ser útil. De manera similar, con MIL, si al menos un parche está etiquetado positivamente, todo el grupo de parches puede considerarse positivo. Esto facilita trabajar con imágenes donde no tenemos cada detalle.
El Estudio
En este estudio, queríamos ver cómo el aprendizaje por transferencia podría ayudar a los modelos de aprendizaje profundo a puntuar HER2, un marcador crucial para el cáncer de mama. Tomamos tres tipos diferentes de imágenes para nuestra investigación:
- Imágenes H E: Estas son las imágenes teñidas usadas para examinar tejidos.
- Imágenes IHC: Estas imágenes proporcionan información específica sobre HER2.
- Imágenes no médicas: Piensa en fotos aleatorias, como gatos y paisajes.
Examinamos cómo se desempeñaron los modelos entrenados con cada uno de estos diferentes tipos de imágenes. Con un enfoque en la puntuación de HER2, también construimos un modelo que puede resaltar áreas específicas dentro de las diapositivas que son importantes para el diagnóstico.
La Metodología
Comenzamos tomando pequeños pedacitos, llamados parches, de las imágenes de las diapositivas completas. Estos parches se tomaron de ambas diapositivas teñidas H E e IHC. Para hacer que nuestros datos de entrenamiento fueran más variados y robustos, experimentamos con los parches, cambiando su brillo, color y rotaciones menores.
Usando un modelo preentrenado, transformamos estos parches en un formato que nuestra computadora pudiera entender, creando una nueva capa de atención. Esta capa de atención ayuda al modelo a enfocarse en las partes importantes de las imágenes. Piensa en ello como ponerte unas gafas que hacen que los detalles resalten.
Pasando a la Acción
Una vez que configuramos todo, entrenamos nuestros modelos. Creamos múltiples bolsas de parches, asegurándonos de que ninguna bolsa se reutilizara durante el entrenamiento. Esto fue para asegurarnos de que cubríamos todas las variaciones posibles de los parches.
Después del entrenamiento, dividimos nuestros datos en dos grupos: uno para entrenamiento y otro para prueba. Queríamos ver qué tan bien podía desempeñarse nuestro modelo con datos nuevos que no había visto antes. Esto es como hornear un pastel usando una receta por primera vez y luego ver cómo se sostiene cuando se lo sirves a tus amigos.
Resultados
Descubrimos que cuando usamos parches de imágenes H E para el entrenamiento, el modelo se desempeñó mejor en general comparado con los otros. Sin embargo, cuando usamos parches del conjunto de datos PatchCamelyon, superó al resto en todas las medidas de éxito.
Queríamos saber qué tan bien podía predecir nuestro modelo las puntuaciones HER2 en diapositivas completas. Usamos un método similar a simular un juego múltiples veces para entender mejor la puntuación general. Al muestrear y predecir repetidamente, mejoramos la precisión de nuestros resultados finales.
No solo queríamos saber cómo puntuó el modelo, sino que también queríamos ver a dónde estaba mirando. Al usar el mecanismo de atención, pudimos crear un mapa de calor que mostraba qué áreas de la diapositiva eran importantes para la predicción del modelo. Era como tener una linterna en los puntos que más importaban.
Visualizando los Resultados
Para mostrar nuestros hallazgos, creamos algunos mapas de calor basados en los datos. Estos mapas de calor destacaban áreas que se sospechaba que eran HER2 positivas. Imagina un mapa del tesoro, pero en vez de oro, muestra dónde se esconden los marcadores de cáncer importantes en el tejido.
Durante las pruebas, notamos que a medida que aumentábamos el número de parches muestreados, el modelo se volvía más seguro en sus predicciones. Más muestras llevaban a mejores resultados, lo que significa que si seguimos practicando, solo mejoraremos.
Conclusiones y Planes Futuros
En resumen, construimos con éxito un modelo para la puntuación automática de HER2 usando imágenes H E. El aprendizaje por transferencia de H E a H E fue más efectivo que usar imágenes IHC o no médicas. Este estudio muestra promesas para usar MIL cuando faltan anotaciones detalladas.
En cuanto a los planes futuros, aún hay trabajo por hacer. Esperamos afinar nuestros modelos y explorar más estrategias para mejorar su rendimiento. Si podemos encontrar las mejores maneras de utilizar las diversas fuentes de datos, podríamos desbloquear nuevas formas de mejorar el análisis de imágenes médicas, una diapositiva a la vez.
Al final, aunque quizás no podamos encontrar la cura para el cáncer justo ahora, definitivamente estamos en el camino correcto para hacer que el diagnóstico sea mucho más fácil, un píxel a la vez. ¿Quién diría que ayudar a los doctores podría comenzar solo con una bolsa de parches y un poco de ciencia computacional?
Título: Leveraging Transfer Learning and Multiple Instance Learning for HER2 Automatic Scoring of H\&E Whole Slide Images
Resumen: Expression of human epidermal growth factor receptor 2 (HER2) is an important biomarker in breast cancer patients who can benefit from cost-effective automatic Hematoxylin and Eosin (H\&E) HER2 scoring. However, developing such scoring models requires large pixel-level annotated datasets. Transfer learning allows prior knowledge from different datasets to be reused while multiple-instance learning (MIL) allows the lack of detailed annotations to be mitigated. The aim of this work is to examine the potential of transfer learning on the performance of deep learning models pre-trained on (i) Immunohistochemistry (IHC) images, (ii) H\&E images and (iii) non-medical images. A MIL framework with an attention mechanism is developed using pre-trained models as patch-embedding models. It was found that embedding models pre-trained on H\&E images consistently outperformed the others, resulting in an average AUC-ROC value of $0.622$ across the 4 HER2 scores ($0.59-0.80$ per HER2 score). Furthermore, it was found that using multiple-instance learning with an attention layer not only allows for good classification results to be achieved, but it can also help with producing visual indication of HER2-positive areas in the H\&E slide image by utilising the patch-wise attention weights.
Autores: Rawan S. Abdulsadig, Bryan M. Williams, Nikolay Burlutskiy
Última actualización: 2024-11-05 00:00:00
Idioma: English
Fuente URL: https://arxiv.org/abs/2411.05028
Fuente PDF: https://arxiv.org/pdf/2411.05028
Licencia: https://creativecommons.org/licenses/by/4.0/
Cambios: Este resumen se ha elaborado con la ayuda de AI y puede contener imprecisiones. Para obtener información precisa, consulte los documentos originales enlazados aquí.
Gracias a arxiv por el uso de su interoperabilidad de acceso abierto.