Mejorando la Imagenología Médica con Aprendizaje Federado
Un método para mejorar el entrenamiento del modelo utilizando imágenes médicas parcialmente etiquetadas.
― 7 minilectura
Tabla de contenidos
En el campo de la imagen médica, el aprendizaje profundo ha mostrado un gran potencial para identificar y segmentar con precisión varias estructuras anatómicas. Sin embargo, un desafío importante surge del hecho de que muchos conjuntos de datos están solo parcialmente etiquetados. Esto significa que, mientras que algunas estructuras están marcadas en un conjunto de datos, pueden no estar incluidas en otro. Esto crea un enfoque fragmentado para entrenar modelos, ya que diferentes instituciones solo anotan las imágenes relevantes para su investigación. El objetivo de este trabajo es mejorar la forma en que estos modelos pueden aprender de datos tan variados e incompletos mientras se mantiene la privacidad del paciente.
Etiquetas Parciales
El Desafío de lasLas imágenes médicas son a menudo complejas y requieren una etiquetación cuidadosa para ser útiles en el entrenamiento de modelos. Sin embargo, debido a limitaciones de recursos y regulaciones de privacidad, muchas instituciones solo etiquetan las estructuras específicas que les interesan. Como resultado, los conjuntos de datos pueden tener etiquetas muy diferentes, lo que dificulta la creación de un modelo unificado que pueda reconocer todas las estructuras relevantes.
Por ejemplo, un hospital podría etiquetar órganos como el hígado y los riñones, mientras que otro se enfoca en el bazo y la columna vertebral. Cuando estos conjuntos de datos se mantienen separados, la información valiosa de cada uno no se utiliza completamente. Como resultado, los modelos entrenados con datos limitados a menudo rinden menos cuando se aplican a diferentes conjuntos de datos.
Aprendizaje Federado: Una Solución
El aprendizaje federado es un método que permite a múltiples instituciones entrenar un modelo de manera colaborativa sin compartir sus datos. En lugar de enviar todos los datos de los pacientes a un servidor central, cada institución retiene sus datos y solo comparte las actualizaciones del modelo aprendido. Este enfoque ayuda a preservar la privacidad del paciente mientras se permite un mejor Entrenamiento del modelo.
En este estudio, proponemos un método que combina el aprendizaje federado con técnicas bayesianas para manejar el problema de las etiquetas parciales. Cada institución entrena su propio modelo para identificar las estructuras que ha etiquetado, pero también habilitamos a los modelos para aprender de la Incertidumbre asociada con sus predicciones. Esto significa que, incluso si un modelo no ha visto una etiqueta específica, aún puede reunir información sobre esa etiqueta a través de sus estimaciones de incertidumbre.
El Método Propuesto
Nuestro enfoque implica crear una estructura de modelo compartida, conocida como un backbone, que se entrena en todas las instituciones participantes. En cada sitio, se crea una cabeza de Segmentación única para las etiquetas disponibles en ese lugar. El backbone aprende características generales de los datos, que pueden ser útiles para reconocer estructuras incluso si no fueron etiquetadas en ese conjunto de datos específico.
Durante la inferencia, se combinan las predicciones de cada cabeza de segmentación, teniendo en cuenta la incertidumbre de las predicciones. Esta incertidumbre refleja qué tan seguro está el modelo acerca de sus predicciones y nos permite mejorar la precisión general ajustando los pesos de cada predicción según cuán seguro esté el modelo sobre estructuras específicas.
Proceso de Entrenamiento e Inferencia
En nuestro proceso de entrenamiento, cada institución optimiza su cabeza de segmentación basada en las etiquetas disponibles localmente. Mientras tanto, el backbone se actualiza en un servidor central a través de un proceso de promedio federado. Esto asegura que el backbone retenga información valiosa de todos los conjuntos de datos.
Al hacer predicciones, reunimos todas las cabezas de segmentación y promediamos sus probabilidades softmax. Cada probabilidad se pondera por el número de instituciones que proporcionaron esa etiqueta específica. Al considerar la incertidumbre de las predicciones, podemos mejorar la segmentación general, especialmente para etiquetas que fueron poco representadas en los conjuntos de entrenamiento.
Beneficios del Enfoque Propuesto
Nuestro método demuestra que es posible aprender de manera efectiva a partir de conjuntos de datos con etiquetas diversas. El uso de la incertidumbre permite a los modelos manejar mejor situaciones en las que ciertas etiquetas están completamente ausentes de un conjunto de datos. Esto lleva a un mejor rendimiento en la segmentación, particularmente para etiquetas presentes en menos conjuntos de datos.
Como resultado, nuestro enfoque permite la creación de un modelo que rinde al nivel de aquellos entrenados en conjuntos de datos completamente etiquetados. Esto es significativo en la imagen médica, donde los datos anotados de alta calidad son difíciles de obtener.
Trabajo Relacionado
Ha habido un creciente interés en métodos que abordan conjuntos de datos parcialmente anotados, especialmente en el ámbito de la segmentación de múltiples órganos. Algunos enfoques utilizan las similitudes en la anatomía humana, mientras que otros aprovechan diferentes codificadores para varios conjuntos de datos. Sin embargo, muchos de estos métodos no hacen un uso completo de los datos no anotados, lo que puede mejorar la calidad predictiva.
Nuestro método se basa en estos enfoques existentes pero se centra en aprender de manera conjunta a partir de todos los datos disponibles sin descartar la información potencial de estructuras no anotadas. Al utilizar técnicas bayesianas para estimar la incertidumbre, abordamos una de las limitaciones encontradas en trabajos previos.
Conjuntos de Datos Utilizados
En nuestros experimentos, utilizamos una colección de conjuntos de datos de acceso público para entrenar nuestros modelos. Estos conjuntos de datos varían en términos del número de imágenes, etiquetas anotadas y los tipos de estructuras presentes. También incorporamos algunos conjuntos de datos internos para aumentar aún más la diversidad de nuestros datos de entrenamiento.
Los conjuntos de datos incluyen colecciones bien conocidas como la Segmentación de Tumores Hepáticos y otros que proporcionan una amplia gama de estructuras anatómicas. Esta variedad ayuda a simular escenarios del mundo real que se encuentran en la imagen médica.
Resultados Experimentales
Evaluamos nuestro método comparándolo con varios enfoques de referencia. Nuestros modelos se entrenaron en conjuntos de datos parciales y su rendimiento se evaluó en diferentes escenarios, incluyendo casos intra-cliente e inter-cliente.
Nuestros resultados muestran que los modelos entrenados con nuestro método propuesto lograron puntajes DICE más altos, una métrica común para evaluar la precisión de la segmentación. En particular, nuestro enfoque superó a los métodos tradicionales, especialmente cuando se trataba de etiquetas poco representadas.
Además, demostramos que el promedio ponderado por incertidumbre mejoró significativamente el rendimiento del modelo en comparación con el promedio regular. Esto fue particularmente evidente en conjuntos de datos donde el sobreajuste era una preocupación.
Conclusión
La investigación indica que usar aprendizaje federado junto con técnicas bayesianas ofrece una solución prometedora a los desafíos que plantean los conjuntos de datos parcialmente etiquetados en la imagen médica. Al aprovechar la incertidumbre predictiva, nuestro enfoque mejora el entrenamiento de modelos y la precisión en la segmentación, incluso frente a anotaciones incompletas.
Este trabajo abre nuevas avenidas para la colaboración entre instituciones, permitiendo un entrenamiento más robusto y efectivo de modelos sin comprometer la privacidad del paciente. Estudios futuros podrían explorar refinamientos adicionales a nuestra técnica, incluyendo aplicaciones específicas de la incertidumbre en escenarios concretos para mejorar aún más la precisión del modelo.
Título: FUNAvg: Federated Uncertainty Weighted Averaging for Datasets with Diverse Labels
Resumen: Federated learning is one popular paradigm to train a joint model in a distributed, privacy-preserving environment. But partial annotations pose an obstacle meaning that categories of labels are heterogeneous over clients. We propose to learn a joint backbone in a federated manner, while each site receives its own multi-label segmentation head. By using Bayesian techniques we observe that the different segmentation heads although only trained on the individual client's labels also learn information about the other labels not present at the respective site. This information is encoded in their predictive uncertainty. To obtain a final prediction we leverage this uncertainty and perform a weighted averaging of the ensemble of distributed segmentation heads, which allows us to segment "locally unknown" structures. With our method, which we refer to as FUNAvg, we are even on-par with the models trained and tested on the same dataset on average. The code is publicly available at https://github.com/Cardio-AI/FUNAvg.
Autores: Malte Tölle, Fernando Navarro, Sebastian Eble, Ivo Wolf, Bjoern Menze, Sandy Engelhardt
Última actualización: 2024-07-10 00:00:00
Idioma: English
Fuente URL: https://arxiv.org/abs/2407.07488
Fuente PDF: https://arxiv.org/pdf/2407.07488
Licencia: https://creativecommons.org/licenses/by/4.0/
Cambios: Este resumen se ha elaborado con la ayuda de AI y puede contener imprecisiones. Para obtener información precisa, consulte los documentos originales enlazados aquí.
Gracias a arxiv por el uso de su interoperabilidad de acceso abierto.