Mélangeur décomposé dynamique pour la segmentation d'images médicales

La segmentation d'images médicales est super importante pour identifier les organes et les lésions dans des images comme les scanners CT. Ce processus peut aider les médecins à prendre de meilleures décisions et à améliorer les soins aux patients. Cependant, le faire manuellement prend beaucoup de temps et peut entraîner des erreurs. Donc, développer des outils de segmentation automatique est essentiel.

#Contexte

Les Réseaux de Neurones Convolutifs (CNN) sont des outils populaires utilisés dans la segmentation d'images médicales. U-Net et ses variations sont parmi les méthodes les plus réussies dans ce domaine. Cependant, les CNN rencontrent des défis pour apprendre des informations à partir de grandes zones d'une image. C'est surtout dû à leur conception, qui se concentre sur les informations locales.

Récemment, une approche différente appelée MLP Mixers a été suggérée pour capturer des informations à long terme dans les images. Bien que les MLP Mixers puissent apprendre des motifs globaux efficacement, ils ont du mal à capturer les détails spatiaux correctement. Ils manquent aussi de la capacité à mélanger et combiner des fonctionnalités intelligemment.

Pour résoudre ces problèmes, un nouvel outil appelé le Dynamic Decomposed Mixer (DDM) a été créé. Le DDM utilise différentes méthodes pour rassembler des informations provenant de diverses zones et canaux dans les images. Il inclut également des techniques de mélange dynamique qui lui permettent de combiner des caractéristiques de différents canaux et zones de manière plus efficace.

#Module Dynamic Decomposed Mixer

Le DDM est au cœur du nouveau réseau développé pour la segmentation d'images médicales. Il capture et combine des caractéristiques de deux manières importantes : en regardant les informations spatiales et les informations de canal. Le DDM se compose de trois chemins principaux.

#Spatially Decomposed Mixer

Les deux premiers chemins utilisent une méthode appelée Spatially Decomposed Mixer. Cette méthode permet de rassembler des informations spatiales des images en regardant les caractéristiques le long de deux dimensions différentes : la hauteur et la largeur. Au lieu de combiner toutes les informations en même temps, elle traite la hauteur et la largeur séparément. Cela conduit à une meilleure interaction des caractéristiques.

En pratique, le Spatially Decomposed Mixer décompose les caractéristiques d'entrée en plus petites parties appelées patches. Le premier chemin se concentre sur la collecte d'informations le long de la largeur de l'image, tandis que le deuxième chemin se concentre sur la hauteur. Chaque chemin utilise un MLP (perceptron multi-couches) pour capturer efficacement les caractéristiques pertinentes.

#Channel Mixer

Le troisième chemin utilise un Channel Mixer. Cette partie regarde les informations recueillies à partir de différents canaux dans les données d'entrée. Comme le Spatially Decomposed Mixer, elle utilise aussi un MLP pour le traitement et l'extraction des caractéristiques.

#Mixing Dynamique

Le DDM inclut deux techniques de mélange dynamique qui améliorent l'interaction entre les caractéristiques.

#Spatial-wise Dynamic Mixing

Avec l'approche Spatial-wise Dynamic Mixing, les caractéristiques des dimensions de hauteur et de largeur peuvent mieux interagir entre elles. D'abord, la méthode calcule à quel point les caractéristiques sont similaires. Ensuite, elle utilise cette information pour mélanger les caractéristiques intelligemment. Cela permet une combinaison plus naturelle des caractéristiques spatiales.

#Channel-wise Dynamic Mixing

De même, la technique Channel-wise Dynamic Mixing combine les caractéristiques spatiales précédentes avec les caractéristiques de canal. Cette technique évalue l'importance de chaque caractéristique et utilise cette évaluation pour créer une combinaison plus significative.

#Architecture du Réseau D2-MLP

La nouvelle architecture de réseau Dynamic Decomposed MLP Mixer (D2-MLP) est structurée comme un système d'encodeur-décodeur en forme de U. Ce design permet au réseau d'apprendre des représentations hiérarchiques efficacement.

#Encodeur

Dans la section encodeur, le réseau commence par décomposer les images d'entrée en sections plus petites et les projette dans un plus grand nombre de canaux. Tout au long de l'encodeur, plusieurs blocs MLP Mixer sont empilés ensemble pour améliorer l'apprentissage des représentations.

#Décodeur

La section décodeur fonctionne en mettant à l'échelle les caractéristiques apprises pour revenir à la taille originale de l'image. Elle combine les caractéristiques de l'encodeur et les utilise pour produire des prédictions de segmentation denses. Cette connexion signifie que le décodeur bénéficie des informations détaillées recueillies dans l'encodeur.

#Évaluation des Performances

Pour évaluer le réseau D2-MLP, des tests ont été effectués sur deux ensembles de données d'images médicales importants : un pour la segmentation multi-organes et un autre pour la segmentation des tumeurs hépatiques. Les résultats ont montré que le D2-MLP surpassait d'autres méthodes existantes dans les tâches de segmentation sur les deux ensembles de données.

#Ensembles de Données

L'ensemble de données de segmentation multi-organes contient des images CT avec des annotations manuelles pour divers organes. L'ensemble de données de segmentation des tumeurs hépatiques comprend des images spécifiquement axées sur les tumeurs du foie, avec des annotations correspondantes. Les deux ensembles de données servent de références critiques pour tester la performance de segmentation.

#Résultats Expérimentaux

Pour évaluer la performance du modèle, plusieurs métriques ont été utilisées, y compris le coefficient de Dice et des mesures de distance. Ces métriques aident à quantifier à quel point le modèle performe par rapport aux autres. Les résultats ont montré que le D2-MLP atteignait systématiquement des scores plus élevés que d'autres méthodes à la pointe de la technologie dans presque toutes les tâches.

#Comparaison avec D'autres Méthodes

En comparant le D2-MLP avec différents modèles CNN et ViT, il est devenu clair que le D2-MLP s'est imposé comme une option supérieure. Les évaluations qualitatives ont confirmé que le réseau D2-MLP offrait des résultats de segmentation plus clairs et plus précis.

#Études d'Ablation

Pour prouver davantage l'efficacité du DDM et du réseau D2-MLP, plusieurs études d'ablation ont été réalisées.

#Impact du Nombre de Patches

Une étude a examiné comment changer le nombre de patches affectait la performance. Les résultats ont indiqué qu'utiliser un certain nombre de patches conduisait aux meilleurs résultats, tandis que d'autres configurations montraient une performance légèrement inférieure.

#Efficacité du Module DDM

Dans une autre évaluation, le DDM a été remplacé par un Channel Mixer plus simple pour comparer les performances. Les résultats ont souligné que le D2-MLP avec le DDM a obtenu des résultats de segmentation significativement meilleurs, montrant son importance dans l'architecture globale.

#Conclusion

Le réseau Dynamic Decomposed MLP Mixer représente un pas en avant significatif dans la segmentation d'images médicales. En combinant efficacement des caractéristiques à travers diverses dimensions spatiales et de canaux, le réseau D2-MLP démontre une performance améliorée par rapport aux méthodes traditionnelles. Cette approche répond non seulement aux besoins actuels, mais ouvre aussi la voie à de futures avancées dans le domaine de l'imagerie médicale.