Simple Science

La science de pointe expliquée simplement

# Génie électrique et science des systèmes# Traitement de l'image et de la vidéo

Méthode innovante pour la segmentation d'images médicales

NISF améliore la segmentation des formes anatomiques en imagerie médicale avec une précision accrue.

― 6 min lire


Segmentation d'ImagerieSegmentation d'ImagerieMédicale Avancéemédicaux.formes anatomiques dans les scansNISF révolutionne la détection de
Table des matières

Dans l'imagerie médicale, segmenter les formes anatomiques à partir des images est essentiel pour automatiser les mesures cliniques. Les méthodes traditionnelles d'apprentissage profond pour la segmentation fonctionnent généralement sur des grilles de Données discrètes, comme les pixels ou les voxels. Toutefois, les objets réels étudiés existent dans un espace continu. Ça peut poser des problèmes, surtout avec les réseaux de neurones convolutionnels (CNN), qui sont conçus pour des données en grille. Pour résoudre ces problèmes, une nouvelle méthode appelée Fonctions de Segmentation Implicites Neurales (NISF) a été introduite. Cette approche permet de segmenter les formes anatomiques de manière plus flexible.

Le besoin d'une segmentation améliorée

Dans l'imagerie médicale, segmenter avec précision des objets comme des organes ou des tissus est crucial pour diverses analyses. Chaque point d'une image doit être classé pour déterminer la forme et la taille de ces objets. Les modèles d'apprentissage profond, en particulier les CNN, ont montré des promesses dans ce domaine. Ils ont réussi dans de nombreuses tâches d'imagerie et peuvent même surpasser les experts humains dans certains cas. Les CNN traitent les images d'une manière adaptée aux données en grille, mais ils ont des limites.

Un inconvénient majeur est leur incapacité à gérer efficacement les données éparses ou incomplètes. Les images médicales ont parfois une basse résolution, rendant la segmentation précise difficile. Par exemple, dans les IRM cardiaques en coupe courte, la résolution le long d'un axe est souvent limitée, ce qui complique la tâche d'obtenir des Segmentations de haute qualité.

NISF : Une nouvelle approche

NISF représente une nouvelle approche pour la segmentation d'images qui surmonte certains des inconvénients des méthodes CNN traditionnelles. Cette méthode s'inspire du concept de fonctions implicites neurales, qui permettent à un réseau d'apprendre à représenter des formes dans un espace continu plutôt que d'être confiné à une structure de grille.

Avec NISF, le modèle entre une coordonnée réelle en plus d'une représentation spécifique pour chaque sujet. Le réseau prédit alors à la fois l'intensité de l'image et les valeurs de segmentation pour ces coordonnées. Ça signifie que NISF peut créer des surfaces lisses sans avoir besoin de post-traitement, ce qui est souvent nécessaire avec les CNN.

Entraînement et évaluation

Le cadre NISF a été entraîné et testé sur des données d'IRM cardiaque. Les données d'entraînement consistaient en un sous-ensemble de sujets du UK Biobank. Comme les ensembles de données d'imagerie médicale peuvent être grands et complexes, une segmentation synthétique a été utilisée comme vérité de terrain pour l'entraînement. Le modèle a appris à reconnaître des caractéristiques des images et à devenir habile à segmenter les objets d'intérêt.

Pendant l'entraînement, le réseau apprend à ajuster les paramètres de sorte qu'il puisse offrir des prédictions précises. Le modèle a montré une amélioration dans la segmentation et la reconstruction d'images au fur et à mesure qu'il était entraîné sur des données supplémentaires, suggérant qu'il pourrait bien se généraliser à des sujets non vus.

Avantages de NISF

Un des grands avantages de NISF est sa capacité à gérer des données éparses et incomplètes. L'approche peut échantillonner des formes à des résolutions arbitraires, rendant cela adapté aux images médicales avec des stratégies d'échantillonnage complexes ou de qualité variable. Cette flexibilité élimine le besoin de méthodes d'interpolation traditionnelles qui peuvent souvent introduire des erreurs lors de la segmentation.

De plus, NISF peut faire des prédictions dans des zones de l'image qui ne faisaient pas partie des données d'origine. Ça signifie que même si certaines régions sont manquantes, le modèle peut toujours inférer à quoi ces zones pourraient ressembler en se basant sur les connaissances qu'il a apprises pendant l'entraînement.

Généralisation et performance

La capacité de NISF à se généraliser à de nouveaux sujets non vus est cruciale pour son efficacité dans les applications réelles. Lors des tests, le cadre a produit des résultats impressionnants, atteignant souvent des scores élevés dans les métriques de segmentation. Ces scores indiquaient que le modèle pouvait segmenter avec précision des structures anatomiques, même dans les cas où l'image d'origine manquait certaines informations.

En utilisant un antécédent partagé entre les sujets, le modèle a pu s'adapter et fournir des segmentations précises pour différentes images. En conditionnant le modèle avec des caractéristiques uniques des sujets, il a maintenu sa capacité à capter des informations utiles qui aidaient à distinguer un sujet d'un autre.

Défis et pistes futures

Alors que NISF représente une amélioration significative des méthodes de segmentation d'images, des défis demeurent. Par exemple, optimiser le modèle lors de l'inférence pour prévenir le surapprentissage est essentiel. Pendant les tests, il était important d'arrêter le processus d'optimisation au bon moment pour garantir que la meilleure performance était atteinte dans les tâches de segmentation.

De plus, l'architecture du modèle peut être affinée. Des processus d'entraînement plus efficaces ou des méthodes alternatives d'intégration des connaissances antérieures pourraient améliorer la performance de NISF. Les chercheurs sont susceptibles d'explorer diverses voies pour augmenter la robustesse et la précision des prédictions de segmentation.

Conclusion

NISF offre une nouvelle façon de réaliser la segmentation dans l'imagerie médicale. Cette méthode s'adapte aux défis inhérents à l'analyse de données complexes et présente des avantages significatifs par rapport aux méthodes CNN traditionnelles. La capacité à gérer des données éparses, à faire des prédictions dans des régions non vues, et à maintenir la précision à travers différents sujets fait de NISF un outil précieux pour l'imagerie médicale.

Alors que la recherche continue dans ce domaine, on s'attend à ce que NISF et ses dérivés puissent grandement améliorer les capacités des analyses d'images médicales automatisées, fournissant aux cliniciens de meilleurs outils pour aider au diagnostic et à la planification des traitements.

Source originale

Titre: NISF: Neural Implicit Segmentation Functions

Résumé: Segmentation of anatomical shapes from medical images has taken an important role in the automation of clinical measurements. While typical deep-learning segmentation approaches are performed on discrete voxels, the underlying objects being analysed exist in a real-valued continuous space. Approaches that rely on convolutional neural networks (CNNs) are limited to grid-like inputs and not easily applicable to sparse or partial measurements. We propose a novel family of image segmentation models that tackle many of CNNs' shortcomings: Neural Implicit Segmentation Functions (NISF). Our framework takes inspiration from the field of neural implicit functions where a network learns a mapping from a real-valued coordinate-space to a shape representation. NISFs have the ability to segment anatomical shapes in high-dimensional continuous spaces. Training is not limited to voxelized grids, and covers applications with sparse and partial data. Interpolation between observations is learnt naturally in the training procedure and requires no post-processing. Furthermore, NISFs allow the leveraging of learnt shape priors to make predictions for regions outside of the original image plane. We go on to show the framework achieves dice scores of 0.87 $\pm$ 0.045 on a (3D+t) short-axis cardiac segmentation task using the UK Biobank dataset. We also provide a qualitative analysis on our frameworks ability to perform segmentation and image interpolation on unseen regions of an image volume at arbitrary resolutions.

Auteurs: Nil Stolt-Ansó, Julian McGinnis, Jiazhen Pan, Kerstin Hammernik, Daniel Rueckert

Dernière mise à jour: 2023-09-14 00:00:00

Langue: English

Source URL: https://arxiv.org/abs/2309.08643

Source PDF: https://arxiv.org/pdf/2309.08643

Licence: https://creativecommons.org/licenses/by-nc-sa/4.0/

Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.

Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.

Plus d'auteurs

Articles similaires