Améliorer la reconstruction d'images 3D avec une fonction de perte topologique

Reconstituer des images 3D à partir de simples tranches 2D, c'est pas simple en vision par ordinateur. Ce défi devient encore plus compliqué quand on a peu de données. Les modèles de deep learning traditionnels se concentrent souvent sur la minimisation des fonctions de perte géométriques, ce qui peut donner des résultats décevants car ils ignorent la structure de la forme.

Dans ce contexte, on vous présente une nouvelle méthode qui utilise une Fonction de perte topologique spéciale, dérivée de la Transformation Caractéristique d'Euler. Cette fonction de perte peut aider à entraîner n'importe quel réseau de neurones, améliorant ainsi la qualité des reconstructions 3D quand les données sont rares. On intègre cette nouvelle perte dans un modèle existant appelé ShaPR et on évalue sa performance sur des datasets bien connus impliquant des globules rouges et des noyaux.

#Contexte

Les humains arrivent facilement à créer des formes 3D à partir d'images 2D en utilisant leurs expériences passées sur les formes des objets. En revanche, les ordinateurs galèrent avec ce processus, surtout avec une seule image, car plein de formes 3D différentes peuvent correspondre à la même entrée 2D.

Beaucoup de tentatives pour résoudre ce problème se basaient sur de gros datasets ou des modèles 3D synthétiques. Malheureusement, dans le domaine biomédical, les grands datasets étiquetés ne sont pas toujours disponibles et peuvent coûter cher à produire. Les datasets existants sont souvent beaucoup plus petits que ceux d'autres domaines. Donc, notre approche vise à améliorer la performance de la reconstruction d'images sans s'appuyer sur ces grandes collections de données ou des modèles 3D complexes. Au lieu de ça, on applique une technique de régularisation spéciale basée sur des propriétés topologiques pendant le processus d'optimisation.

#Approches Précédentes

Les méthodes courantes optimisent généralement des fonctions de perte géométriques basées sur des pixels individuels, comme la perte DICE. Notre approche améliore un réseau de neurones existant en intégrant une nouvelle fonction de perte qui prend en compte des caractéristiques topologiques plus complètes, y compris la connectivité et les vides. En particulier, on établit un nouveau terme de régularisation basé sur la Transformation Caractéristique d'Euler, qui est à la fois efficace à calculer et adaptable à différentes tailles d'images.

On montre les avantages de notre fonction de perte nouvellement proposée en l'incorporant dans le modèle SHAPR et en la soumettant à des tests sur deux datasets biomédicaux. Nos principales contributions incluent une fonction de perte topologique nouvellement définie compatible avec n'importe quel réseau de neurones, ainsi qu'une analyse de ses propriétés, notamment en ce qui concerne sa stabilité et son injectivité.

#Travaux Connus

Plein de versions de la tâche de conversion d'images 2D en reconstructions 3D ont été abordées dans différents domaines, y compris la robotique, l'imagerie médicale et la compréhension de scènes. Les tâches peuvent varier selon les données d'entrée, certaines nécessitant plusieurs tranches tandis que d'autres se concentrent sur une seule image, comme notre approche. La plupart des modèles qui fonctionnent avec une seule image ont généralement besoin soit d'un modèle 3D synthétique, soit de datasets étendus.

L'application de la topologie computationnelle au machine learning est un domaine en pleine expansion qui a montré des résultats positifs dans plusieurs applications, notamment dans les tâches de vision par ordinateur, comme la génération et la segmentation d'images. Notre étude vise à améliorer les modèles de reconstruction d'images 3D en s'appuyant sur des concepts de topologie, en particulier la Transformation Caractéristique d'Euler.

SHAPR représente le premier modèle de machine learning qui s'attaque à la reconstruction 2D à 3D pour les images biomédicales, surpassant les modèles synthétiques conventionnels. On a montré que les caractéristiques obtenues grâce à la reconstruction 3D peuvent améliorer la précision dans les tâches de classification suivantes sur les images 2D.

Dernièrement, de nouveaux modèles ont émergé, y compris un modèle basé sur la diffusion qui surpasse le modèle SHAPR en performance. Cependant, certaines méthodes utilisent des diagrammes de persistance pour le calcul des pertes, ce qui a des limitations. Par exemple, elles délaissent les données de localisation et peuvent mener à des résultats inexactes à cause de mappages non injectifs. Pour répondre à ces préoccupations, on propose d'utiliser la Transformation Caractéristique d'Euler pour établir une fonction de perte plus efficace et riche expressivement pour l'optimisation.

#Fondements Mathématiques

Pour clarifier les concepts mathématiques essentiels qui sous-tendent notre méthode, on présente de brèves explications des complexes simpliciaux et des complexes cubiques.

Un complexe simplicial se compose de formes géométriques simples appelées simplices, qui peuvent représenter des points, des arêtes, des triangles et des tétraèdres. Un complexe cubique est une variation qui fonctionne mieux avec des structures en grille, comme les images.

Quand on travaille avec des images binaires, les convertir en un complexe cubique peut se faire en définissant chaque voxel comme un cube. Les relations entre les cubes peuvent représenter différentes formes au sein de l'image.

#Workflow de la Méthode Proposée

La stratégie globale de notre approche commence par le traitement d'une image 2D à travers un réseau de neurones, qui crée ensuite une représentation 3D. Le modèle est entraîné en utilisant une combinaison de fonctions de perte géométriques standard et de notre nouvelle perte topologique. Cette nouvelle perte se concentre sur la distance entre les Transformations Caractéristique d'Euler des images prédites et de vérité terrain.

Notre algorithme d'entraînement utilise un dataset contenant des images 2D et leurs images 3D correspondantes. Chaque image est dirigée à travers le modèle SHAPR, qui produit un résultat 3D. On calcule ensuite la perte topologique en utilisant des seuils aléatoires basés sur les valeurs de voxel distinctes des images générées.

#Résultats Expérimentaux

Pour évaluer l'efficacité de notre fonction de perte topologique, on a effectué des tests sur deux datasets biomédicaux : globules rouges et noyaux. Le dataset de globules rouges se compose de 825 images 3D, tandis que le dataset de noyaux contient 887 images 3D.

Étant donné la petite taille des datasets disponibles, on a utilisé une approche de validation croisée à cinq volets pour maximiser le processus d'évaluation. On a comparé trois méthodes différentes : le modèle de base SHAPR, SHAPR augmenté d'une perte basée sur Wasserstein et SHAPR amélioré par notre nouvelle perte basée sur l'ECT.

Pendant le processus d'entraînement, on a mis en œuvre des techniques d'augmentation des données comme des retournements et des rotations aléatoires pour améliorer la performance du modèle. Notre analyse a révélé que la perte basée sur l'ECT surpassait constamment les autres modèles sur la plupart des métriques pour les deux datasets.

#Conclusion

Dans cette étude, on a introduit une nouvelle fonction de perte topologique basée sur la Transformation Caractéristique d'Euler pour aider à entraîner des réseaux de neurones pour la tâche complexe de reconstruction 3D à partir d'images uniques. Notre approche a montré des avantages clairs en termes de performance par rapport aux méthodes antérieures. En se concentrant sur les aspects topologiques des formes, on a réussi à améliorer significativement la qualité des reconstructions.

Cette méthode peut servir de base pour de futurs travaux dans diverses tâches de vision par ordinateur, notamment la segmentation d'images et la reconstruction 3D à partir de plusieurs images. Une prochaine étape potentielle pourrait être d'explorer l'utilisation de la transformation de l'homologie persistante pour évaluer si elle offre des avantages par rapport à la Transformation Caractéristique d'Euler, malgré les demandes computationnelles supplémentaires qu'elle pourrait nécessiter.