Progrès en imagerie hyperspectrale pour la chirurgie

L'Imagerie hyperspectrale est une technique qui capture des images à travers différentes longueurs d'onde de la lumière. Ce truc donne des infos détaillées sur les tissus biologiques, ce qui peut aider à différencier divers types de tissus qui ne sont pas visibles à l'œil nu. Dans le cadre des opérations chirurgicales, utiliser cette technologie peut vraiment améliorer la guidance pendant les interventions en offrant des données en temps réel.

Les caméras hyperspectrales mosaïques à instantané sont reconnues comme des outils idéaux pour l'imagerie chirurgicale. Elles peuvent rapidement capturer des données spectrales, ce qui est essentiel pendant la chirurgie. Cependant, pour utiliser ces images efficacement, un algorithme de Démosaïquage est nécessaire. Cet algorithme restaure les détails spatiaux et spectraux dans les images capturées.

Traditionnellement, la création de ces algorithmes a reposé sur des méthodes d'apprentissage supervisé utilisant des ensembles de données synthétiques. Ces méthodes rencontrent des défis parce qu'il est presque impossible de capturer des images spectrales à haute résolution et des images instantanées de la même scène chirurgicale. Pour y remédier, une nouvelle méthode de démosaïquage auto-supervisée et de reconstruction RGB a été développée. Cette nouvelle approche ne dépend pas de données haute résolution appariées. Au lieu de cela, elle utilise des images standards de microscopie chirurgicale haute résolution, qui fournissent des données RGB collectées lors de chirurgies de routine.

#L'importance du démosaïquage

Le démosaïquage est crucial dans l'imagerie hyperspectrale. Il reconstruit l'image couleur complète à partir de l'image mosaïque qui a été capturée. Le défi surgit parce que l'imagerie mosaïque à instantané sacrifie une partie de la résolution spatiale et du détail spectral pour obtenir une acquisition rapide des données.

Les techniques de démosaïquage actuelles reposent généralement sur l'interpolation ou l'optimisation de modèle, mais ces méthodes ne fonctionnent pas aussi bien que les méthodes basées sur l'apprentissage profond. L'apprentissage profond a montré de bons résultats pour des problèmes similaires comme la super-résolution d'image unique. Cependant, la plupart des méthodes basées sur l'apprentissage existantes nécessitent des images instantanées synthétiques appariées avec des images idéales reconstruites pour créer des ensembles de données d'entraînement. Cela conduit à un décalage car les images synthétiques ne représentent souvent pas la complexité du monde réel.

#Apprentissage auto-supervisé pour le démosaïquage

Dans des recherches récentes, une approche différente a été adoptée. Les chercheurs ont reframed le processus de démosaïquage comme un problème complexe et ont créé une méthode d'apprentissage auto-supervisée qui utilise uniquement les données mosaïques à instantané. Cette méthode promeut la corrélation inter-bande et améliore le détail de l'image.

Cependant, les réseaux d'origine ont rencontré des problèmes d'artefacts qui apparaissaient périodiquement à cause du surajustement. Des travaux précédents ont introduit des techniques de régularisation pour y remédier, mais des compromis sont apparus entre la netteté et la douceur de l'image. Les réseaux antagonistes génératifs (GAN) offrent une solution prometteuse. Ils peuvent être entraînés avec des images non appariées et ont été efficaces dans des tâches comme la super-résolution d'image et le débayerage.

#Intégration des images RGB dans le démosaïquage

Dans ce travail, des images RGB collectées à partir de microscopes chirurgicaux sont utilisées pour améliorer le démosaïquage des images hyperspectrales. Convertir des images hyperspectrales en RGB est un processus bien compris, qui sera détaillé plus loin dans le texte. Ces images RGB peuvent aider à guider le processus de démosaïquage, permettant de meilleures détails spatiaux et une précision des couleurs.

#Méthodologie proposée

La méthode proposée tourne autour d'un algorithme en temps réel qui améliore la qualité des images hyperspectrales reconstruites. Il y a trois contributions principales à ce travail :

1. Une perte adversariale de cycle cohérent est introduite pour utiliser des images RGB haute résolution afin d'améliorer les détails et de réduire les artefacts dans les images reconstruites.

2. Un modèle de réseau de neurones simple remplace les conversions traditionnelles basées sur la physique de l'hyperspectral au RGB, ce qui aide à obtenir une meilleure précision des couleurs et à faire en sorte que les visualisations ressemblent davantage à des images de microscopie chirurgicale.

3. Un terme de perte de décalage inverse des pixels est ajouté pour réduire efficacement les artefacts périodiques qui étaient présents dans les méthodes précédentes, tout en préservant les détails spatiaux locaux.

L'évaluation de cette méthode a été réalisée de manière quantitative et qualitative. Les résultats indiquent un fort potentiel pour intégrer cette technique dans des systèmes chirurgicaux en temps réel, améliorant les flux de travail cliniques.

#Le processus de démosaïquage

L'algorithme de démosaïquage commence par une interpolation bilinéaire appliquée à l'image mosaïque instantanée d'entrée. Cette étape vise à récupérer une grille spatiale et spectrale complètement échantillonnée. Ensuite, l'image interpolée sert d'entrée au réseau de démosaïquage, qui génère l'image hyperspectrale affinée.

De nombreuses techniques d'apprentissage profond adaptées à la super-résolution d'image et au démosaïquage peuvent être adaptées à cette tâche. Un modèle Res2-Unet modifié est choisi en raison de sa performance impressionnante dans des défis passés.

#Entraînement adversarial cohérent en cycle

Le modèle proposé utilise un design cohérent en cycle. Le réseau générateur est entraîné pour créer des images qui imitent les images de microscopie chirurgicale. Un discriminateur est également utilisé pour évaluer à la fois les images générées et les vraies images, aidant à améliorer l'authenticité des résultats.

Pour s'assurer que les images générées à partir de la reconstruction RGB restent cohérentes avec les images hyperspectrales originales, un modèle de récupération spectrale convertit les images RGB en images hyperspectrales. Une fonction de perte est alors introduite pour maintenir la cohérence tout au long du processus.

#Conversion entre des images hyperspectrales et RGB

La méthode traditionnelle de conversion des images hyperspectrales en RGB inclut une fonction d'appariement des couleurs qui mappe les données spectrales à un espace de couleur spécifique. Cette méthode peut parfois échouer à représenter avec précision la sortie visuelle souhaitée, en particulier dans le spectre rouge, qui est souvent proéminent dans les images de neurochirurgie.

Pour surmonter les limitations de la méthode traditionnelle, un modèle de perceptron multicouche (MLP) est utilisé. Ce modèle élargit la signature spectrale à chaque pixel tout en s'assurant que les détails spatiaux ne sont pas modifiés.

Bien que la conversion des images RGB en images hyperspectrales reste complexe, de nombreux chercheurs ont fait des progrès pour obtenir une meilleure récupération spectrale. Dans ce travail, un Réseau d'Attention Pésée Adaptatif (AWAN) a été adopté pour mieux capturer les relations entre les caractéristiques pendant le processus de récupération spectrale.

#Résolution des artefacts avec la perte de décalage inverse des pixels

Les réseaux développés pour le démosaïquage hyperspectral rencontrent souvent des artefacts périodiques. Pour lutter contre ce problème, l'approche de Déplacement Inverse des Pixels (IPS) réorganise les images de bande en sous-images. La variance des statistiques globales est alors utilisée comme métrique pour minimiser ces artefacts.

La fonction de perte IPS est rétro-propagée pendant l'entraînement, garantissant ainsi la cohérence des statistiques de toutes les sous-images tout en améliorant les détails locaux.

#Expériences et résultats

Les données pour l'étude ont été collectées auprès de patients subissant une neurochirurgie. Un total de 210 cadres d'images mosaïques instantanées ont été sélectionnés manuellement pour l'étude. Un nombre significatif de ces images a été utilisé pour l'entraînement, tandis que d'autres ont été réservées pour la validation et les tests. Des images RGB haute résolution ont également été sélectionnées manuellement pour comparaison, fournissant un ensemble de données solide pour l'évaluation.

#Détails de l'entraînement

L'entraînement avec des Réseaux Antagonistes Génératifs peut être instable. Par conséquent, une initialisation minutieuse est essentielle. Initialement, les données d'entraînement sont traitées pour créer des paires d'images hyperspectrales et RGB appariées, qui sont vitales pour préformer certains modèles.

Les modèles pré-entraînés sont ensuite affinés pour améliorer les performances à travers les différents réseaux impliqués dans le processus de démosaïquage.

#Évaluation quantitative des résultats

Pour évaluer l'efficacité des méthodes proposées, des comparaisons quantitatives sont faites avec les techniques de démosaïquage existantes qui ne reposent pas sur des données hyperspectrales haute résolution. Divers métriques, comme le score BRISQUE et le score Fréchet Inception Distance (FID), sont calculés pour évaluer la qualité des résultats.

Les résultats révèlent que l'algorithme proposé surpasse significativement les autres en obtenant de meilleures visualisations RGB, avec un score BRISQUE notablement amélioré.

#Étude utilisateur et retours

Une étude utilisateur qualitative a été réalisée impliquant des experts en neurochirurgie. Les participants devaient comparer des images générées par différentes méthodes. Les résultats ont montré une préférence claire pour la méthode proposée, indiquant son efficacité dans les applications réelles.

Les participants ont souligné une meilleure précision des couleurs et une qualité globale améliorée dans les visualisations produites par le modèle proposé.

#Conclusion

L'approche basée sur les GAN introduite pour l'imagerie hyperspectrale dans les applications médicales montre un bond en avant significatif. En ne nécessitant pas de données hyperspectrales haute résolution, qui sont difficiles à obtenir dans des environnements chirurgicaux, la méthode s'appuie sur les images RGB disponibles pour améliorer les reconstructions.

La combinaison de la perte IPS et de l'entraînement adversarial cohérent en cycle a considérablement amélioré les résultats. La visualisation RGB est également affinée, fournissant des images utilisables pour la guidance chirurgicale.

Avec de fortes évaluations quantitatives et qualitatives soutenant ses performances, cette approche montre un grand potentiel pour une intégration en temps réel dans les environnements chirurgicaux. Les retours positifs des experts en neurochirurgie soulignent son impact potentiel dans la pratique clinique.