Avancées en réalité augmentée pour la chirurgie du foie

La réalité augmentée (RA) est une technologie qui améliore notre vision du monde réel en ajoutant des éléments numériques. Dans la chirurgie du foie, surtout lors de la résection hépatique laparoscopique, la RA aide les chirurgiens à voir des structures importantes comme des tumeurs et des vaisseaux sanguins en superposant des images numériques à ce qu'ils voient à travers la caméra. Ce soutien est crucial puisque la chirurgie exige de la précision.

Dans ce processus, un Modèle 3D du foie créé à partir d'examens d'imagerie comme les scanners ou les IRM est associé à des images laparoscopiques en temps réel prises pendant l'opération. Ce couplage doit être précis pour que le chirurgien puisse prendre des décisions éclairées.

#Le besoin de détection automatique des repères

Un des défis pour utiliser la RA efficacement est la nécessité d'identifier des points anatomiques spécifiques, appelés repères, sur le foie. Les repères courants incluent le bord inférieur du foie, certains ligaments spécifiques et le contour extérieur du foie. Traditionnellement, les chirurgiens marquaient manuellement ces repères sur le modèle 3D et les Images 2D. Malheureusement, cette méthode prend du temps et est sujette à des erreurs, surtout si elle est effectuée par quelqu'un qui n'est pas expérimenté.

Pour améliorer ce processus, les chercheurs cherchent des moyens d'automatiser la détection de ces repères. En faisant cela, la technologie RA pourrait être mieux intégrée dans les flux de travail chirurgicaux, rendant la procédure plus fluide et plus sûre.

#Aperçu du défi P2ILF

Le défi Préopératoire-à-Intraopératoire de Fusion Laparoscopique (P2ILF) a été créé pour s'attaquer aux problèmes de détection et d'enregistrement des repères. Le défi a eu lieu lors d'une conférence sur l'imagerie médicale et les interventions assistées par ordinateur en 2022 et a invité des équipes à développer des méthodes automatiques pour détecter les repères et effectuer les enregistrements nécessaires.

Ce défi comportait deux tâches :

1. Détecter des repères 2D et 3D.
2. Enregistrer les modèles 3D préopératoires avec les images laparoscopiques.

Les participants ont reçu un jeu de données contenant des images de chirurgies laparoscopiques et des modèles 3D des Foies des patients. Après la compétition, diverses méthodes développées par les équipes ont été évaluées et comparées.

#La complexité de la résection hépatique laparoscopique

La résection hépatique laparoscopique est une chirurgie mini-invasive utilisée pour retirer des tumeurs du foie. Au cours des 20 dernières années, cette technique a gagné en popularité grâce à ses avantages, tels que des temps de récupération réduits. Cependant, elle comporte encore des défis, principalement à cause de l'espace limité dans l'abdomen et du manque de retour physique lors de la manipulation des organes. Ces facteurs rendent difficile la localisation précise des tumeurs, augmentant le risque d'erreurs pendant la chirurgie.

En ajoutant la technologie RA, les chirurgiens peuvent visualiser les structures internes, leur permettant de trouver les tumeurs et d'autres zones critiques avec plus de précision. Une méthode appelée enregistrement déformable aligne les modèles préopératoires avec les données chirurgicales en temps réel, améliorant la capacité du chirurgien à visualiser le champ opératoire.

#Méthodes d'enregistrement pour la RA en chirurgie

Il existe différentes manières d'enregistrer des modèles 3D préopératoires avec des images 2D intraopératoires. La plupart des méthodes utilisent des repères anatomiques pour aider le modèle à s'ajuster correctement aux images en direct. Cependant, il y a des complications dans ce processus, surtout avec les approches traditionnelles où les repères sont marqués manuellement.

Les méthodes d'enregistrement existantes peuvent soit aligner des données 3D avec d'autres données 3D, soit des données 3D avec des images 2D. Dans le cas de l'enregistrement 3D-3D, certaines techniques reposent sur la capture de la forme du foie pendant la chirurgie avec des caméras stéréo. Malheureusement, ces caméras ne sont pas toujours disponibles dans les milieux chirurgicaux. D'un autre côté, l'enregistrement 3D-2D est plus applicable car il utilise le modèle préopératoire et le rapproche avec des images 2D prises pendant la chirurgie.

Un défi majeur vient des changements anatomiques qui se produisent entre les phases préopératoire et intraopératoire, en raison de la flexibilité du foie. Ainsi, des méthodes d'enregistrement fiables capables de s'adapter à ces changements sont essentielles.

#Création de jeux de données pour le défi

Pour soutenir le défi P2ILF, un jeu de données diversifié a été créé. Ce jeu de données inclut des modèles 3D préopératoires et des images laparoscopiques 2D correspondantes de plusieurs patients. En annotant ces images avec des repères anatomiques, les équipes ont pu entraîner efficacement leurs algorithmes.

La création du jeu de données a impliqué la capture de scans 3D quelques jours avant la chirurgie et la prise de vidéos pendant la procédure. Les séquences vidéo ont aidé à s'assurer que les structures essentielles du foie étaient incluses dans les images. Après la chirurgie, les images pertinentes ont été sélectionnées et organisées pour des fins d'entraînement et de test.

#L'importance de l'éthique et de la vie privée

Les données utilisées dans le défi ont été collectées auprès de patients avec des approbations éthiques appropriées. Toutes les informations personnelles ont été anonymisées pour protéger la vie privée des patients. Les participants au défi devaient se conformer à des directives strictes en matière de confidentialité, garantissant la sécurité des données tout au long du processus.

#Structure et évaluation du défi

Le défi P2ILF était composé de plusieurs phases. Dans la première phase, les équipes se concentraient sur la détection des repères anatomiques dans les images 2D et les modèles 3D. Dans la deuxième phase, l'accent était mis sur l'enregistrement des modèles préopératoires avec les images laparoscopiques en utilisant les repères détectés précédemment.

Une fois les tâches terminées, la performance de chaque équipe a été évaluée en fonction de la précision avec laquelle elles pouvaient détecter les repères et réaliser l'enregistrement.

#Les résultats du défi

Après la fin du défi, les différentes méthodes proposées par les équipes ont été analysées. La plupart des participants ont penché vers des techniques d'apprentissage profond pour détecter les repères. Les équipes ont également exploré des méthodes de rendu différentiable pour l'enregistrement, ce qui a permis un meilleur ajustement entre les modèles 3D et les images 2D.

Les résultats ont montré que même s'il y avait des progrès dans les tâches de détection et d'enregistrement, des défis existaient encore, notamment pour la segmentation des repères 3D. Les conclusions ont souligné la nécessité de recherches supplémentaires et le développement de meilleures méthodes pour augmenter la précision requise pour les applications chirurgicales.

#Insights des équipes participantes

Chaque équipe participante au défi a apporté des approches uniques aux tâches.

1. Équipe BHL a proposé une méthode qui utilisait la détection automatique des repères grâce à l'apprentissage profond et une approche semi-automatique pour l'enregistrement. Leurs résultats étaient prometteurs, surtout pour la segmentation 2D.

2. Équipe UCL a utilisé des données synthétiques pour améliorer ses méthodes d'entraînement. Ils ont obtenu des résultats remarquables, en particulier dans la détection de repères 3D.

3. Équipe NCT a combiné plusieurs techniques pour segmenter avec succès les repères et réaliser l'enregistrement. Ils ont été remarqués pour leur utilisation efficace de l'augmentation dans les données d'entraînement.

4. Équipe GRASP a appliqué une approche en deux étapes, d'abord en segmentant le foie puis en enregistrant le modèle, même si leurs résultats n'étaient pas aussi forts que certains autres.

5. Équipe VOR a employé une stratégie d'apprentissage profond multi-étapes mais a rencontré des limitations dans la segmentation des repères.

6. Équipe VIP s'est concentrée uniquement sur la tâche de segmentation 2D, utilisant des mécanismes d'attention pour améliorer les performances de leur modèle.

#Conclusion et directions futures

Le défi P2ILF représente une étape importante pour améliorer l'utilisation de la RA dans les chirurgies laparoscopiques. Le défi a mis en évidence la nécessité de continuer les explorations et les innovations dans les méthodes de détection et d'enregistrement des repères.

À mesure que le domaine progresse, il est clair qu'il y a un besoin de jeux de données plus grands et plus diversifiés qui peuvent mieux soutenir l'entraînement des algorithmes. Une meilleure disponibilité des données conduira à de meilleurs algorithmes, qui sont essentiels pour faire de la RA un outil fiable dans les milieux chirurgicaux.

En résumé, même si la RA détient un grand potentiel pour la chirurgie hépatique, surmonter les défis liés à la détection des repères et à l'enregistrement est crucial pour sa mise en œuvre réussie dans la salle d'opération. À l'avenir, les chercheurs doivent se concentrer sur l'affinement de leurs méthodes et explorer de nouvelles techniques qui peuvent s'adapter à la nature dynamique de l'anatomie du foie pendant la chirurgie.