Présentation de CholecInstanceSeg : Un nouveau jeu de données pour la segmentation des outils chirurgicaux

Dans les chirurgies laparoscopiques et robotiques, il est super important d'identifier et de segmenter correctement les Outils utilisés pendant les opérations. C’est crucial pour rendre les chirurgies plus sûres et plus faciles. Même s'il y a quelques jeux de données qui offrent des infos sur les procédures chirurgicales, ils ne fournissent souvent pas de labels détaillés pour les outils. De plus, beaucoup des jeux de données existants se concentrent sur les opérations sur des porcs plutôt que sur des humains, ce qui les rend moins utiles pour la pratique médicale de tous les jours.

Pour combler ce vide, on présente CholecInstanceSeg, un grand jeu de données créé pour la Segmentation des outils en chirurgie laparoscopique. Ce jeu de données inclut de nouveaux labels pour les chirurgies réalisées sur des patients, contrairement aux jeux de données précédents. CholecInstanceSeg contient 41 933 images annotées provenant de 85 chirurgies cliniques et comprend 64 400 outils identifiés. Chaque outil est labellisé avec un masque et un ID spécifiques. On a effectué des contrôles qualité rigoureux pour garantir l'exactitude de nos labels. Ce jeu de données est destiné à améliorer le développement de programmes informatiques qui peuvent aider en chirurgie.

#Contexte

Les chirurgies peu invasives (MIS) sont devenues plus courantes grâce à leurs avantages par rapport aux chirurgies ouvertes. Ces avantages comprennent moins de pertes de sang, moins de douleur pour les patients, des temps de récupération plus rapides et moins de complications après la chirurgie. Cependant, les MIS reposent souvent sur des caméras pour la visualisation, ce qui peut limiter la vue du chirurgien et rendre les procédures complexes difficiles.

Pour aider à surmonter ces problèmes de visualisation, des techniques qui assistent avec des interventions basées sur l'ordinateur sont en cours de développement. Un des principaux défis est d'identifier correctement les outils chirurgicaux dans ces vues limitées. Cette capacité est essentielle pour créer des technologies qui peuvent aider les chirurgiens ou même réaliser certaines tâches de manière autonome.

Les jeux de données actuellement disponibles qui se concentrent sur la segmentation des outils chirurgicaux ont plusieurs limitations. Beaucoup d'entre eux se concentrent sur les chirurgies animales plutôt que humaines, ce qui limite leur utilité dans des situations cliniques quotidiennes. D'autres ne fournissent que des informations de segmentation de base pour un type d'outil ou ne donnent pas d'informations détaillées sur les outils individuels.

Pour répondre à ces préoccupations, on a créé le jeu de données CholecInstanceSeg, qui comporte 41 933 images provenant de 85 chirurgies laparoscopiques. C'est le plus grand jeu de données disponible pour la segmentation des instances d'outils en chirurgie.

#Sources de données

CholecInstanceSeg a été créé en utilisant des images de trois jeux de données de chirurgie laparoscopique existants : Cholec80, CholecT50 et CholecSeg8k. Ces jeux de données contiennent un total de 85 séquences vidéo.

En faisant référence aux jeux de données source, on sépare les vidéos des séquences d'images. Les vidéos sont des fichiers audiovisuels, tandis que les séquences d'images consistent en des images individuelles extraites de vidéos. Les images utilisées dans CholecInstanceSeg proviennent de jeux de données publics qui avaient déjà les approbations éthiques nécessaires pour utilisation.

CholecSeg8k inclut 8 080 images de 17 vidéos du jeu de données Cholec80. Ce jeu de données offre principalement des labels pour la segmentation sémantique mais manque d'informations spécifiques sur les instances. Le jeu de données CholecT50 est composé de 50 vidéos et a des labels plus détaillés, y compris des détails d'interaction entre les outils et les tissus ; cependant, il manque aussi le labeling complet des outils qu'on visait à fournir.

Cholec80 consiste en 80 vidéos de chirurgies laparoscopiques et inclut quelques informations sur la présence des outils, mais ne fournit pas d'Annotations complètes.

#Labels de segmentation

CholecInstanceSeg se concentre sur l'étiquetage de différents types d'outils utilisés en chirurgies laparoscopiques. On a enregistré sept catégories d'outils distinctes basées sur nos observations : Pinces, Outils bipolarisés, Crochets, Coupeurs, Ciseaux, Irrigateurs et une Étrangleuse. L'Étrangleuse est un ajout qui n'était pas inclus dans les jeux de données précédents en raison de ses caractéristiques et fonctionnalités uniques.

Lors de l'étiquetage, on a inclus tous les outils mais exclu certains éléments qui pourraient compliquer le jeu de données, comme les aiguilles chirurgicales et d'autres objets non directement catégorisés comme outils chirurgicaux. On s'est concentré sur l'étiquetage des outils uniquement lorsqu'ils étaient visibles et on n'a pas étiqueté les ports d'instruments à moins qu'ils ne tiennent visiblement un outil.

On a aussi établi des lignes directrices pour maintenir une haute qualité des annotations. Alors qu'on visait une grande précision, on a permis certaines petites imperfections dans les limites annotées, car la perfection complète n’était pas réalisable compte tenu des contraintes de temps et de budget. Notre but était de s'assurer que les caractéristiques essentielles de chaque outil pouvaient encore être identifiées.

#Outils et techniques d'annotation

Pour rassembler les annotations pour CholecInstanceSeg, on a utilisé une version personnalisée d'un outil d'annotation open-source basé sur un projet populaire appelé LabelMe. Cet outil est conçu pour la segmentation interactive et facilite l'identification des instruments chirurgicaux.

Dans certains cas, l'outil d'annotation a dû être changé pour une saisie manuelle lorsque le système automatisé rencontrait des difficultés. Ce défi survenait souvent dans des scènes complexes où les outils et les fonds étaient similaires en couleur ou lorsque la visibilité était mauvaise à cause de la fumée ou de l'éblouissement.

Un des jeux de données qu'on a utilisés, CholecSeg8k, avait déjà certaines étiquettes de segmentation sémantique. On les a modifiées pour inclure des ID d'instance afin de pouvoir distinguer différents outils dans la même image. Pour convertir la segmentation sémantique en annotations au niveau des instances, on a utilisé une technique appelée analyse des composants connectés.

Le processus a impliqué d'organiser les outils par catégorie et d'identifier les chevauchements ou occlusions qui pourraient embrouiller le logiciel. On a créé plusieurs flux de travail pour attribuer correctement les ID d'instance et pour identifier les problèmes, tels que des erreurs dans l'étiquetage ou des annotations d'outils manquantes.

Pour améliorer la vitesse et la qualité de l'annotation, on a employé une approche semi-automatique. Cette méthode combine l'entrée humaine et l'entraînement de modèles basés sur l'IA pour aider à générer des étiquettes de segmentation d'instance pour un plus grand nombre d'images.

#Processus d'annotation

Le processus global pour créer le jeu de données CholecInstanceSeg peut être résumé en plusieurs étapes clés :

1. Annotation de l'Instance-CholecSeg8k: On a converti le jeu de données existant avec des étiquettes de segmentation sémantique à notre format avec des ID d'instance. Cela a pris environ deux semaines et impliquait plusieurs contrôles de qualité.

2. Création du protocole de labellisation: Pendant trois semaines, on a développé des lignes directrices pour résoudre les défis qui sont apparus lors de l'annotation initiale. Cela incluait des stratégies pour gérer des cas difficiles impliquant une haute complexité.

3. Annotation de l'Instance-CholecT50-Sparse: Cette étape a pris trois semaines et a impliqué l'utilisation de nos lignes directrices développées pour étiqueter précisément les données.

4. Annotation de l'Instance-CholecT50-Full: Cette approche semi-automatique nécessitait trois semaines supplémentaires. Elle s'est basée sur les annotations précédentes et a inclus un entraînement itératif et des corrections pour améliorer la qualité.

5. Annotation de l'Instance-Cholec80: Pour garantir la diversité au sein du jeu de données, on a passé une semaine à annoter manuellement cette partition.

6. Contrôle qualité final: On a alloué deux semaines pour effectuer des revues approfondies de toutes les annotations afin de garantir précision et cohérence.

Lors de l'annotation, un annotateur principal gérait la majorité des tâches, tandis qu'un annotateur secondaire plus expérimenté apportait un soutien pour les contrôles de qualité et les conseils d'annotation. Une équipe d'experts a également aidé à résoudre toute situation floue.

#Aperçu du jeu de données

CholecInstanceSeg est disponible publiquement et est structuré de manière à permettre aux chercheurs d'accéder facilement et d'utiliser les données. Le jeu de données est organisé en répertoires d'entraînement et de validation, avec des images au format PNG et des annotations au format JSON. Les annotations suivent une structure particulière qui indique les labels de classe, les coordonnées des polygones et les ID d'instance.

Pour maintenir la cohérence entre notre jeu de données et les jeux de données connexes, on a préservé les noms de vidéos et les ID de frames, ce qui permettra une intégration plus facile entre notre jeu de données et les ressources existantes.

#Performance et validation

Pour assurer l'efficacité du jeu de données CholecInstanceSeg, on a entraîné deux modèles de base : Mask R-CNN et Mask2Former. Ces modèles ont été sélectionnés pour leur généralisabilité dans les tâches de segmentation. On a mesuré leur performance en utilisant des métriques établies pour fournir des références pour les recherches futures.

En plus de la validation de la performance par l'entraînement des modèles, on a réalisé des analyses d'accord sur les labels pour confirmer l'exactitude. Deux annotateurs ont indépendamment étiqueté un sous-ensemble du jeu de données pour évaluer l'accord inter-annotateur. Les résultats ont montré un haut niveau de cohérence, indiquant que notre processus d'étiquetage était efficace.

On a également comparé les annotations manuelles et semi-automatiques pour s'assurer que la rapidité des processus automatisés ne compromettait pas la qualité. Les résultats étaient prometteurs, démontrant que les deux approches donnaient des résultats similaires.

#Conclusion

CholecInstanceSeg est conçu pour combler les lacunes dans les jeux de données existants en fournissant une ressource complète et de haute qualité pour le développement d'algorithmes de segmentation d'instance dans les chirurgies laparoscopiques. Il offre des annotations étendues pour divers outils et est validé pour garantir sa fiabilité à des fins de recherche et de développement.

Ce jeu de données est destiné à soutenir la création et le perfectionnement des technologies qui peuvent aider les chirurgiens, rendant les procédures plus sûres et plus efficaces. En rendant ce jeu de données disponible publiquement, on espère encourager davantage d'innovations dans le domaine de la segmentation des outils chirurgicaux et des chirurgies assistées par ordinateur dans l'ensemble.