Simple Science

La science de pointe expliquée simplement

# Génie électrique et science des systèmes# Traitement de l'image et de la vidéo# Vision par ordinateur et reconnaissance des formes

Améliorer le contrôle qualité dans la segmentation d'images médicales

Une nouvelle méthode propose des plages de performance pour la segmentation d'images dans des applications médicales.

― 7 min lire


Contrôle de qualité enContrôle de qualité enimagerie médicalesegmentation d'images.fiabilité des performances deUne nouvelle méthode améliore la
Table des matières

La segmentation d'images est un processus clé en médecine, aidant à identifier et isoler des parties spécifiques d'images, comme les vaisseaux sanguins dans l'œil. C'est important pour diagnostiquer des conditions comme le glaucome et la rétinopathie diabétique. Mais segmenter ces images à la main peut prendre un temps fou-jusqu'à cinq heures juste pour une image. Pour accélérer ce processus, des chercheurs développent des modèles d'apprentissage automatique qui peuvent segmenter ces images automatiquement. Même si certains de ces modèles fonctionnent bien, ils peuvent aussi faire des erreurs. Donc, il est crucial de garantir la qualité de leur sortie.

Contrôle de qualité dans la segmentation d'images

Le contrôle de qualité peut se faire soit sur les images d'entrée, soit sur les sorties du modèle. Le contrôle de qualité des entrées vise à identifier les images qui pourraient être difficiles à segmenter. Les méthodes courantes incluent la prédiction de la qualité de l'image ou la détection si l'image est en dehors de la plage d'entraînement du modèle. Cependant, ces méthodes peuvent parfois échouer. Une image peut sembler correcte mais être difficile à segmenter, ou l'inverse.

Le contrôle de qualité des sorties se concentre sur la vérification de la qualité des résultats du modèle directement. Une stratégie courante est de regarder l'incertitude de la sortie, qui sert de proxy pour la qualité. Mais ça nécessite de choisir un seuil pour déterminer ce qui est considéré comme une qualité acceptable. D'autres méthodes ont été développées pour estimer la performance attendue sur des données non vues, permettant d'avoir des seuils de performance plus clairs, comme viser un score de précision spécifique.

Le besoin de meilleures méthodes

Des développements récents ont montré qu'il est possible de prédire à quel point un modèle va bien performer juste avec ses Probabilités de sortie. Ces probabilités indiquent à quel point chaque pixel appartient à une certaine classe. Malheureusement, beaucoup de modèles actuels ne sont pas bien calibrés, ce qui signifie que leurs prédictions peuvent ne pas refléter la réalité. Ça peut rendre compliqué de se fier aux estimations de performance.

Pour résoudre ces problèmes, on a développé une méthode pour prédire des plages de niveaux de performance possibles au lieu de donner une seule estimation. Comme ça, on peut garantir que la vraie performance tombe souvent dans la plage prédite. Notre méthode utilise l'estimation d'incertitude du processus de segmentation et applique une technique appelée prédiction conforme divisée pour convertir ces estimations en plages de performance fiables.

Notre approche

On a testé notre méthode sur un ensemble de données qui se concentre sur la segmentation des vaisseaux rétiniens dans les images oculaires. Notre but était de prédire non seulement une segmentation, mais aussi sa performance attendue et une plage dans laquelle on pouvait être confiants que le niveau de performance réel se situerait.

D'abord, on a exploré comment estimer un score de performance à partir de la sortie d'un modèle. Sous des conditions idéales, on peut dériver le nombre attendu de vrais positifs et de faux négatifs à partir des prédictions du modèle. Cependant, les modèles réels ont souvent des problèmes de calibration, ce qui conduit à des estimations inexactes. Plutôt que de se fier à ces prédictions potentiellement défaillantes, on a voulu fournir des plages qui capturent la vraie performance de manière plus fiable.

Pour cela, on a commencé à collecter des échantillons de différentes techniques de segmentation probabiliste. Ces échantillons nous donnent une meilleure compréhension de la distribution de performance. À partir de ces échantillons, on a calculé un écart type, ce qui nous a aidés à définir des limites de performance supérieures et inférieures pour chaque image d'entrée.

On a comparé plusieurs méthodes probabilistes pour voir comment elles se comportaient dans l'estimation de ces limites. Les méthodes incluaient le U-Net probabiliste, PHiSeg, l'augmentation au moment du test, les ensembles de modèles et le Monte Carlo Dropout. Chaque méthode offre une façon différente de générer des échantillons de segmentation et d'évaluer l'incertitude.

Une fois qu'on a rassemblé des échantillons, on a appliqué la méthode de prédiction conforme divisée pour ajuster nos plages de performance. Cette technique aide à garantir que le niveau de performance réel tombe dans la plage prédite avec une probabilité spécifiée.

Données et formation

Pour évaluer notre méthode, on a utilisé un ensemble de données avec 800 images rétiniennes, clairement étiquetées avec des segmentations manuelles. Les images étaient divisées en ensembles d'entraînement, de test et de calibration. On a prétraité les images pour améliorer leur apparence et s'est concentré sur l'identification des images de mauvaise qualité qui pourraient nuire à la segmentation.

On a entraîné tous nos modèles sur du matériel puissant pour s'assurer qu'ils apprenaient efficacement. La sélection des modèles était basée sur leur performance sur l'ensemble de validation.

Résultats

On a commencé par vérifier la performance globale des modèles de segmentation. La plupart des modèles ont atteint des scores de précision élevés, indiquant qu'ils ont bien performé sur la tâche. PHiSeg s'est démarqué comme l'une des méthodes les plus efficaces pour prédire la performance avec précision.

Ensuite, on a évalué la qualité des plages de performance générées par notre méthode. L'objectif principal était de vérifier que les vrais scores de performance se situaient bien dans nos plages prédictives. On a trouvé que plusieurs méthodes atteignaient la couverture souhaitée. Cependant, certaines méthodes étaient légèrement en deçà.

On a aussi évalué la taille des intervalles que nous avons produits. Des intervalles plus petits sont meilleurs car ils indiquent une estimation plus précise. Nos meilleurs résultats venaient de PHiSeg, qui fournissait les plages les plus compactes.

De plus, on a examiné comment la qualité des images d'entrée affectait nos prédictions de performance. Les images de mauvaise qualité entraînaient souvent des plages de prédiction plus larges, car elles étaient plus difficiles à segmenter. Nos résultats ont montré que les estimations de performance pour les images de mauvaise qualité avaient tendance à être moins précises, bien que les plages prédictives contiennent souvent encore les vrais scores.

Discussion et conclusion

En résumé, on a démontré que donner juste des estimations ponctuelles de performance n'est pas suffisant pour un contrôle de qualité fiable dans la segmentation d'images. Les modèles d'apprentissage automatique ont souvent des problèmes de calibration et d'incertitude de performance, surtout avec des images de mauvaise qualité.

Notre méthode proposée, qui génère des plages de performance avec des garanties statistiques, aide à relever ces défis. PHiSeg était la méthode la plus performante dans nos tests, fournissant des prédictions précises et des estimations de plages fiables.

Bien que notre approche ait prouvé son efficacité, il est important de noter qu'elle repose sur l'hypothèse que les ensembles de test et de calibration sont similaires. Les recherches futures viseront à étendre ce travail, en cherchant comment adapter notre méthode à différentes situations, notamment lorsqu'il s'agit d'images inconnues.

En conclusion, notre méthode représente un pas en avant significatif dans le contrôle de qualité automatisé pour la segmentation d'images, en faisant un outil essentiel pour les applications d'imagerie médicale.

Source originale

Titre: Conformal Performance Range Prediction for Segmentation Output Quality Control

Résumé: Recent works have introduced methods to estimate segmentation performance without ground truth, relying solely on neural network softmax outputs. These techniques hold potential for intuitive output quality control. However, such performance estimates rely on calibrated softmax outputs, which is often not the case in modern neural networks. Moreover, the estimates do not take into account inherent uncertainty in segmentation tasks. These limitations may render precise performance predictions unattainable, restricting the practical applicability of performance estimation methods. To address these challenges, we develop a novel approach for predicting performance ranges with statistical guarantees of containing the ground truth with a user specified probability. Our method leverages sampling-based segmentation uncertainty estimation to derive heuristic performance ranges, and applies split conformal prediction to transform these estimates into rigorous prediction ranges that meet the desired guarantees. We demonstrate our approach on the FIVES retinal vessel segmentation dataset and compare five commonly used sampling-based uncertainty estimation techniques. Our results show that it is possible to achieve the desired coverage with small prediction ranges, highlighting the potential of performance range prediction as a valuable tool for output quality control.

Auteurs: Anna M. Wundram, Paul Fischer, Michael Muehlebach, Lisa M. Koch, Christian F. Baumgartner

Dernière mise à jour: 2024-08-29 00:00:00

Langue: English

Source URL: https://arxiv.org/abs/2407.13307

Source PDF: https://arxiv.org/pdf/2407.13307

Licence: https://creativecommons.org/licenses/by/4.0/

Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.

Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.

Plus d'auteurs

Articles similaires