Améliorer l'interprétabilité des images médicales avec CoCoX

L'apprentissage profond a changé la donne en imagerie médicale, surtout pour diagnostiquer des maladies à partir d'images comme les radiographies thoraciques. Mais ces systèmes avancés agissent souvent comme une boîte noire, ce qui rend difficile pour les médecins de comprendre comment ils prennent leurs décisions. Ce manque de clarté peut poser des problèmes de confiance et de compréhension. Pour y remédier, les chercheurs cherchent des moyens d'expliquer comment ces systèmes fonctionnent, en se concentrant sur des méthodes qui rendent les résultats clairs et faciles à saisir pour les pros de la santé.

#Le Défi

Un des principaux obstacles avec les Modèles d'apprentissage profond, c'est qu'ils ont besoin d'une tonne de données pour apprendre, et souvent ces données doivent être étiquetées, ce qui peut être compliqué et long dans le domaine médical. Quand un modèle fait une prédiction, les médecins doivent savoir pourquoi il en est arrivé là. Les méthodes traditionnelles qui mettent en avant des zones spécifiques d'une image, comme les cartes thermiques, n'expliquent pas toujours pourquoi ces zones sont importantes. En plus, ces méthodes peuvent être dupées par des images spécialement conçues pour embrouiller le modèle. C'est une autre raison pour laquelle se fier uniquement à ces méthodes n'est pas idéal.

#Explications Basées sur des Concepts

Une approche plus efficace est d'utiliser des explications basées sur des concepts. Cela implique d'identifier des attributs ou caractéristiques dans une image qui ont du sens et peuvent être représentés par des mots simples, comme "cœur élargi" ou "fluide dans les poumons." Avec ces concepts, les chercheurs peuvent mieux comprendre comment un modèle a pris ses décisions. Cependant, créer une liste solide de ces concepts nécessite généralement beaucoup de travail manuel, ce qui peut être peu pratique, surtout en ce qui concerne les données médicales.

#Explications Contre-Factuelles Conceptuelles

Pour résoudre ces problèmes, on propose une méthode appelée Explications Contre-Factuelles Conceptuelles, ou CoCoX, spécifiquement pour les images de radiographies thoraciques. Cette méthode utilise des modèles existants qui comprennent déjà la relation entre les images et les descriptions textuelles. Au lieu de devoir avoir un gros jeu de données étiquetées, CoCoX peut fonctionner avec les données disponibles et expliquer la sortie du modèle basée sur des concepts communs trouvés dans les rapports de radiologie.

#Comment Ça Marche

CoCoX commence par rassembler des concepts en langage naturel liés aux radiographies thoraciques. Par exemple, il utilise des descriptions provenant de jeux de données existants et peut même élargir ses connaissances en demandant à un modèle de langage des caractéristiques supplémentaires liées à des conditions médicales spécifiques. Cela nous donne une Banque de Concepts à travailler.

Ensuite, le système relie les caractéristiques des images à ces concepts textuels en utilisant un modèle pré-entraîné qui comprend à la fois les images et le langage. En créant un pont entre les deux, CoCoX peut montrer à quel point chaque concept contribue à la prédiction du modèle.

Lorsqu'on lui donne une image, CoCoX examine la prédiction initiale du modèle et le résultat souhaité. Il détermine ensuite combien chaque concept doit changer pour passer de la prédiction initiale à la prédiction cible. Cela donne aux pros de la médecine une vue plus claire des caractéristiques importantes pour changer le diagnostic.

#Création de la Banque de Concepts

Créer la banque de concepts implique de générer des phrases qui décrivent l'image de différentes manières. Cela peut inclure des prompts neutres comme "Une image de radiographie thoracique sans findings" ainsi que des prompts qui incluent une condition spécifique. Chaque ensemble de prompts aide à former une direction dans la compréhension des concepts par le modèle.

Par exemple, pour en apprendre sur "Cardiomegalie", le processus consiste à prendre le prompt neutre et à le contraster avec un prompt indiquant la présence de la condition. Le modèle aide alors à déterminer comment passer entre ces deux concepts. Cela donne une banque de concepts qui peut être utilisée pour d'autres explications.

#Projections d'Apprentissage

Une fois les concepts établis, la prochaine étape consiste à enseigner au système comment naviguer entre différents types d'informations. Cela signifie traduire les caractéristiques de l'espace du modèle boîte noire vers le modèle qui comprend le langage et vice versa. En faisant cela, CoCoX peut maintenir la cohérence entre les deux espaces.

Le modèle ajuste ces projections pour qu'elles reflètent avec précision les caractéristiques capturées dans les images. Par exemple, lorsqu'une image est traitée, elle devrait produire des embeddings similaires dans les deux modèles, garantissant que les interprétations correspondent.

#Apprentissage des Changements Conceptuels

Avec la banque de concepts et les fonctions de projection en place, CoCoX peut optimiser les changements nécessaires pour faire une prédiction différente. Cela se fait en ajustant les caractéristiques en fonction de l'importance de chaque concept, passant de l'image originale à une qui reflète la condition cible.

CoCoX calcule comment les changements apportés à chaque concept peuvent affecter le résultat. Il utilise une combinaison de métriques de perte pour s'assurer que les changements effectués mènent efficacement à la prédiction souhaitée tout en restant ancrés dans l'image originale.

#Configuration Expérimentale

Pour tester CoCoX, nous avons utilisé deux jeux de données significatifs de radiographies thoraciques. Le premier aide à entraîner les classificateurs principaux à détecter trois conditions : Cardiomegalie, Atélectasie et Épanchement pleural. Le deuxième jeu de données est utilisé pour tester l'efficacité des modèles de projection.

Nous avons commencé l'expérimentation en créant notre banque de concepts en utilisant des annotations existantes et en l'élargissant en interrogeant un modèle d'IA pour des attributs visuels supplémentaires pertinents pour les maladies. Cela a abouti à une bibliothèque robuste de concepts pouvant être appliquée dans diverses situations.

#Résultats et Comparaison

Les résultats ont montré que CoCoX pouvait efficacement transformer une image avec "Aucune Découverte" en une avec une pathologie spécifique. Dans les tests, lorsque les noms des pathologies étaient inclus dans la banque de concepts, le modèle a montré une grande précision dans la sélection des caractéristiques pertinentes pour les Prédictions. Après cette validation initiale, les noms de pathologie ont été retirés pour les tests suivants.

Le modèle a été comparé à des méthodes existantes pour évaluer son efficacité. Lors d'une évaluation côte à côte, CoCoX a pu générer des explications significatives qui correspondaient à ce que des radiologues professionnels notaient comme des caractéristiques importantes dans leurs diagnostics.

De plus, CoCoX était plus rapide, générant des explications pour presque toutes les images d'entrée dans un temps considérablement plus court que les autres méthodes.

#Conclusion

Ce travail montre qu'utiliser une combinaison d'explications basées sur des concepts et d'explications contre-factuelles peut améliorer la clarté des classificateurs d'imagerie médicale en boîte noire. La méthode CoCoX met efficacement en lumière les caractéristiques clés qui contribuent aux changements de diagnostic, offrant une approche plus claire et compréhensible pour les professionnels de la santé.

À mesure que les technologies de modèles continuent d'évoluer, cette méthode pourrait être étendue à d'autres domaines de l'imagerie médicale, fournissant une base pour des recherches continues et une meilleure compréhension des systèmes d'IA complexes dans le domaine de la santé. Les travaux futurs peuvent se concentrer sur l'amélioration de la génération de la banque de concepts et l'exploration d'applications supplémentaires en imagerie médicale.