Un modèle polyvalent pour l'analyse des neuroimageries

L'imagerie cérébrale est super importante pour étudier le cerveau humain. Des techniques comme la Segmentation, la reconstruction et l'enregistrement aident les neuroscientifiques et les chercheurs cliniques à mieux comprendre les structures et les fonctions du cerveau. Mais ces tâches peuvent être compliquées et nécessitent souvent de nouveaux modèles ou des ajustements des modèles existants quand il y a des changements dans les ensembles de données ou les tâches. Ce processus d'entraînement des modèles prend du temps et peut être trop complexe pour beaucoup de chercheurs qui n'ont pas forcément les compétences ou les ressources en machine learning. Du coup, beaucoup de chercheurs continuent d'utiliser des méthodes anciennes, ce qui limite l'utilisation de techniques avancées en neurosciences.

On présente un nouveau modèle qui peut gérer différentes tâches d'imagerie cérébrale sans avoir besoin de réentraînement ou d'ajustements. Ce modèle peut comprendre des tâches qu'il n'a jamais vues auparavant et le fait rapidement, en utilisant juste un passage vers l'avant pour faire ses prédictions. Il peut s'attaquer à diverses tâches sur différents types d'images et de méthodes de collecte de données, et même s'adapter à de nouvelles tâches auxquelles il n'a jamais été entraîné. Nos tests avec des coupes coronales montrent que quand il y a seulement quelques sujets annotés, notre modèle performe mieux que les modèles spécifiquement entraînés pour une tâche, même s'il n'a jamais été directement entraîné sur cette tâche.

Notre modèle peut gérer une large gamme de tâches de traitement d'images en regardant des exemples de la nouvelle tâche pendant sa phase de prédiction. Une fois entraîné sur divers types de tâches, il peut faire des prédictions sur de nouvelles tâches en une seule fois, sans avoir besoin d'un nouvel entraînement ou d'ajustements. Le modèle est très flexible et n'a pas besoin d'un ensemble de tâches prédéterminé pour fonctionner.

Utiliser des méthodes computationnelles en imagerie cérébrale a vraiment amélioré notre compréhension du fonctionnement du cerveau. Ces méthodes ont permis de meilleurs soins aux patients en rendant disponibles des options de diagnostic et de traitement non invasifs. Des recherches récentes en deep learning montrent qu'il y a de l'espoir pour améliorer la performance et la vitesse des méthodes d'analyse en imagerie cérébrale.

La plupart des approches actuelles de deep learning ont un gros inconvénient : elles ne peuvent effectuer que les tâches pour lesquelles elles ont été spécifiquement entraînées. Ce manque de généralisation à de nouvelles tâches et données limite leur utilité. Différentes tâches d'imagerie cérébrale, comme la segmentation ou la correction de mouvement, nécessitent souvent des modèles différents, même si elles travaillent avec des données d'entrée similaires. Le coût et le temps nécessaires pour concevoir et entraîner ces différents modèles sont assez élevés. De plus, créer un ensemble de données d'entraînement nécessite souvent un travail manuel, et les ressources computationnelles nécessaires ne sont pas toujours disponibles, surtout dans les milieux cliniques.

Du coup, les chercheurs finissent parfois par utiliser des méthodes obsolètes qui ne conviennent pas forcément à leurs données. Avec de nombreuses tâches d'imagerie cérébrale étant similaires, trouver un moyen pour que les modèles se généralisent pourrait aider à réduire le nombre de modèles ayant besoin d'entraînement.

On introduit notre modèle comme une solution universelle pour diverses tâches d'imagerie cérébrale. Il peut gérer plusieurs tâches et types de données sans avoir besoin d'être entraîné spécifiquement pour chacun. Cette approche permet au modèle de s'attaquer directement à de nouvelles tâches en utilisant un ensemble d'exemples fournis au moment de la prédiction. Il utilise une Architecture convolutionnelle qui prend des entrées de ces exemples et les traite pour définir la tâche souhaitée. Cela signifie qu'il n'est pas nécessaire d'avoir une définition claire des tâches que le modèle va réaliser à l'avance.

Notre recherche se concentre sur l'efficacité de ce système et ce qu'on peut en tirer comme informations. On commence par des tests sur des images 2D pour simplifier le processus. Pour nos évaluations, on compare la performance de notre modèle à celle des modèles spécifiques aux tâches en utilisant des quantités similaires de données d'entraînement. Nos résultats montrent que notre modèle performe aussi bien que les modèles spécifiques aux tâches lorsqu'il a des exemples annotés disponibles, même s'il n'a jamais été entraîné sur ces tâches spécifiques. Quand il est confronté à de nouvelles méthodes de segmentation, notre modèle est capable d'égaler la performance des modèles spécifiques aux tâches qui ont été directement entraînés sur l'ensemble de données.

#Travaux Connus

L'analyse d'imagerie cérébrale englobe de nombreuses tâches et méthodes. Comprendre comment ces tâches fonctionnent peut aider à les appliquer efficacement. Les techniques d'imagerie courantes dans le domaine incluent l'IRM structurelle, l'IRM fonctionnelle, l'imagerie par tenseur de diffusion (DTI), la tomodensitométrie (CT) et les scans PET. Chacune de ces méthodes produit différents types d'images, qui peuvent varier en raison de facteurs tels que l'emplacement du test, l'équipement utilisé et les protocoles suivis.

Typiquement, plusieurs tâches de traitement seront combinées en un seul flux de travail. Les tâches courantes incluent la segmentation anatomique, l'élimination du crâne, l'alignement des images, le transfert entre différentes méthodes d'imagerie et la réduction du bruit. Il existe de nombreux kits d'outils disponibles qui fournissent des solutions logicielles pour réaliser ces tâches, utilisant souvent des méthodes d'optimisation traditionnelles. Certains kits d'outils bien connus sont Freesurfer, FSL et SPM. Récemment, des méthodes de deep learning ont commencé à être incluses en raison de leur précision améliorée et de leur temps d'exécution plus rapide. Cependant, beaucoup de ces méthodes sont encore limitées à des tâches et types d'images spécifiques.

L'apprentissage multi-tâches (MTL) est une méthode qui essaie de résoudre plusieurs tâches en même temps en tirant parti des similitudes entre elles. En imagerie cérébrale, des réseaux MTL ont été proposés pour effectuer à la fois la segmentation et la classification simultanément. Cependant, le MTL présente des défis, notamment lorsqu'il s'agit d'un grand nombre de tâches. Beaucoup de méthodes MTL ne permettent pas au modèle de s'adapter à de nouvelles tâches.

Pour résoudre des problèmes en imagerie médicale souvent en manque de données, certains réseaux neuronaux sont pré-entraînés sur des tâches connexes avec beaucoup de données disponibles, puis ajustés pour des tâches spécifiques. Cette approche nécessite cependant une expérience en machine learning et des ressources computationnelles, ce qui n'est souvent pas le cas dans la recherche clinique.

L'apprentissage à quelques exemples est une autre approche, permettant aux modèles de faire des prédictions avec seulement quelques exemples étiquetés ou parfois aucun. Beaucoup de méthodes à quelques exemples nécessitent un entraînement ou des ajustements. Dans le domaine de l'imagerie médicale, ces méthodes à quelques exemples se concentrent principalement sur une zone spécifique dans des images uniques.

Les outils de Machine Learning Automatisé (AutoML) peuvent aider à simplifier les étapes de création et d'entraînement de modèles de deep learning, réduisant le besoin de connaissances techniques. Certaines solutions AutoML, comme le NN-UNet, conçoivent et entraînent avec succès des modèles pour des tâches comme la segmentation d'images biomédicales. Malgré leurs avantages, elles nécessitent encore du matériel puissant et peuvent limiter la flexibilité.

L'augmentation de données augmente la gamme de données d'entraînement en modifiant les données existantes, aidant le modèle à faire face aux variations d'entrée. En imagerie cérébrale, les images peuvent être simulées sans avoir besoin de données réelles, ce qui peut aussi créer des tâches entièrement nouvelles. On utilise des augmentations de données et développe des augmentations spécifiques aux tâches pour aider notre modèle à se généraliser à de nouvelles tâches.

Notre modèle, composé de sept blocs Pairwise-Conv-Avg disposés dans un cadre de type U-Net, permet des interactions entre l'image d'entrée et des paires d'images de référence. Chaque bloc Pairwise-Conv-Avg aide à combiner les caractéristiques de l'entrée avec les images contextuelles pour améliorer les prédictions. Cela est conçu pour fonctionner indépendamment de la taille de l'ensemble de Contexte.

#Modèle Multi-Tâches Généralisable

Pour permettre la généralisation pour des tâches non vues pendant l'entraînement, on définit un ensemble de tâches, dont certaines sont vues et d'autres non. Chaque tâche implique des paires d'images d'entrée-sortie provenant possiblement de plusieurs ensembles de données.

Le modèle se base de manière conditionnelle sur un ensemble de contexte d'images d'entrée-sortie, qui lui indique quelle tâche effectuer. Cet ensemble de contexte peut varier en taille et est échantillonné à partir des ensembles de données durant chaque itération d'entraînement. On utilise un réseau neuronal qui applique la tâche définie par l'ensemble de contexte à l'image neuro et optimise le réseau en utilisant un entraînement supervisé.

Pour rendre le modèle polyvalent, on sélectionne soigneusement la fonction de perte et comment on code les images d'entrée. Ce design permet au modèle de gérer différents types de tâches et d'entrées efficacement.

Pour les tâches de segmentation, on utilise souvent la Soft Dice Loss, tandis que d'autres tâches pourraient utiliser l'erreur quadratique moyenne pixel par pixel, adaptée avec un paramètre d'équilibrage pour garantir que les différents types de pertes aient des magnitudes similaires. Comme le modèle apprend plusieurs tâches en même temps pendant l'entraînement, l'équilibre de ces pertes peut influencer fortement la performance.

Le modèle peut aussi accepter plusieurs modalités d'images d'entrée en même temps. Les images d'entrée peuvent être représentées sous forme de valeurs à virgule flottante avec trois canaux. La sortie dépend de la tâche, utilisant généralement un seul canal pour de nombreuses tâches. Durant chaque itération d'entraînement, on échantillonne une tâche et on sélectionne ensuite l'ensemble de données à utiliser pour cette tâche. On prépare les images et les masques de segmentation comme nécessaire, permettant au modèle de s'adapter efficacement à diverses tâches.

#Architecture du Modèle

L'architecture de notre modèle est basée sur une configuration de type U-Net qui lui permet de traiter efficacement les images à différentes échelles. Les images d'entrée et les paires d'images de l'ensemble de contexte sont d'abord passées par une couche d'embedding qui utilise la convolution pour créer des représentations. Ensuite, ces représentations sont traitées à travers plusieurs blocs Pairwise-Conv-Avg.

Ces blocs sont conçus pour faciliter l'interaction entre l'image d'entrée et les images contextuelles, garantissant que les informations nécessaires sont partagées. Les sorties du dernier bloc Pairwise-Conv-Avg sont ensuite traitées davantage pour donner la sortie finale.

Nos expériences utilisent diverses méthodes d'augmentation pour accroître la diversité de l'ensemble de données d'entraînement. Pendant l'inférence, le modèle prend une image d'entrée et un ensemble de contexte pour produire une prédiction rapide. On améliore encore la précision au moment du test en utilisant des techniques de bootstrapping qui impliquent un échantillonnage et de légères altérations à l'ensemble de contexte.

#Expériences

Pour évaluer notre modèle, on commence par comparer sa performance à celle des réseaux spécifiques aux tâches. On analyse l'impact de la taille de l'ensemble de contexte et comment le modèle se généralise aux protocoles de segmentation et aux types d'images qu'il n'a pas vus durant l'entraînement.

Pour créer un ensemble de données large et varié, on rassemble des neuroimages provenant de plusieurs ensembles de données publics. On emploie des méthodes de segmentation pour préparer les images, s'assurant qu'elles soient correctement alignées et de bonne qualité. Notre ensemble de données final englobe plus de 2 000 sujets avec près de 16 000 images réparties sur plusieurs modalités.

Dans nos tests, on mesure la performance de notre modèle par rapport à des bases de référence spécifiques aux tâches en se concentrant sur des métriques clés pertinentes pour les tâches d'imagerie cérébrale. Nos résultats montrent que notre modèle peut se généraliser efficacement à de nouvelles tâches et modalités avec peu de données, dépassant souvent les modèles qui étaient spécifiquement entraînés pour des tâches uniques.

Quand des ensembles de données annotées de grande taille étaient disponibles, les modèles spécifiques aux tâches étaient parfois de meilleurs performeurs. Cependant, l'entraînement de ces modèles impliquait des coûts temporels et de ressources considérables. Notre modèle, quant à lui, offre une performance comparable et est capable de s'adapter à diverses tâches sans effort, même dans des scénarios de données limitées.

#Conclusion

Notre travail montre qu'un seul modèle peut réaliser de nombreuses tâches d'imagerie cérébrale efficacement sans avoir besoin de réentraînement ou de réglage fin, ce qui en fait un outil précieux pour les chercheurs. La possibilité d'exploiter les similitudes entre différentes tâches permet une approche plus simplifiée de l'analyse d'imagerie cérébrale. Ce modèle pourrait grandement bénéficier aux chercheurs cliniques et scientifiques, offrant une solution simple à un problème complexe.

Alors qu'on continue à affiner cette approche, on est impatients d'étendre son application à un plus large éventail de tâches et de types de données en imagerie cérébrale. Le potentiel de ce modèle pour simplifier et améliorer la manière dont les tâches d'imagerie cérébrale sont réalisées est significatif, et de futurs développements ne feront qu'augmenter son utilité dans le domaine.