Améliorer l'analyse d'image avec un biais d'attention gaussien dans les transformateurs de vision

Les transformers de vision (ViTs) sont une technologie utilisée pour analyser les images. Ils traitent une image comme une collection de morceaux plus petits appelés patches. Cette méthode a montré de super résultats dans diverses tâches, comme identifier des objets et classifier des images. Cependant, parce que l'image est divisée en patches, elle perd son agencement original. Pour y remédier, les ViTs utilisent ce qu'on appelle l'Embedding positionnel, qui aide à maintenir l'ordre de ces patches.

#L'Importance de l'Ordre dans les Transformers de Vision

Bien que l'embedding positionnel soit important, ça ne garantit pas que le ViT comprend bien l'ordre des patches. Cet article affirme que le simple fait d'avoir un embedding positionnel ne signifie pas que le modèle va automatiquement savoir comment les patches se rapportent les uns aux autres. Pour examiner ça, les chercheurs ont regardé comment les ViTs utilisent un truc appelé champ réceptif effectif (ERF), qui montre comment différentes parties d'une image contribuent à ce que le ViT "voit".

L'étude a révélé que pendant l'entraînement, les ViTs apprennent à reconnaître l'ordre des patches en ajustant l'embedding positionnel. En observant comment ces patches interagissent entre eux, les chercheurs ont trouvé que la prise de conscience de l'ordre se développe au fur et à mesure que le modèle apprend.

#Introduction du Biais d'Attention Gaussien

Sur la base de ces observations, les chercheurs ont proposé une méthode qui ajoute un biais d'attention gaussien à l'embedding positionnel. Ce biais peut aider à guider la compréhension du modèle sur la façon dont les patches se rapportent les uns aux autres dès le début du processus d'entraînement. L'objectif est d'améliorer la manière dont les ViTs comprennent les images, les rendant plus efficaces dans diverses tâches.

Pour tester cette idée, des expériences ont été menées pour voir comment l'ajout de biais d'attention gaussien affecte la performance des ViTs. Les résultats ont montré que la méthode améliore non seulement la compréhension des images par le modèle, mais augmente également sa performance sur plusieurs ensembles de données utilisés pour la classification d'images, la détection d'objets et la segmentation sémantique.

#Comparaison avec les Réseaux de Neurones Convolutionnels

Les ViTs se sont montrés meilleurs que les réseaux de neurones convolutionnels (CNN) traditionnels dans de nombreux cas. Contrairement aux CNN, qui utilisent des couches de convolutions pour traiter les images, les ViTs rassemblent des informations à travers un mécanisme d'auto-attention. Cela leur permet de compiler des informations globales sur l'image entière.

Cependant, ce processus a ses limites. En particulier, l'auto-attention a du mal à comprendre l'ordre des patches puisque les images ne sont pas juste des collections aléatoires de pixels. Pour s'attaquer à ce problème, les ViTs utilisent l'embedding positionnel pour aider à identifier où les patches sont situés les uns par rapport aux autres.

#Le Rôle des Champs Réceptifs Effectifs

Comprendre comment un ViT traite les images implique de regarder les champs réceptifs effectifs (ERFs). Les ERFs aident à illustrer quelles parties d'une image jouent un rôle dans la détermination de la sortie d'un réseau neuronal. Pour les ViTs, l'ERF peut être différent de celui des CNN. Au lieu de montrer une zone d'influence lisse et large, l'ERF pour les ViTs met en évidence des patches spécifiques, avec moins d'accent sur les patches plus éloignés.

L'étude a trouvé que l'ERF pour les ViTs montre que les patches proches contribuent plus à la sortie que ceux plus éloignés. Cela suggère que les ViTs peuvent développer un sens de l'ordre en termes de la manière dont les patches se rapportent les uns aux autres. Cette capacité est essentielle pour une haute performance.

#Analyse de la Compréhension Spatiale

Les résultats indiquent que les ViTs développent une compréhension spatiale des images basée sur leurs ERFs. Bien que la plupart de l'action se déroule dans le patch cible, les patches voisins sont activés plus que ceux éloignés. Ce schéma suggère que les ViTs utilisent l'information des patches voisins plus efficacement, ce qui est crucial pour obtenir de meilleurs résultats dans diverses tâches.

Cette compréhension spatiale est étroitement liée à l'utilisation des embeddings positionnels. Il y a deux formes principales d'embeddings positionnels : l'embedding positionnel absolu (APE), qui peut être une séquence fixe ou un paramètre apprenable, et l'embedding positionnel relatif (RPE), qui agit comme un biais d'attention. Les deux types aident le modèle à reconnaître la position des patches dans l'image.

#L'Impact des Embeddings Positionnels

Des recherches ont montré que les embeddings positionnels sont cruciaux pour la performance des ViTs. En observant comment les ERFs changent lorsque les embeddings positionnels sont réinitialisés, l'étude a démontré que la capacité du modèle à comprendre la disposition spatiale de l'image diminue considérablement sans des embeddings positionnels stables. Cette perte de compréhension se produit parce que le mécanisme d'auto-attention seul ne peut pas évaluer les positions des patches sans l'aide des embeddings positionnels.

En analysant les RPEs apprises et non entraînées, les chercheurs ont observé que les modèles entraînés ont montré des schémas clairs distinguant les patches proches et éloignés. En revanche, les versions non entraînées montraient des schémas aléatoires et ne pouvaient pas discerner cette information importante.

#Introduction d'une Nouvelle Approche

Pour aider les ViTs à mieux reconnaître les relations entre les patches, l'étude a proposé une nouvelle méthode de création de RPEs basées sur des distributions gaussiennes. Le but est de concevoir une RPE qui différencie clairement entre les patches voisins et éloignés. En utilisant le biais d'attention gaussien, le modèle peut commencer avec une bonne compréhension des relations spatiales dès le début de l'entraînement.

Ce biais d'attention gaussien peut être intégré sans effort dans divers types de RPE. Il nécessite aucun réglage de paramètres hyper, ce qui le rend facile à mettre en œuvre et flexible pour différentes tâches et ensembles de données.

#Résultats Expérimentaux

Les chercheurs ont mené plusieurs expériences pour évaluer les effets du biais d'attention gaussien sur la performance des ViT. Lorsqu'ils ont été entraînés sur l'ensemble de données ImageNet-1K, les modèles utilisant ce biais ont montré une précision améliorée par rapport à ceux qui ne l'incluaient pas. D'autres tests sur d'autres ensembles de données, y compris Oxford-IIIT Pet, Caltech-101, Stanford Cars et Stanford Dogs, ont démontré des améliorations de performance constantes.

De plus, les chercheurs ont élargi leur analyse à deux autres tâches : la détection d'objets et la segmentation sémantique. Pour ces tâches, le modèle Swin transformer avec biais d'attention gaussien a également atteint de meilleures performances par rapport à ceux sans biais.

#Conclusion

En résumé, cette recherche éclaire comment les transformers de vision comprennent les images, notamment en termes de relations spatiales entre les patches. En analysant les champs réceptifs effectifs, les chercheurs ont trouvé que les ViTs peuvent apprendre à reconnaître l'ordre spatial pendant l'entraînement. L'introduction du biais d'attention gaussien sert à améliorer ce processus d'apprentissage, améliorant la performance du modèle dans diverses tâches.

Ce travail souligne l'importance d'adapter continuellement les méthodes pour soutenir une meilleure compréhension dans les modèles d'apprentissage automatique. Avec des outils améliorés comme le biais d'attention gaussien, l'avenir de l'analyse d'images avec les transformers de vision semble prometteur, menant à des avancées dans de nombreuses applications de vision par ordinateur.