Optimiser les Vision Transformers pour les appareils à faible ressource

Les transformateurs de vision sont devenus populaires dans les tâches d'apprentissage visuel comme la classification d'images et la détection d'objets grâce à leur capacité à se concentrer sur différentes zones d'une image et à comprendre les relations entre ces zones. Cependant, ces modèles sont souvent volumineux et nécessitent une puissance de calcul importante, ce qui les rend difficiles à utiliser sur des appareils avec des ressources limitées, comme les drones ou les téléphones mobiles. Dans ce travail, notre objectif est de rendre les transformateurs de vision plus petits et plus rapides afin qu'ils puissent fonctionner efficacement sur des appareils à faibles ressources, permettant des applications telles que la surveillance et le suivi environnemental.

#Énoncé du problème

Les transformateurs de vision sont excellents pour atteindre une grande précision dans les tâches visuelles, mais leur taille et leurs exigences en ressources peuvent poser problème. Par exemple, un transformateur de vision classique a environ 86 millions de paramètres, ce qui peut le rendre inadapté aux petits dispositifs. Notre objectif est de réduire la taille et la complexité de ces modèles tout en conservant leur capacité à bien performer dans des tâches comme la détection d'objets et la segmentation d'images. Nous nous concentrons sur des appareils comme les drones qui n'ont qu'une petite quantité de mémoire et d'énergie.

#Techniques de compression

Pour atteindre notre but, on utilise plusieurs techniques de compression de modèle :

1. Distillation de connaissances : Cette méthode consiste à entraîner un modèle plus petit (l'élève) pour imiter un modèle plus grand et plus précis (le professeur). Le modèle plus petit apprend des prédictions du professeur, qui sont jugées plus informatives que les étiquettes de formation classiques.

2. Élagage (Pruning) : Cette technique réduit la Taille du modèle en supprimant les poids qui ont peu d'impact sur la performance du modèle. Il y a deux types d'élagage :

   • Élagage non structuré : Supprime des poids individuels selon certains critères, entraînant des motifs irréguliers qui peuvent compliquer l'accélération matérielle.
   • Élagage structuré : Vise des groupes de paramètres, comme des canaux ou des couches entières, ce qui facilite l'optimisation sur le matériel.

3. Quantification : Cela consiste à réduire le nombre de bits utilisés pour représenter les poids du modèle, comprimant ainsi le modèle. Il y a deux méthodes principales :

   • Entraînement conscient de la quantification (QAT) : Cela implique d’entraîner le modèle en tenant compte de la quantification pour maintenir la précision.
   • Quantification post-entraînement (PTQ) : Cette approche applique la quantification après que le modèle a été entraîné, ce qui le rend plus facile à exécuter.

En combinant ces techniques, on espère créer un modèle plus petit et efficace adapté aux environnements à faibles ressources.

#Environnement cible

On se concentre sur l'utilisation de drones alimentés par des batteries et ayant une mémoire limitée, similaires à des dispositifs comme le NVIDIA Jetson Nano, qui a 4 Go de RAM. Ces appareils doivent effectuer des tâches avec précision, comme détecter des objets et localiser des humains lors de missions de recherche et de sauvetage, tout en maintenant une faible latence pour des réponses rapides.

Notre but est de permettre un traitement rapide des transformateurs de vision sur de tels appareils sans sacrifier trop de précision. Cela pourrait mener à leur utilisation dans diverses applications pratiques en réponse aux catastrophes, en suivi environnemental, et plus encore.

#Travaux connexes

Des recherches précédentes ont montré que les techniques de compression de modèles dans d'autres domaines, en particulier dans les réseaux neuronaux convolutifs et le traitement du langage naturel, peuvent ne pas bien fonctionner pour les transformateurs de vision. Une grande partie de la recherche existante a tendance à se concentrer sur des techniques individuelles plutôt que de les intégrer dans un seul modèle. Quelques-uns ont essayé de combiner différentes méthodes, mais ils manquent souvent d'inclure la quantification.

On cherche à combler cette lacune en intégrant plusieurs techniques dans un cadre unifié pour compresser efficacement les transformateurs de vision pour une utilisation pratique.

#Stratégie de mise en œuvre

Notre cadre combine l'élagage structuré pour enlever les parties inutiles du modèle, la distillation de connaissances pour améliorer la performance des modèles plus petits, et une quantification efficace pour réduire les besoins en mémoire. On porte également une attention particulière aux types de tâches que l'on veut effectuer, comme la segmentation de scènes de désastre.

En se concentrant sur une application spécifique qui nécessite une haute précision mais doit aussi fonctionner sur des appareils à faibles ressources, on croit pouvoir apporter des contributions significatives au domaine.

#Utilisation des données

Pour valider notre modèle, on utilise un ensemble de données provenant d'un défi récent spécifiquement axé sur les scènes de désastre. Cet ensemble de données contient des images prises de drones de diverses situations de catastrophe, avec des étiquettes qui aident à entraîner des modèles de segmentation. En utilisant cet ensemble de données, notre but est d'améliorer le développement de systèmes de réponse aux catastrophes efficaces qui peuvent fonctionner sur des appareils à faibles ressources.

#Métriques d'évaluation

Pour évaluer la performance de notre modèle, on va regarder plusieurs métriques :

• Précision : Mesurée en utilisant la moyenne de l'Intersection sur l'Union (IoU), qui compare à quel point notre modèle identifie bien différentes classes dans une image.
• Temps d'exécution : Le temps moyen nécessaire au modèle pour traiter chaque image.
• Taille du modèle : Important pour s'assurer qu'on respecte les limites de mémoire de l'appareil.

De plus, on va faire des expériences pour voir comment chaque méthode de compression fonctionne pour équilibrer précision et rapidité.

#Résultats expérimentaux

Dans nos expériences, on a d'abord évalué différents architectures de décodeurs de segmentation pour trouver le meilleur équilibre entre performance et efficacité. On a ensuite évalué divers backbones (les structures principales de nos modèles) en utilisant l'ensemble de données mentionné sur les scènes de désastre.

On a découvert que certains décodeurs performaient mieux dans les tâches de segmentation tout en gardant la taille du modèle raisonnable. Par exemple, UPerNet s'est révélé être un bon choix pour nos tâches.

Lors de l'entraînement et des tests de nos modèles, on a utilisé plusieurs techniques, y compris la distillation de connaissances pour améliorer la sortie de nos modèles plus petits en apprenant des plus grands. Cette approche s'est révélée efficace pour augmenter la précision de notre modèle.

On a également noté que nos modèles compressés parvenaient encore à capturer des caractéristiques essentielles des images, mais avaient du mal avec des détails plus complexes, notamment pour identifier des classes qui se ressemblaient, comme les routes et les coulées de boue.

#Défis rencontrés

Malgré nos progrès, on a rencontré des défis lors de nos expériences. Par exemple, nos tentatives d'élagage itératif n'ont pas donné d'améliorations significatives. On a constaté que MobileViT, qui est conçu pour être petit et efficace, ne supportait pas bien d'autres élargissements sans sacrifier la précision.

De plus, on a découvert que le déséquilibre des classes dans l'ensemble de données posait des problèmes. Les classes à faible fréquence, qui sont critiques dans les scénarios de désastre, n’étaient parfois pas segmentées avec précision car l'accent était davantage mis sur les classes dominantes dans les images.

#Directions futures

En regardant vers l'avenir, on prévoit de peaufiner davantage nos modèles, en explorant des techniques de compression supplémentaires qui pourraient améliorer la performance sur des appareils encore plus contraints, comme une version du Jetson Nano avec seulement 2 Go de RAM.

On vise également à explorer de nouvelles méthodes de quantification pour réduire le temps de traitement tout en maintenant la précision élevée. Une autre zone d'intérêt sera de s'attaquer aux limites des outils logiciels existants pour la quantification, en enquêtant peut-être sur des approches alternatives pour mieux faire fonctionner nos modèles.

En continuant à rechercher et à mettre en œuvre des techniques d'élagage adaptatif, on espère trouver un équilibre entre la parcimonie et la performance qui nous permette de créer des modèles plus petits et efficaces sans un réglage exhaustif.

Ce travail continu est essentiel au développement de systèmes fiables qui peuvent être utilisés dans des scénarios de désastre réels, fournissant un soutien critique dans des environnements difficiles.