Avancées dans la quantification en puissance de deux pour les DNNs

Ces dernières années, utiliser des réseaux neuronaux profonds (DNN) sur des appareils avec des ressources limitées, comme les smartphones et les appareils IoT, est devenu super important. Ces appareils doivent trouver un équilibre entre performance et précision, ce qui peut être compliqué. Idéalement, on veut faire tourner des modèles DNN sur ces appareils tout en gardant la performance et la consommation d'énergie sous contrôle. Une façon d’atteindre ça, c'est avec une technique appelée Quantification.

#Qu'est-ce que la quantification ?

La quantification, c'est le processus de réduction de la précision des chiffres utilisés dans les DNN. Par exemple, alors que les DNN utilisent souvent des nombres à virgule flottante de 32 bits pour les calculs, la quantification peut réduire ça à moins de bits, comme 8 bits ou même 4 bits. Ça peut diminuer la mémoire nécessaire et accélérer les calculs. Mais c'est essentiel de s'assurer que le modèle fonctionne toujours bien après cette réduction.

#Quantification par puissance de deux

Une méthode intéressante de quantification s'appelle la quantification par puissance de deux (PoT). Cette approche ne prend pas des pas égaux entre les valeurs. Au lieu de ça, elle crée des niveaux qui sont des puissances de deux. Par exemple, dans une quantification PoT de 4 bits, les valeurs pourraient représenter 1, 2, 4, 8, etc. Cette méthode correspond mieux à la façon dont les données sont souvent distribuées dans la réalité, ce qui peut entraîner un taux d'erreur plus faible par rapport à la quantification uniforme, où les pas sont de la même taille.

#Les avantages de la quantification PoT

Utiliser la quantification PoT permet de simplifier certains calculs. Au lieu d'utiliser des multiplications complexes, qui prennent plus de temps et de ressources, la quantification PoT peut utiliser des opérations plus simples appelées opérations de décalage de bits. Décaler un nombre à gauche ou à droite peut se faire plus vite que de multiplier, ce qui signifie que les DNN peuvent fonctionner plus efficacement sur des appareils avec peu de puissance de calcul.

#Défis de la quantification PoT

Bien que la quantification PoT offre plein d'avantages, il y a encore des défis importants à relever. Un gros souci, c'est le manque de matériel efficace conçu spécifiquement pour la quantification PoT. La plupart des recherches existantes ne se concentrent pas sur la création de matériel qui tire vraiment parti des avantages de la quantification PoT.

En plus, il n'y a pas beaucoup d'outils open-source disponibles pour permettre aux chercheurs et aux développeurs d'expérimenter avec la quantification PoT. Ce manque complique la tâche pour évaluer et accélérer les DNN avec cette méthode.

#Concevoir des Éléments de traitement basés sur le décalage

Pour relever les défis liés à la quantification PoT, on peut créer du matériel spécialisé appelé éléments de traitement (PE). Dans notre approche, on conçoit des PE basés sur le décalage qui peuvent réaliser efficacement les opérations nécessaires pour les DNN quantifiés PoT.

On a commencé à créer des PE optimisés pour trois méthodes différentes de quantification PoT. Chaque méthode a ses forces et ses faiblesses, et en construisant des PE adaptés à ces méthodes, on peut obtenir de meilleures performances dans des applications pratiques.

#Évaluer l'efficacité du matériel

Une fois nos PE conçus, on peut évaluer leur efficacité en examinant divers facteurs comme la latence (le temps que prennent les opérations), la consommation d'énergie et comment ils utilisent bien leurs ressources. Faire ces évaluations nous permet de voir quelle méthode de quantification PoT fonctionne le mieux avec nos PE.

On a synthétisé nos designs avec Vivado high-level synthesis pour mieux comprendre l'efficacité du matériel. Cet outil nous permet d'analyser comment nos conceptions se comportent dans des conditions réelles, nous donnant des aperçus sur leur performance pratique.

#Créer un pipeline open-source : PoTAcc

Pour améliorer l'accessibilité, on a développé un pipeline open-source appelé PoTAcc. Ce pipeline permet aux utilisateurs d'accélérer et d'évaluer des DNN utilisant la quantification PoT sur des appareils qui n'ont pas beaucoup de ressources. Le but de PoTAcc est de simplifier le processus pour les chercheurs et les développeurs qui veulent travailler avec la quantification PoT.

PoTAcc inclut plusieurs composants essentiels pour tout le processus de travail avec les DNN, de la génération de modèles à la conception matérielle et à l'inférence. Il utilise des bibliothèques et des outils existants pour faciliter chaque étape tout en s'assurant que tout est adaptable pour divers cas d'utilisation.

#Génération de modèles DNN

Générer un modèle DNN adapté à la quantification PoT est la première étape pour utiliser le pipeline PoTAcc. Ça se fait avec un outil spécifique qui nous permet de créer des modèles qui supportent naturellement la quantification PoT.

Une fois le modèle créé, on peut le convertir dans un format optimisé pour s'exécuter sur des appareils Edge. Ce processus de conversion garantit que le modèle est compact et efficace tout en gardant sa précision.

#Évaluer la performance avec PoTAcc

Avec le pipeline PoTAcc mis en place et un modèle DNN convenable généré, on peut commencer à évaluer sa performance. On fait des tests sur trois modèles DNN populaires pour voir comment ils se comportent en utilisant nos accélérateurs basés sur le décalage comparé aux méthodes traditionnelles.

Les évaluations montrent des résultats impressionnants. Nos accélérateurs basés sur le décalage ont réussi à obtenir des gains de vitesse significatifs, ce qui signifie qu'ils peuvent accomplir des tâches plus vite que les méthodes standard. En plus, ils consomment moins d'énergie, ce qui les rend plus efficaces dans l'ensemble.

#Conclusion et travaux futurs

En conclusion, le travail qu'on a fait sur la quantification PoT et le matériel associé vise à rendre les DNN plus viables pour des appareils avec des ressources limitées. En concevant des PE spécialisés et en créant le pipeline PoTAcc, on a fait des progrès pour améliorer l'efficacité et l'accessibilité des DNN.

Pour l'avenir, on prévoit d'évaluer un plus large éventail de modèles DNN et d'incorporer d'autres stratégies de quantification PoT. Les travaux futurs se concentreront aussi sur la garantie de la précision de ces modèles tout en maintenant les gains de performance obtenus.

Ce travail ne répond pas seulement aux lacunes actuelles dans le domaine, mais ouvre aussi la voie à plus d'innovations dans l'utilisation des DNN sur des appareils Edge. En améliorant continuellement nos méthodes et outils, on vise à soutenir la demande croissante pour des applications d'apprentissage machine efficaces dans des scénarios réels.