Optimisation du poids pour le calcul en mémoire dans les réseaux de neurones

Les accélérateurs de matériel de calcul en mémoire (IMC) ont montré qu'ils améliorent énormément l'efficacité et la performance des tâches comme les multiplications matrice-vecteur, cruciales pour faire tourner des réseaux neuronaux. Ces réseaux sont utilisés dans plein d'applis, comme la reconnaissance vocale, le traitement d'images, et plus encore. Mais pour tirer le max de l'IMC, il faut s'assurer que les ressources sont utilisées efficacement et réduire les coûts énergétiques liés au chargement des poids en mémoire.

#Le défi des charges de travail des réseaux neuronaux

Les réseaux neuronaux qui tournent sur des appareils edge, comme les smartphones ou les caméras connectées, ont souvent des ressources de calcul et de mémoire limitées. Les processeurs traditionnels ne sont souvent pas assez puissants pour les tâches complexes des modèles d'intelligence artificielle modernes. Cela est particulièrement vrai pour les tâches impliquant des multiplications matrice-vecteur.

Un gros souci avec l'IMC pour les réseaux neuronaux profonds (DNN), c'est la surcharge causée par le chargement des poids en mémoire. Chaque fois qu'on charge des poids, ça prend de l'énergie et du temps, ce qui impacte la performance globale. L'objectif est de réduire cette surcharge tout en maximisant la stabilité des opérations en organisant efficacement les poids dans l'IMC.

#Avantages du calcul en mémoire

L'IMC a plusieurs atouts qui le rendent adapté à l'accélération matérielle. D'abord, il permet de faire plein de multiplications matrice-vecteur en même temps grâce à sa structure de mémoire. Ensuite, il facilite le mouvement des données car les mêmes opérandes peuvent être utilisés plusieurs fois dans différentes opérations. Cette configuration aide à réduire le temps et l'énergie dépensés pour récupérer les données de la mémoire.

Malgré ces avantages, les charges de travail réelles révèlent souvent deux principaux problèmes pour les systèmes IMC : la sous-utilisation des ressources de calcul et la surcharge liée au chargement des poids. La façon dont les poids et les données sont stockés en mémoire influence ces problèmes. En organisant les données judicieusement dans l'IMC, on peut réduire ces deux soucis.

#Besoin d'une cartographie des données optimisée

Pour tirer le maximum du potentiel de l'IMC, il faut une bonne approche pour organiser les poids en mémoire. Cette méthode doit viser à améliorer l'utilisation de la mémoire tout en renforçant l'efficacité de calcul sans sacrifier la performance. Pour l'instant, il n'y a pas de moyen idéal d'organiser les données qui maximise les deux aspects.

#L'algorithme de compression des poids

Pour résoudre les défis de chargement des poids sans perdre de puissance de calcul, un algorithme de compression des poids a été développé. L'objectif est d'organiser les poids de manière compacte dans la mémoire IMC tout en faisant tourner un réseau neuronal. L'objectif global est de minimiser l'énergie et le délai lors de l'utilisation du réseau pour l'inférence.

L'efficacité de ce système dépend beaucoup de sa capacité à tirer parti de l'espace disponible. Plus il y a de réutilisation spatiale des données d'entrée et de sortie, moins les coûts énergétiques pour déplacer les données et utiliser les éléments périphériques sont élevés.

#Étapes de l'algorithme

1. Génération de Pool de Tuiles de Poids : La première étape est de créer un pool de tuiles de poids en fonction des dimensions de l'IMC. Ces tuiles sont uniformes et définies pour chaque couche du réseau neuronal.
2. Génération de SuperTuiles : Les SuperTuiles combinent plusieurs tuiles de poids et maximisent le parallélisme spatial en s'assurant que les différentes couches sont empilées sans perdre en efficacité.
3. Génération de Colonnes : Cette phase se concentre sur la recherche de la meilleure allocation des SuperTuiles dans l'IMC pour maximiser l'utilisation de la mémoire tout en maintenant une bonne efficacité de calcul.
4. Allocation des Colonnes : Enfin, les colonnes de SuperTuiles créées sont allouées dans l'espace disponible de l'IMC.

#Analyse des résultats

La méthode de compression des poids proposée a été intégrée dans un système et testée sous différents scénarios. Les résultats montrent que cette nouvelle approche offre plusieurs avantages par rapport aux méthodes traditionnelles.

Dans ces tests, la méthode de compression a surpassé les techniques précédentes, notamment pour les réseaux avec de petits tenseurs de poids. Cependant, le processus de compression peut parfois augmenter le temps de calcul à cause des opérations de pliage impliquées, qui transforment les calculs spatiaux en séquentiels.

#Échanges entre énergie et délai

Analyser les compromis entre énergie et délai est crucial. Les tests ont montré que le chargement des poids depuis la mémoire externe freine beaucoup la performance des accélérateurs IMC. Même si stocker les données d'activation en interne réduit certains de ces soucis, charger les poids depuis des sources externes pose encore des défis importants.

Augmenter le nombre d'unités de traitement peut aider à améliorer l'efficacité, mais ne supprime pas les goulets d'étranglement liés au chargement des poids. La méthode de compression des poids propose une solution qui permet à la plupart des poids de rester dans l'IMC, réduisant ainsi fortement le besoin de récupérer depuis la mémoire externe.

#Conclusion

Ce travail propose une méthode pour empaqueter efficacement les poids des réseaux neuronaux dans les systèmes IMC, en s'attaquant aux défis de chargement des poids et d'efficacité de calcul. La nouvelle approche minimise non seulement les coûts en énergie et en délai, mais améliore aussi la performance globale des charges de travail des réseaux neuronaux sur des appareils edge. En utilisant une méthode systématique pour organiser les données, cette méthode démontre d'importantes améliorations en performance et en efficacité énergétique par rapport aux techniques de cartographie traditionnelles, ce qui en fait une solution prometteuse pour les futures applications dans les systèmes IA edge.