Nouvelle approche des accéléra­teurs optiques pour réseaux de neurones

Les avancées récentes dans les réseaux de neurones profonds (DNN) ont fait d'eux des outils populaires pour résoudre des problèmes complexes. Cependant, à mesure que ces réseaux deviennent plus profonds, ils nécessitent plus de calculs, notamment beaucoup d'opérations de multiplication-accumulation (MAC). Cela a créé un besoin de meilleur matériel pour accélérer ces calculs. Une solution qui a attiré l'attention est l'utilisation d'accélérateurs optiques à usage général (GOA). Ces appareils utilisent la lumière pour effectuer des calculs, ce qui peut être beaucoup plus rapide et consommer moins d'énergie par rapport aux dispositifs électroniques traditionnels.

Les GOA sont construits à l'aide de composants appelés Interféromètres Mach-Zehnder (MZI). Ces composants peuvent manipuler des signaux lumineux pour effectuer des calculs. Bien qu'ils soient prometteurs, les GOA existants ont souvent des difficultés avec l'efficacité lorsqu'il s'agit de mapper les différentes tailles de réseaux de neurones sur leurs structures. Cette inefficacité est principalement due à la conception des réseaux MZI et à la façon dont ils sont liés aux matrices de poids des réseaux de neurones.

#Le Problème des GOA Actuels

Les GOA actuels utilisent des réseaux MZI entrelacés, où plusieurs MZI sont disposés d'une manière spécifique. Cependant, ces conceptions ont des limitations. Lorsqu'on tente d'utiliser des matrices de poids plus petites avec des GOA plus grands, les MZI ne sont pas pleinement utilisés. Cela signifie qu'une grande partie des ressources est gaspillée, et les bénéfices potentiels en termes de rapidité et d'efficacité énergétique de l'accélération optique ne sont pas pleinement réalisés.

Un autre problème est que la surface requise pour les GOA existants est grande parce qu'ils nécessitent plusieurs MZI disposés de cette manière entrelacée. Pour représenter une matrice de poids avec précision, un espace significatif est nécessaire, ce qui peut ne pas être réalisable dans tous les cas.

Pour faire face à ces défis, les chercheurs ont proposé une nouvelle architecture hybride pour les GOA. Ce nouveau design vise à améliorer l'efficacité du mappage et à réduire l'espace nécessaire pour le matériel.

#L'Architecture Hybride Proposée

L'architecture hybride proposée consiste en des modules MZI plus petits et indépendants qui sont liés ensemble par des résonateurs à microrouge (MRR). Cette structure permet à ces petits modules de travailler ensemble efficacement pour gérer des réseaux de neurones plus grands.

#Structure du Nouveau GOA

Chaque module MZI dans la nouvelle architecture peut effectuer des calculs réglés avec des coefficients ajustables. Cela signifie que l'entrée pour chaque module peut être adaptée en fonction des besoins du calcul. En utilisant cette méthode, l'architecture peut mieux utiliser l'espace et les ressources disponibles, améliorant ainsi l'efficacité globale.

L'architecture utilise également une méthode appelée Décomposition en valeurs singulières (SVD) pour décomposer des matrices de poids plus grandes en matrices unitaires plus petites. Cela aide à maintenir l'exactitude tout en simplifiant les calculs effectués par les MZI.

#Algorithme Génétique pour la Recherche de Paramètres

Pour optimiser la conception du GOA, les chercheurs ont utilisé un algorithme génétique pour rechercher les meilleurs paramètres pour l'architecture. Cet algorithme prend en compte plusieurs facteurs tels que l'efficacité du mappage, l'aire, la consommation d'énergie et les coûts liés à la conversion des signaux électriques en signaux optiques et vice versa.

#Comment Cette Architecture Fonctionne

Les composants de base de la nouvelle architecture GOA comprennent :

1. Modules MZI : Ce sont les unités de calcul centrales qui manipulent la lumière pour réaliser des opérations mathématiques.
2. Résonateurs à Microrouge (MRR) : Ces éléments relient les modules MZI et aident à accumuler les résultats des calculs.
3. Coefficients Ajustables : Ces coefficients permettent aux modules MZI d'être ajustés dynamiquement en fonction des calculs nécessaires.
4. Implémentation de la SVD : Cela décompose des matrices de poids complexes en formes plus simples qui peuvent être gérées par les petits modules MZI.

Cette combinaison de composants permet à la nouvelle architecture de travailler avec des réseaux de neurones plus grands plus efficacement, maximisant l'utilisation des accélérateurs optiques.

#Ajustements aux Réseaux de Neurones

Pour tirer le meilleur parti de la nouvelle architecture GOA, des ajustements aux réseaux de neurones eux-mêmes peuvent être nécessaires. Cela signifie augmenter le nombre de filtres et la profondeur des noyaux dans les réseaux de neurones. En faisant cela, les auteurs de l'architecture peuvent s'assurer que toutes les parties de l'accélérateur optique sont utilisées efficacement.

#Entraînement Prise en Compte du Matériel

L'architecture implémente également une méthode connue sous le nom d'entraînement tenant compte du matériel. Essentiellement, cela implique d'entraîner le réseau de neurones tout en gardant à l'esprit les particularités et les limites spécifiques du matériel optique. De cette façon, les modèles peuvent être optimisés pour fonctionner au mieux sur le GOA.

• Approximation des Matrices : Pendant l'entraînement, certaines matrices peuvent être approximées. Cela signifie que leur forme exacte peut être simplifiée. Pour équilibrer cela, la méthode vise à garder la forme approximée aussi proche que possible de l'original.

• Restauration des Matrices Critiques : Si certaines matrices sont essentielles à l'exactitude du réseau, elles peuvent être rétablies à leurs formes originales, en contournant les approximations lorsque nécessaire.

#Résultats Expérimentaux

L'architecture GOA proposée a été testée en utilisant deux réseaux de neurones bien connus, VGG16 et Resnet18, sur deux ensembles de données : Cifar10 et Cifar100.

#Améliorations de l'Énergie et de la Latence

Les résultats ont montré des améliorations impressionnantes en termes d'efficacité de mappage par rapport à l'architecture entrelacée précédente. Les réductions étaient les suivantes :

• Pour VGG16 sur Cifar10, le coût de mappage a été réduit de 21,87%.
• Pour Resnet18 sur Cifar100, le coût de mappage a vu une réduction de 25,52%.

Ces améliorations ont entraîné des diminutions significatives de la consommation d'énergie, avec des réductions de plus de 67 % notées dans de nombreux cas. En outre, la latence de calcul a été abaissée de plus de 21 % dans divers scénarios.

#Maintien de l'Exactitude

En ce qui concerne le maintien de l'exactitude tout en mettant en œuvre ces changements, le nouveau modèle GOA a bien fonctionné. Bien qu'une certaine dégradation ait été notée avec des configurations spécifiques, l'exactitude globale des réseaux de neurones a été préservée, et dans certains cas, elle a même été améliorée.

Après les ajustements et l'entraînement tenant compte du matériel, les résultats ont montré que les réseaux pouvaient surpasser les configurations traditionnelles en termes de rapidité et d'efficacité énergétique sans sacrifier l'exactitude.

#Comparaison avec d'Autres Architectures

Pour évaluer comment l'architecture proposée se compare aux systèmes existants, des comparaisons ont été faites avec d'autres accélérateurs optiques. Lorsqu'elle a été testée par rapport à un accélérateur SVD traditionnel entrelacé, la nouvelle architecture proposée a montré des gains d'efficacité notables.

• Efficacité de l'Espace : L'espace nécessaire pour la nouvelle structure a été réduit de manière impressionnante, montrant une diminution de 18 % à 25 % par rapport aux anciennes méthodes.

• Consommation d'Énergie : Même en tenant compte des composants supplémentaires nécessaires pour la nouvelle structure, l'utilisation globale de l'énergie était nettement inférieure, soulignant comment l'efficacité du mappage atténuait les besoins énergétiques accrus.

#Conclusion

En résumé, l'architecture hybride proposée pour les accélérateurs optiques montre un potentiel significatif pour améliorer l'efficacité des réseaux de neurones profonds. En utilisant de plus petits modules MZI indépendants et en les reliant avec des résonateurs à microrouge, l'architecture peut gérer de plus grands réseaux tout en utilisant l'espace et les ressources plus efficacement. Grâce à une combinaison d'optimisation des structures de réseaux de neurones et d'application de méthodes d'entraînement innovantes, des avancées notables ont été démontrées en termes de consommation d'énergie, de latence et de performance globale. Ce travail pave la voie pour un calcul plus efficace dans le domaine de l'apprentissage profond, montrant comment les technologies optiques peuvent être exploitées pour égaler et dépasser les capacités des systèmes de calcul traditionnels.