Avancées dans les réseaux de neurones à impulsions écoénergétiques

Le besoin croissant de méthodes économes en énergie dans l'intelligence artificielle (IA) est crucial, surtout que les systèmes d'IA, en particulier ceux basés sur des réseaux de neurones, demandent de plus en plus d'énergie. L'informatique neuromorphique est un domaine qui vise à créer des systèmes informatiques qui imitent le fonctionnement du cerveau humain. Ça pourrait aider à réduire la consommation d'énergie liée à l'IA.

Un moyen majeur par lequel le cerveau économise de l'énergie, c'est grâce à sa méthode de communication, qui est différente des réseaux de neurones traditionnels. Les réseaux conventionnels utilisent souvent des signaux continus, tandis que les systèmes neuromorphiques fonctionnent avec de courts signaux distincts appelés « spikes ». Ce passage aux spikes, combiné à l'utilisation de motifs de données à plus faible précision et plus efficaces, peut entraîner des économies d'énergie significatives.

Une autre raison pour laquelle les systèmes neuromorphiques peuvent être économes en énergie, c'est qu'ils combinent le traitement et la mémoire en un seul endroit, ce qui aide à éviter certains problèmes de calcul rencontrés dans l'informatique classique.

Actuellement, entraîner ces systèmes implique principalement des méthodes informatiques traditionnelles, où les informations apprises sont ensuite transférées vers du matériel spécialisé pour une performance économe en énergie. Bien que ça fonctionne, une méthode plus efficace serait d'entraîner ces systèmes directement sur le matériel neuromorphique lui-même. Faire cela peut encore réduire la consommation d'énergie et permettre au système de continuer à Apprendre en s'adaptant à de nouvelles situations. Atteindre cet objectif nécessite de nouvelles façons d'entraîner ces systèmes qui correspondent aux besoins uniques du matériel neuromorphique.

#Apprentissage dans les Réseaux de Neurones à Spikes (SNNs)

Développer des méthodes pour entraîner des réseaux de neurones à spikes a conduit à l'exploration de diverses techniques. Ces méthodes peuvent être divisées en deux catégories : celles qui ne s'appuient pas sur des changements locaux et celles qui le font. Les méthodes locales peuvent être subdivisées en deux types : plasticité dépendante des bursts et plasticité dépendante du timing des spikes.

#Méthodes d'Apprentissage Non-Local

Les méthodes qui n'utilisent pas de règles d'apprentissage local incluent la conversion de réseaux de neurones traditionnels en réseaux à spikes et l'utilisation de la rétropropagation dans le temps. Dans la méthode de conversion, un réseau de neurones classique apprend par rétropropagation puis est transformé en réseau à spikes. Cependant, cette conversion entraîne souvent des problèmes de performance, qui peuvent être corrigés avec des ajustements supplémentaires.

La méthode de rétropropagation dans le temps permet de corriger les erreurs dans les réseaux à spikes mais est compliquée et ne convient pas aux méthodes d'apprentissage sur puce nécessaires pour les systèmes neuromorphiques. Ces méthodes non-locales servent de point de comparaison pour évaluer l'efficacité par rapport aux méthodes locales.

#Méthodes d'Apprentissage STDP

La plasticité dépendante du timing des spikes (STDP) est une approche locale qui change les forces des connexions entre neurones en fonction du timing des spikes. Cette méthode est totalement locale, ce qui signifie que les ajustements sont faits uniquement en fonction de l'activité des neurones voisins. Une méthode STDP spécifique a montré de bons résultats sur des tâches plus simples, mais il y a des limites, surtout quand il s'agit de passer à des problèmes plus complexes ou à des réseaux multi-couches.

#Méthodes d'Apprentissage Burstprop

Burstprop est un ensemble d'algorithmes d'apprentissage locaux qui tirent parti à la fois des signaux d'erreur de rétroaction et des signaux d'inférence au sein des neurones. Ces algorithmes permettent un apprentissage similaire à la rétropropagation mais utilisent des événements de burst comme signaux de changement. Cependant, les tentatives passées se sont principalement concentrées sur les tâches les plus simples.

#Améliorer les Méthodes Burstprop

Pour améliorer la méthode Burstprop pour des tâches plus complexes, nous proposons deux améliorations : introduire une boucle de rétroaction du soma (la partie principale d'un neurone) vers la dendrite (l'extrémité réceptrice) des neurones et créer deux types de bursts pour la communication. En utilisant le benchmark de classification de chiffres MNIST, nous démontrons que notre méthode améliorée peut apprendre avec succès à classer des chiffres.

#Configuration du Réseau

#Vue d'ensemble du Réseau

Chaque neurone dans le réseau se compose de deux compartiments : le soma, qui traite l'information entrante, et la dendrite, qui intègre la rétroaction. La couche d'entrée a 784 unités représentant chaque pixel des images. Il y a des couches cachées composées de diverses unités neurales, et la couche de sortie a 10 neurones pour les dix classes de chiffres.

#Transmission des Signaux

Dans le réseau, les signaux sont envoyés entre les neurones par divers moyens. Les signaux feedforward, qui transmettent l'information d'une couche à l'autre, se produisent instantanément à la réception des signaux entrants. Les signaux de rétroaction fonctionnent sur la base des bursts provenant des couches supérieures pour influencer les couches inférieures.

#Signaux d'Enseignement et Apprentissage

Pour guider l'apprentissage, nous introduisons des signaux d'enseignement au sommet du réseau, qui fournissent des retours sur la performance. L'objectif est d'améliorer les connexions synaptiques, s'assurant que les neurones représentant la classe de chiffres correcte deviennent plus actifs tandis que les autres sont supprimés.

Chaque neurone reçoit également des signaux de régularisation pour aider à maintenir des niveaux d'activité stables. Ces efforts encouragent la parcimonie et la fiabilité dans les réseaux, facilitant le processus d'apprentissage.

#Règles d'Apprentissage

Notre approche utilise une règle d'apprentissage locale où les changements de connexions se produisent en fonction des activités des neurones et de la rétroaction. Ces ajustements sont influencés par trois facteurs principaux : l'activité du neurone présynaptique, l'activité postsynaptique et l'erreur de rétroaction.

#Poids Synaptiques à Faible Résolution

Lors de la mise en œuvre de ces réseaux dans du matériel neuromorphique réel, il est essentiel de tenir compte du nombre de valeurs différentes que les poids synaptiques peuvent avoir. Souvent, le matériel ne peut supporter qu'une gamme limitée de valeurs de poids, mais nous avons constaté que l'apprentissage réussit même avec une faible résolution binaire.

#Résultats du Jeu de Données MNIST

Tester nos méthodes sur le jeu de données MNIST a montré des résultats prometteurs. Nos modèles signés et non signés ont bien fonctionné, en particulier le modèle signé, qui a atteint une haute précision lors des tests même dans des réseaux plus profonds. Cela a indiqué que nos approches pouvaient apprendre et s'adapter efficacement aux défis.

En comparant nos méthodes d'apprentissage local avec les méthodes de rétropropagation traditionnelles, nous avons constaté que ces dernières fonctionnaient légèrement mieux dans des réseaux plus simples mais pas de manière significative dans les couches plus profondes. Fait intéressant, geler certaines couches pendant l'apprentissage a révélé que nos réseaux pouvaient quand même réussir, suggérant que l'apprentissage se propageait efficacement au-delà des seules couches de sortie.

#Alignement de Rétroaction

Nous avons testé si nos méthodes pouvaient fonctionner sans compter sur la symétrie entre les poids pour les connexions de rétroaction et feedforward. En utilisant des techniques appelées alignement de rétroaction et alignement direct de rétroaction, nos réseaux ont quand même bien fonctionné, indiquant leur préparation pour des applications réelles où le transport de poids n'est pas faisable.

#Conclusion

En résumé, nous avons développé un algorithme d'apprentissage local pour les réseaux de neurones à spikes qui répond efficacement à divers défis. En améliorant les méthodes Burstprop existantes et en les appliquant à des tâches plus complexes, nous avons montré que ces réseaux peuvent fonctionner efficacement avec des résolutions de poids limitées.

Nos découvertes encouragent de nouvelles explorations de telles méthodes d'apprentissage inspirées biologiquement dans le développement de systèmes d'IA économes en énergie. Le potentiel de ces principes à être mis en œuvre dans le matériel neuromorphique pourrait ouvrir la voie à des systèmes plus intelligents et plus adaptatifs à l'avenir.