Découvrez SpikeGPT : Une nouvelle approche des modèles de langage

Alors que les modèles de langage devenaient de plus en plus gros, ils avaient besoin de plus de puissance de calcul pour fonctionner. Une approche innovante pour rendre ces modèles plus efficaces est l'utilisation des réseaux de neurones à spikes (SNN). Les SNN sont conçus pour consommer moins d'énergie en se concentrant sur des activations simples et basées sur des événements. Cela signifie qu'ils s'activent uniquement quand c'est nécessaire, réduisant ainsi le travail global requis. Bien que les SNN aient montré des promesses dans des tâches liées à la vision par ordinateur, ils n'ont pas encore prouvé leur efficacité dans la Génération de langage.

Cet article présente SpikeGPT, un modèle de langage construit sur les principes des SNN. SpikeGPT utilise des activations binaires et basées sur des événements pour générer et comprendre le langage naturel. On a créé deux versions de SpikeGPT, l'une avec 45 millions de paramètres et l'autre avec 216 millions. SpikeGPT se distingue comme l'un des plus grands SNN entraînés avec rétropropagation, une méthode généralement utilisée pour former des modèles d'apprentissage profond.

Pour que SpikeGPT fonctionne efficacement, on a ajusté le modèle de transformateur classique. Au lieu de la traditionnelle attention multi-tête, on a utilisé une approche différente qui simplifie les calculs. Ça permet de gérer de manière plus efficace de longues séquences de texte. Nos premiers tests montrent que SpikeGPT rivalise bien avec les modèles non-SNN tout en consommant moins d'opérations, surtout en utilisant du matériel spécialisé conçu pour les tâches basées sur des événements.

#Le besoin d'efficacité énergétique

Les réseaux de neurones artificiels (ANN) ont eu un grand impact dans le Traitement du langage naturel (NLP). Cependant, utiliser ces modèles a un coût élevé en termes d'énergie et de puissance de calcul. Par exemple, entraîner des modèles comme GPT-3 nécessite beaucoup d'énergie - environ 190 000 kWh. Au fur et à mesure que de plus en plus d'utilisateurs dépendent de ces modèles, la demande d'alternatives économes en énergie augmente.

Les SNN peuvent offrir une solution parce qu'ils imitent le fonctionnement des neurones réels, utilisant des pics pour communiquer et traiter l'information. Associés à du matériel spécialisé, les SNN peuvent réduire considérablement les coûts d'énergie et les exigences computationnelles. Pourtant, les SNN font face à des défis dans les tâches de NLP, notamment dans la génération de langage.

#Défis de l'utilisation des SNN dans les tâches de langage

Bien que les SNN aient excellé dans des tâches de vision par ordinateur, ils ont du mal avec les tâches de langage. Une des raisons est la manière dont les modèles de langage standard fonctionnent. Ils utilisent souvent des techniques difficiles à intégrer avec les SNN. Bien que convertir des ANN en SNN puisse donner de bonnes performances dans certains cas, entraîner des SNN depuis le début entraîne généralement une baisse de performance.

Certaines des difficultés rencontrées lors de l'utilisation des SNN pour les tâches de langage incluent :

• Le problème du gradient qui disparaît, ce qui rend difficile pour le modèle d'apprendre des dépendances à long terme dans le langage.
• Des défis pour apprendre à partir de données trop clairsemées.
• Des limitations sur la façon dont l'information peut circuler d'une couche à l'autre en raison de la nature des spikes binaires.

Ces problèmes rendent difficile la création de SNN efficaces pour la génération de langage.

#Avantages de SpikeGPT

Malgré ces défis, la nature séquentielle des données linguistiques offre une opportunité pour les SNN. En utilisant des neurones activés de manière clairsemée et un traitement basé sur des événements, les SNN peuvent être plus économes en énergie que les modèles traditionnels. C'est là que SpikeGPT entre en scène.

SpikeGPT combine les forces des modèles de langage conventionnels avec l'efficacité énergétique des SNN. C'est le premier modèle de langage génératif SNN et le plus grand SNN à ce jour, avec la version de 216M de paramètres à la pointe. Nos résultats ont montré que même avec un modèle plus petit de 45M, SpikeGPT a bien performé par rapport à des modèles de transformateur similaires, atteignant cela avec significativement moins d'opérations.

#Comment fonctionne SpikeGPT

SpikeGPT utilise un bloc de transformateur modifié qui intègre la récurrence, essentielle pour les SNN. Ce changement réduit la complexité computationnelle habituelle lorsqu'on traite de longues séquences de texte. En diffusant les tokens d'entrée, SpikeGPT commence le traitement avant que des phrases complètes soient saisies, ce qui lui permet de maintenir des structures linguistiques importantes.

Nos expériences montrent que SpikeGPT fonctionne bien sur divers ensembles de données tout en étant beaucoup plus économe en énergie que les modèles traditionnels. On pense que notre travail peut jeter les bases pour entraîner des SNN à grande échelle plus efficacement.

#Travaux précédents sur les SNN dans le NLP

Par le passé, des chercheurs ont essayé d'utiliser les SNN pour des tâches de langage basiques, comme l'analyse de sentiments et la traduction. Certaines études se sont concentrées sur la création d'encodeurs à spikes pour remplacer les calculs complexes par des opérations plus simples. D'autres approches ont travaillé sur l'entraînement des SNN pour classer du texte et ont montré des résultats prometteurs.

Lorsqu'on examine les transformateurs, leur application dans les SNN a été assez limitée. La plupart des premières tentatives se sont concentrées sur des tâches visuelles plutôt que linguistiques. Les défis de la complexité computationnelle ont rendu difficile l'application efficace des transformateurs dans les tâches de langage, surtout étant donné que chaque token dans une séquence interagit avec d'autres.

#L'architecture de SpikeGPT

L'architecture de SpikeGPT combine des mixeurs de tokens et des mixeurs de canaux. Le mixeur de tokens est une couche Spiking RWKV qui remplace le mécanisme d'attention traditionnel par une structure qui permet un traitement efficace. Le mixeur de canaux utilise une couche Spiking RFFN qui complète le RWKV.

Une manière dont SpikeGPT maintient la compatibilité avec les neurones à spikes est à travers un processus d'encodage binaire. Cela convertit les sorties traditionnelles en spikes binaires tout en permettant une méthode d'estimation de gradient qui soutient la rétropropagation. Cela signifie que le modèle peut apprendre et se mettre à jour efficacement même en travaillant avec des données binaires.

#Entraînement et ajustement de SpikeGPT

L'entraînement de SpikeGPT se fait en deux étapes. La première étape est le pré-entraînement sur un grand ensemble de données pour créer une solide base pour la compréhension du langage. La seconde étape ajuste le modèle pour des tâches spécifiques, comme générer du langage ou le comprendre.

Pendant le pré-entraînement, SpikeGPT traite les tokens d'entrée et génère des sorties basées sur des modèles appris. Une fois le pré-entraînement terminé, le modèle peut être ajusté pour s'adapter à divers tâches de manière plus spécifique.

#Évaluation de SpikeGPT

Pour évaluer les performances de SpikeGPT, on l'a testé sur deux grandes tâches : la génération de langage naturel (NLG) et la compréhension de langage naturel (NLU). Pour la NLG, on a évalué les modèles sur des ensembles de données familiers comme Enwik8, WikiText-2, et WikiText-103 pour voir à quel point ils pouvaient générer du texte pertinent.

Pour la NLU, on a utilisé des ensembles de données couvrant la classification de sentiments et d'autres tâches d'analyse de texte. SpikeGPT a performé de manière compétitive contre divers modèles traditionnels, montrant son potentiel dans les deux domaines.

#Résultats et découvertes

• Génération de langage naturel : En mesurant la performance en termes de Bits Par Caractère (BPC), SpikeGPT a dépassé les modèles basés sur les LSTMs et s'est rapproché de la performance de modèles de transformateur plus simples. L'efficacité énergétique de SpikeGPT a montré un avantage clair, atteignant plus de vingt fois l'efficacité computationnelle des transformateurs standards.

• Compréhension de langage naturel : Dans les tâches de classification, SpikeGPT a obtenu des résultats très précis, se classant juste derrière BERT, qui est un modèle de transformateur populaire. Cela a démontré que malgré son design et son approche uniques, SpikeGPT pouvait rivaliser efficacement dans la compréhension du langage.

#Visualisation de SpikeGPT

Pour mieux comprendre comment SpikeGPT fonctionne, on a visualisé les motifs de spikes et le potentiel de membrane de ses neurones. Ces visualisations ont révélé des différences clés entre les couches, indiquant comment l'information est représentée de manière unique dans le modèle. Notamment, la couche SRFFN a montré un taux d'activations plus élevé comparé aux autres, ce qui indique sa capacité à retenir plus d'informations.

#Conclusion

Nos découvertes indiquent que les activations spiking basées sur des événements peuvent générer du langage avec des coûts computationnels réduits. Les techniques que nous avons développées visent à favoriser des modèles légers qui profitent à la fois à la communauté NLP et au domaine de recherche SNN. Avec SpikeGPT, nous illustrons comment des avancées significatives peuvent être réalisées en entraînant efficacement des SNN à grande échelle.

#Directions futures

Le travail effectué avec SpikeGPT peut ouvrir de nouvelles voies de recherche dans les SNN, en particulier pour les tâches de langage. Nous prévoyons de rendre le code et les modèles pré-entraînés publics, encourageant ainsi une exploration plus poussée dans ce domaine passionnant d'étude.

Dans un monde où la demande d'IA économe en énergie augmente, le potentiel des SNN dans le NLP est quelque chose qui mérite d'être exploré. SpikeGPT ne représente que le début de ce qui pourrait être accompli avec cette technologie prometteuse.