Paolo Glorioso

BlackMamba combine des modèles d'état et un mélange d'experts pour des tâches de langue efficaces.

Zamba est un modèle de langage hybride qui combine des architectures d'espace d'état et de transformateur.

Zyda, un jeu de données avec 1,3 trillion de tokens, améliore l'entraînement des modèles de langue.

Un aperçu de la diffusion à travers des modèles de gaz de réseau et des effets non linéaires.