Beren Millidge

BlackMamba combine des modèles d'état et un mélange d'experts pour des tâches de langue efficaces.

Zamba est un modèle de langage hybride qui combine des architectures d'espace d'état et de transformateur.

Explorer l'impact de la mémoire à long terme sur les agents conversationnels.

Zyda, un jeu de données avec 1,3 trillion de tokens, améliore l'entraînement des modèles de langue.

L'attention par arbre améliore l'efficacité dans le traitement de longues séquences pour les modèles d'apprentissage automatique.

Apprends comment MixPR améliore les modèles de langage à long contexte pour plus d'efficacité.