Quentin Anthony

Une méthode pour améliorer l'efficacité des modèles de Mixture of Experts.

Apprends à améliorer l'efficacité des modèles transformer avec un design optimisé pour le GPU.

BlackMamba combine des modèles d'état et un mélange d'experts pour des tâches de langue efficaces.

Analyse des modèles GPT-NeoX et LLaMA pour des applications dans les sciences des matériaux.

Zamba est un modèle de langage hybride qui combine des architectures d'espace d'état et de transformateur.

Zyda, un jeu de données avec 1,3 trillion de tokens, améliore l'entraînement des modèles de langue.

L'attention par arbre améliore l'efficacité dans le traitement de longues séquences pour les modèles d'apprentissage automatique.

Une étude sur l'amélioration du partage de données dans l'entraînement des modèles de transformateurs.

De nouvelles techniques de compression accélèrent l'entraînement des gros modèles de langue tout en gardant la précision.

Les jeux de données RedPajama visent à améliorer la formation des modèles de langage grâce à la transparence et à des données de qualité.