Tri Dao

Caduceus améliore la modélisation génomique en s'attaquant aux complexités de l'ADN.

Mamba-2 combine des SSM et des Transformers pour améliorer l'efficacité dans les tâches linguistiques.

De nouvelles méthodes améliorent la vitesse et l'efficacité des mécanismes d'attention pour les modèles de langage.

Explorez comment Hydra et les matrices structurées améliorent l'efficacité et la précision de la modélisation de séquences.

Une nouvelle méthode pour simplifier les modèles de langue tout en gardant leur performance.

Les jeux de données RedPajama visent à améliorer la formation des modèles de langage grâce à la transparence et à des données de qualité.

Explorer les avantages et les défis des modèles hybrides en traitement du langage.