Difan Zou

Cette étude explore comment les transformers apprennent grâce à l'attention multi-tête dans les tâches de régression.

Examiner l'impact de la réduction du taux sparse sur la performance des modèles Transformer.

Découvre comment la génération parallélisée transforme la production d'images et de vidéos.