Yushun Zhang

Cet article explore les défis d'optimisation dans les Transformers et l'efficacité d'Adam par rapport à SGD.

Adam-mini réduit l'utilisation de la mémoire pour entraîner de grands modèles de langage tout en gardant de bonnes performances.

MoFO aide les grands modèles de langage à garder leur savoir pendant le fine-tuning sans perdre en performance.

Découvrez la performance des algorithmes efficaces sous des délais serrés.