Yichuan Deng

Explorer l'optimisation à travers des polynômes hyperboliques et leurs applications.

Explorer l'impact de softmax sur l'entraînement des grands modèles de langage et les avancées récentes.

Un aperçu plus détaillé de la régression softmax-ReLU et de son impact sur les modèles de langage.

Une méthode pour équilibrer les récompenses et les ressources en utilisant des bandits contextuels regroupés.

Découvrez comment l'attention éparse améliore le traitement dans les modèles de langage.