Pierre Ablin

Cet article parle de stratégies pour améliorer l'estimation des hypergradients dans la programmation à deux niveaux.

AdEMAMix améliore l'efficacité de l'entraînement en équilibrant les gradients récents et passés.