Pierre Ablin

Die Kosten und Effizienz von grossen Sprachmodellen bei verschiedenen Aufgaben analysieren.

Dieser Artikel bespricht Strategien zur Verbesserung der Hypergradientenschätzung in der Bilevel-Programmierung.

AdEMAMix verbessert die Trainingseffizienz, indem es aktuelle und vergangene Gradienten ausbalanciert.