Yushun Zhang

Este artículo explora los desafíos de optimización en Transformers y la efectividad de Adam sobre SGD.

Adam-mini reduce el uso de memoria para entrenar modelos de lenguaje grandes sin sacrificar el rendimiento.

MoFO ayuda a los modelos de lenguaje grandes a retener conocimiento durante el ajuste fino sin perder rendimiento.

Descubre el rendimiento de algoritmos eficientes bajo límites de tiempo estrictos.