Pierre Ablin

Analizando el costo y la eficiencia de los modelos de lenguaje grandes en varias tareas.

Este artículo habla sobre estrategias para mejorar la estimación de hipergradientes en programación bilevel.

AdEMAMix mejora la eficiencia del entrenamiento al equilibrar gradientes recientes y pasados.