Congliang Chen

Dieser Artikel untersucht die Optimierungsherausforderungen bei Transformern und die Effektivität von Adam im Vergleich zu SGD.

Adam-mini reduziert den Speicherverbrauch beim Training grosser Sprachmodelle, ohne die Leistung zu beeinträchtigen.

Ein neuer Ansatz verbessert die Antworten von Sprachmodellen und verringert das Overfitting.

Ein Blick auf Bi-Level-Optimierungsmethoden und deren Einfluss auf Machine-Learning-Modelle.