David Grangier

様々なタスクにおける大規模言語モデルのコストと効率を分析中。

AdEMAMixは、最近の勾配と過去の勾配をバランスさせることで、トレーニング効率を向上させるよ。