Simple Science

最先端の科学をわかりやすく解説

Ziming Liu

分散・並列・クラスターコンピューティングウォールフェイサー: 長いシーケンストレーニングのための新しいシステム

WallFacerは、最適化されたコミュニケーションを使って長いシーケンスのTransformerモデルのトレーニング効率を向上させる。

― 1 分で読む