Jonathan Pilault

ザンバは、状態空間とトランスフォーマーアーキテクチャを組み合わせたハイブリッド言語モデルだよ。

Zydaは、1.3兆トークンのデータセットで、言語モデルのトレーニングを強化するんだ。

ツリーアテンションは、機械学習モデルが長いシーケンスを処理する効率を向上させるよ。