Acyr Locatelli

新しい方法で専門家の混合を使ってニューラルネットワークの効率とパフォーマンスが向上するよ。

新しい方法でKVキャッシュサイズを減らしつつ、高いモデルパフォーマンスを維持できる。

BAMは、アテンションとFFNパラメータを統合することでMoEの効率を向上させるよ。

Nexusは、言語モデル開発において効率性、専門性、適応性を組み合わせてる。