Bharat Venkitesh

新しい方法でKVキャッシュサイズを減らしつつ、高いモデルパフォーマンスを維持できる。

BAMは、アテンションとFFNパラメータを統合することでMoEの効率を向上させるよ。