Zhongzhi Yu

Explorer comment les puits d'attention impactent la performance des modèles de langage et introduire une technique d'étalonnage.

Un nouveau cadre améliore la façon dont les grands modèles de langage peuvent fonctionner sur des appareils edge.

KVMerger réduit l'utilisation de mémoire dans les modèles linguistiques tout en maintenant la performance grâce à un bon mélange des états.

Un nouveau système améliore l'adaptabilité des grands modèles de langage sur différents appareils.