Zhongzhi Yu

Explorando cómo los sinks de atención afectan el rendimiento de los modelos de lenguaje y presentando una técnica de calibración.

Un nuevo marco mejora cómo los modelos de lenguaje grandes pueden funcionar en dispositivos de borde.

KVMerger reduce el uso de memoria en modelos de lenguaje mientras mantiene el rendimiento a través de una fusión efectiva de estados.

Un nuevo sistema mejora la adaptabilidad de los modelos de lenguaje grandes en diferentes dispositivos.