Zhongzhi Yu

Explorando como os sinks de atenção impactam o desempenho dos modelos de linguagem e apresentando uma técnica de calibração.

Um novo framework melhora como os grandes modelos de linguagem podem funcionar em dispositivos de borda.

O KVMerger reduz o uso de memória em modelos de linguagem enquanto mantém o desempenho através da fusão eficaz de estados.

Um novo sistema melhora a adaptabilidade de grandes modelos de linguagem em diferentes dispositivos.