Migliorare i modelli linguistici con QCQA per una gestione della memoria migliore

I modelli di linguaggio grandi (LLM) sono diventati super popolari per compiti come chatbot, creazione di contenuti e altro. Possono generare testo, produrre immagini e persino creare musica. Tuttavia, una delle principali sfide quando si usano questi modelli è la memoria necessaria per memorizzare le caratteristiche chiave e valore usate per generare testo. Questa memoria è conosciuta come KV-cache. Quando la KV-cache diventa troppo grande, può rallentare il modello e limitare quanto testo può generare.

#Il Problema con la KV-cache

Quando si lavora con l'inferenza autoregressiva, che è il metodo usato dagli LLM per generare testo, il modello deve ricordare le caratteristiche chiave e valore precedenti. La dimensione della KV-cache cresce in base a diversi fattori, come il numero di teste nel modello, la lunghezza del testo di input e la dimensione del batch di input.

Man mano che i compiti di linguaggio diventano più complessi, gli LLM richiedono più teste e livelli per gestire input di testo più lunghi. Questo aumento porta a un significativo aumento della dimensione della KV-cache, che può diventare più grande dei veri e propri parametri del modello. Questo uso eccessivo di memoria può rendere l'elaborazione più lenta e più dispendiosa in termini di energia.

Per affrontare questi problemi, i ricercatori hanno ideato tecniche per ridurre la dimensione della KV-cache. Alcuni metodi prevedono l'uso di una precisione inferiore per queste caratteristiche, mantenendo solo le caratteristiche significative o raggruppando le teste di attenzione insieme per condividere le caratteristiche KV.

#Tecniche di Attenzione Raggruppate

Due metodi popolari per ridurre la dimensione della KV-cache sono l'Attenzione Multi-query (MQA) e l'Attenzione Grouped-Query (GQA).

#Attenzione Multi-Query (MQA)

Nella MQA, tutte le teste di query vengono unite in un gruppo. Questo significa che viene usata solo una testa chiave e valore per l'intero livello. Questo può ridurre notevolmente la dimensione della KV-cache, ma può anche comportare una perdita di precisione del modello.

#Attenzione Grouped-Query (GQA)

La GQA fa un passo avanti dividendo le teste di query in gruppi più piccoli. Ogni gruppo condivide una singola testa chiave e valore. Anche se la GQA può ridurre la dimensione della KV-cache in modo più efficace rispetto alla MQA, ha comunque i suoi svantaggi. La GQA potrebbe non garantire sempre il miglior equilibrio tra dimensione della cache e precisione.

#La Necessità di un Nuovo Approccio

Sia la MQA che la GQA non garantiscono un equilibrio ottimale tra la dimensione della memoria e la qualità della generazione del testo. Questo è principalmente dovuto alla mancanza di consapevolezza sulla qualità dei raggruppamenti delle teste di query. I ricercatori hanno scoperto che ci potrebbe essere un modo migliore per raggruppare le teste di query per mantenere la precisione riducendo comunque la dimensione della KV-cache.

#Introducendo QCQA

Per affrontare queste sfide, introduciamo l'Attenzione Grouped Query Consapevole della Qualità e Capacità (QCQA). QCQA utilizza un algoritmo evolutivo per determinare il modo migliore di raggruppare le teste di query, consentendo flessibilità nella dimensione del gruppo e migliorando la qualità generale della generazione di testo.

QCQA identifica i migliori raggruppamenti per le teste di query mantenendo sotto controllo l'impatto sulla memoria. Questo metodo migliora le prestazioni del modello senza aumentare eccessivamente la dimensione della KV-cache.

#Risultati con QCQA

I nostri risultati mostrano che QCQA porta a una migliore precisione rispetto alla GQA pur utilizzando una dimensione della KV-cache simile. Ad esempio, nei test con il modello Llama2 B, QCQA ha dimostrato una maggiore precisione senza richiedere ulteriore addestramento. Anche dopo il fine-tuning sia di QCQA che di GQA, QCQA ha comunque performato meglio per la stessa dimensione della cache.

Inoltre, QCQA richiede meno memoria rispetto alla GQA per raggiungere una precisione comparabile. Ottimizzando il raggruppamento delle teste di query, dimostriamo che QCQA apre la strada per una migliore gestione della KV-cache nell'inferenza autoregressiva degli LLM.

#Come Funziona QCQA

QCQA impiega un approccio a due fasi.

#Fase 1: Raggruppamento delle Teste di Query

Nella prima fase, QCQA forma gruppi di teste di query per ogni livello. Questo raggruppamento non è limitato a dimensioni uguali; può variare in base a ciò che funziona meglio per le prestazioni del modello. Questa flessibilità consente a QCQA di adattare le dimensioni dei gruppi in modo da migliorare la precisione complessiva.

#Fase 2: Valutazione dell'Impatto del Raggruppamento

Nella seconda fase, QCQA valuta come i raggruppamenti scelti influenzano la precisione del modello. I livelli critici per la precisione mantengono la loro struttura originale, mentre i livelli meno impattanti possono utilizzare i nuovi raggruppamenti per minimizzare le esigenze di memoria.

Entrambi i passaggi utilizzano una funzione computazionale chiamata errore di condivisione dei pesi (WSE) per aiutare a valutare quanto possa essere sacrificata la precisione quando si raggruppano le teste. Questa funzione opera senza la necessità di calcoli costosi tipicamente richiesti per controllare la precisione degli LLM.

#Vantaggi di QCQA

I vantaggi di QCQA possono essere visti attraverso vari test condotti su più modelli e compiti di LLM. I nostri risultati mostrano costantemente che QCQA supera GQA, raggiungendo una maggiore precisione richiedendo meno memoria.

#Risultati Senza Fine-Tuning

Nei test senza fine-tuning, QCQA ha mostrato miglioramenti significativi rispetto a GQA. Ad esempio, con certe dimensioni della cache, la precisione della GQA è diminuita notevolmente, mentre QCQA ha mantenuto le sue prestazioni, dimostrando un compromesso molto migliore tra dimensione della KV-cache e precisione del modello.

#Risultati Con Fine-Tuning

Quando è stato applicato il fine-tuning, QCQA ha comunque superato la GQA in varie dimensioni della cache. Questo significa che anche se entrambi i metodi ricevessero ulteriore addestramento, QCQA riuscirebbe ancora a mantenere un livello di precisione più elevato.

#Valutazione Attraverso Diversi Compiti

Abbiamo anche testato QCQA su una varietà di compiti, tra cui comprensione del linguaggio naturale e ragionamento, utilizzando set di dati di benchmark consolidati. In ogni caso, QCQA ha raggiunto una maggiore precisione rispetto a GQA, dimostrando così di essere un'alternativa affidabile per la gestione della memoria negli LLM.

#Conclusione

L'introduzione di QCQA segna un notevole avanzamento nell'ottimizzazione dell'equilibrio tra i requisiti di memoria e la precisione negli LLM. Sfruttando un algoritmo evolutivo per il raggruppamento delle teste di query, QCQA offre sia flessibilità che miglioramenti delle prestazioni che prima non erano raggiungibili con metodi come MQA e GQA.

Attraverso test approfonditi, abbiamo dimostrato che QCQA fornisce costantemente risultati migliori, richiedendo meno KV-cache senza compromettere la qualità della generazione di testo. Questo apre opportunità per un uso più efficiente degli LLM in una varietà di applicazioni.

Mentre gli LLM continuano a evolversi, lo sviluppo di metodi come QCQA giocherà un ruolo cruciale nel garantire che rimangano accessibili ed efficienti per varie applicazioni del mondo reale. Il potenziale per prestazioni migliorate senza eccessivi requisiti di risorse rende QCQA un approccio promettente per la ricerca e l'implementazione futura degli LLM.