Sviluppi nei Vision Transformers con ME-ViT

I Vision Transformers (ViTs) sono diventati strumenti importanti nel campo della classificazione degli oggetti. Si distinguono per la loro capacità di analizzare le immagini e fare previsioni accurate. Tuttavia, usare i ViTs porta anche delle sfide. Hanno bisogno di tanta potenza di calcolo e hanno un alto numero di parametri, rendendoli difficili da utilizzare in situazioni in tempo reale. Questo ha portato alla necessità di hardware migliore in grado di gestire questo carico di lavoro in modo efficiente.

#Il Problema con l'Hardware Esistente

Molte soluzioni hardware attuali che supportano i ViTs affrontano problemi di accesso alla memoria. Quando il sistema deve frequentemente prelevare dati dalla memoria off-chip, si creano dei ritardi, riducendo la velocità con cui i compiti possono essere completati. In dispositivi come gli FPGA edge, che hanno una larghezza di banda di memoria limitata, questo diventa ancora più problematico. Un accesso eccessivo alla memoria off-chip crea un collo di bottiglia, impedendo prestazioni massime.

Per superare questi problemi, proponiamo una nuova soluzione: un acceleratore FPGA a Memoria Efficiente specificamente progettato per i ViTs, che minimizza la quantità di memoria da accedere.

#Lo Sviluppo di ME-ViT

Il nuovo design, chiamato ME-ViT, mira ad accelerare l'inferenza dei ViT. Lo fa garantendo che i dati siano caricati solo una volta e che tutta l'elaborazione avvenga nel modo più efficiente possibile.

#Caratteristiche Chiave di ME-ViT

1. Politica di Caricamento Singolo: Questa funzione significa che i parametri del modello devono essere caricati in memoria solo una volta. Quando i valori devono essere riutilizzati, vengono mantenuti nella memoria on-chip, il che aiuta a ridurre i trasferimenti di memoria.

2. Memorizzazione On-chip dei Risultati Intermedi: Invece di scrivere continuamente i risultati nella memoria off-chip, i risultati intermedi rimangono nella memoria del dispositivo, permettendo un accesso più veloce durante l'elaborazione.

3. Tutte le Operazioni in un Elemento di Elaborazione: Tenendo tutte le operazioni, come calcoli di matrici e attivazioni, all'interno di un unico elemento di elaborazione, minimizziamo la necessità di trasferimenti di dati esterni.

4. Elemento di Elaborazione a Memoria Efficiente (ME-PE): Questa unità di elaborazione speciale può gestire compiti chiave del modello ViT senza richiedere memoria eccessiva. Utilizza buffer multiuso che consentono un riutilizzo efficiente delle risorse, riducendo la domanda di memoria complessiva.

#Motivazione Dietro il Design

La nostra motivazione nel progettare ME-ViT deriva dalle sfide affrontate dalle implementazioni ViT esistenti. Anche se sono stati fatti molti miglioramenti ai ViTs, come la riduzione delle dimensioni del modello e il miglioramento degli algoritmi, la larghezza di banda di memoria rimane una limitazione significativa.

C'è un chiaro divario tra le capacità computazionali dell'hardware moderno come le GPU e le loro velocità di accesso alla memoria. Nonostante i guadagni significativi nella potenza di elaborazione, la larghezza di banda di memoria non è riuscita a tenere il passo, rendendo difficile per i ViTs esibirsi bene in compiti in tempo reale.

#Sfide Tecniche

Costruire un'architettura a memoria efficiente porta con sé dei ostacoli:

#Sfida 1: Gestire il Traffico di Memoria

Le grandi moltiplicazioni di matrici richieste dai ViTs spesso portano a letture e scritture continue nella memoria off-chip. Questo non solo consuma molta larghezza di banda di memoria, ma può anche rallentare l'elaborazione. Idealmente, tutti i dati dovrebbero essere memorizzati on-chip per ridurre questo traffico.

#Sfida 2: Gestire le Connessioni Residuali

Le Connessioni Residue sono cruciali nei ViTs, poiché aggiungono i risultati degli strati precedenti ai calcoli attuali. Questo significa che dobbiamo caricare i dati precedenti o tenerli memorizzati da qualche parte. Bilanciare la necessità di velocità con le risorse disponibili è fondamentale.

#Sfida 3: Ridurre la Comunicazione con la CPU Host

I design attuali spesso si basano sulla CPU per eseguire operazioni come Softmax e LayerNorm. Questo porta a una comunicazione costante, che può rallentare le prestazioni, specialmente durante calcoli più grandi.

#Soluzioni Presentate in ME-ViT

Per affrontare queste sfide, ME-ViT utilizza due strategie principali:

1. Politica di Caricamento Singolo: Carica i dati dalla memoria off-chip solo una volta, memorizzando tutto il resto on-chip. Questo minimizza il traffico di memoria esterno e migliora l'efficienza.

2. Buffer Multiuso: Questi buffer consentono a più operazioni chiave per l'inferenza ViT di avvenire su un'unica architettura. Questo riduce significativamente la necessità di risorse aggiuntive.

#Valutazione delle Prestazioni

Abbiamo testato ME-ViT su Xilinx Alveo U200, ottenendo miglioramenti notevoli sia nella larghezza di banda di memoria che nella velocità di elaborazione rispetto alle soluzioni esistenti.

#Miglioramento della Larghezza di Banda di Memoria

Utilizzando dimensioni di array sistolici di 32 e 16, ME-ViT dimostra miglioramenti fino a 9.22 e 17.89 nella larghezza di banda di memoria, rispettivamente.

#Efficienza Energetica

Rispetto a una tipica GPU e a un baseline FPGA, ME-ViT mostra un miglioramento significativo nell'efficienza energetica, raggiungendo un'efficienza fino a 4.00 volte migliore rispetto alle GPU.

#Architettura Multi-Elementi di Elaborazione

Una delle caratteristiche più interessanti di ME-ViT è la sua capacità di implementare più elementi di elaborazione (PE) sulla stessa scheda. Questo consente un aumento della capacità di elaborazione, ottenendo prestazioni migliori rispetto ai design FPGA esistenti.

#Capire i Vision Transformers

I Vision Transformers sono un tipo di rete neurale progettata per l'analisi delle immagini. Utilizzano meccanismi di autoattenzione per elaborare i dati e hanno ottenuto risultati eccezionali in compiti come la classificazione delle immagini e il riconoscimento degli oggetti.

#Come Funzionano i ViTs

I ViTs prendono le immagini, le suddividono in pezzi più piccoli o patch, e le elaborano come una sequenza di dati usando una struttura nota come Transformer Encoder. All'interno di questo encoder, diversi componenti lavorano insieme, tra cui:

• Autoattenzione Multi-Testa: Questa parte guarda a diverse parti dei dati di input simultaneamente, permettendo al modello di concentrarsi su vari aspetti dell'input.

• Perceptron a Multi-Livello: Una serie di strati che aiuta a fare le previsioni finali in base ai dati elaborati.

• Normalizzazione degli Strati: Questo aiuta a stabilizzare il processo di apprendimento normalizzando gli input a certi strati.

#Perché gli FPGA Sono Adatti per i ViTs

I Field Programmable Gate Arrays (FPGAs) sono un'opzione desiderabile per molti compiti di machine learning perché possono essere personalizzati per soddisfare esigenze computazionali specifiche. Consentono elaborazione parallela e allocazione efficiente delle risorse, rendendoli un candidato forte per eseguire i ViTs.

#Sfide con le Implementazioni FPGA

Nonostante i loro vantaggi, implementare i ViTs sugli FPGA comporta anche delle sfide. Le elevate richieste di memoria dei Transformers possono limitare le loro prestazioni, come dimostrano diversi design esistenti.

Molti di questi design richiedono comunque un accesso frequente alla memoria, il che può creare un collo di bottiglia per l'intero sistema. ME-ViT affronta questi problemi concentrandosi sull'efficienza della memoria e riducendo la frequenza dei trasferimenti di dati.

#Moltiplicazione di matrici su FPGA

La moltiplicazione di matrici è una parte cruciale dell'esecuzione dei ViTs, ma farlo su un FPGA richiede una pianificazione attenta. Design efficienti possono portare a migliori prestazioni con un uso minimo delle risorse.

#Imballaggio DSP

Utilizzando l'imballaggio DSP, gli FPGA possono eseguire due moltiplicazioni contemporaneamente, portando a un'elaborazione più efficiente. Questa tecnica consente prestazioni migliori nei compiti di moltiplicazione di matrici essenziali per l'elaborazione dei ViT.

#Moltiplicazione di Matrici MLP

Il Perceptron a Multi-Livello (MLP) richiede una gestione specializzata poiché le sue matrici di pesi possono essere troppo grandi da gestire efficientemente in un colpo solo. Utilizzando un approccio basato su blocchi, possiamo suddividere queste moltiplicazioni in parti più piccole e gestibili senza un uso eccessivo della memoria.

#Conclusione

ME-ViT rappresenta un significativo avanzamento nel campo dei Vision Transformers fornendo una soluzione a memoria efficiente per la loro implementazione su FPGA. Concentrandosi sulla minimizzazione del traffico di memoria e sull'ottimizzazione dell'uso delle risorse, ME-ViT consente un'elaborazione più veloce e una maggiore efficienza energetica rispetto alle architetture esistenti.

Con l'evoluzione del machine learning, le tecniche e gli approcci sviluppati in ME-ViT potrebbero servire come trampolino di lancio per future innovazioni, non solo nei ViTs ma anche in altre aree dell'apprendimento profondo. La sfida continua sarà spingere ulteriormente queste idee, rispondendo a modelli anche più grandi e compiti più complessi.