Automatizzare i modelli di prestazione per gli acceleratori DNN

Usare Reti Neurali Profonde (DNN) su piccoli dispositivi edge è complicato. Questi dispositivi hanno bisogno di hardware speciale per funzionare bene. Sapere quanto bene si comportano diversi set-up per questi compiti AI è fondamentale. Questo articolo condivide un modo per creare automaticamente modelli veloci per prevedere quanto velocemente una DNN girerà su specifiche configurazioni hardware.

Esaminiamo diversi tipi di Acceleratori DNN, compresi alcuni noti e un design flessibile chiamato array sistolico. Usando il nostro modello, possiamo prevedere come funziona una DNN utilizzando solo un numero ridotto di esempi dai calcoli reali, velocizzando notevolmente il processo. Il nostro metodo è molto più veloce e preciso rispetto ai metodi tradizionali.

#Importanza dei Dispositivi Edge

I dispositivi edge stanno diventando popolari perché consumano meno dati, rispondono in modo rapido, richiedono meno energia e sono generalmente più economici rispetto a grandi centri dati. Con sempre più aziende che cercano di costruire migliori dispositivi edge che eseguono DNN, si trovano a dover scegliere l'hardware giusto per applicazioni specifiche. Molti metodi esistenti per misurare le Prestazioni richiedono molto tempo e non sono adatti per diverse DNN, creando quindi la necessità di una nuova soluzione.

Durante le fasi iniziali di design dell'hardware, è essenziale confrontare rapidamente vari design. Le modifiche possono includere qualsiasi cosa, dal numero di unità di elaborazione a percorsi dati diversi. Sul fronte software, ci sono diverse strategie per ottimizzare come le DNN girano sull'hardware scelto. Per semplificare questo confronto, proponiamo un modo automatico per stimare quanto bene funzionerà una DNN su diverse configurazioni.

#Panoramica della Stima Automatica delle Prestazioni

L'obiettivo di questo lavoro è costruire rapidamente modelli di prestazioni accurati per gli acceleratori DNN. Introduciamo un nuovo linguaggio per descrivere architetture informatiche chiamato ACADL. Questo linguaggio ci aiuta a creare modelli per molti tipi di configurazioni hardware con diverse opzioni.

Il nostro metodo genera automaticamente un grafico speciale noto come Grafico di Dipendenza delle Istruzioni Architettoniche (AIDG). Questo grafico mostra come le istruzioni lavorano insieme all'interno della configurazione hardware. Questo è un nuovo approccio perché rappresenta sia l'hardware che il software. Altri metodi di solito si concentrano su un lato o sull'altro.

Abbiamo progettato un modo veloce per usare l'AIDG per calcolare quanto bene funzionano le DNN su queste configurazioni hardware. In alcuni casi, abbiamo bisogno di analizzare solo una piccola parte di tutte le istruzioni per fornire una stima accurata, eguagliando la precisione dei metodi più pesanti.

#Lavori Correlati

Molti studi hanno cercato di prevedere le prestazioni delle DNN su diverse configurazioni hardware. Questi studi rientrano solitamente in due categorie: modelli analitici e modelli di machine learning. Entrambi hanno i loro punti di forza e debolezza.

Alcuni ricercatori hanno confrontato diversi metodi di machine learning per stimare le prestazioni delle DNN su GPU. Hanno raccolto una grande quantità di dati per addestrare i loro modelli. Altri si sono concentrati sulla misurazione delle prestazioni di configurazioni specifiche usando DNN create ad hoc e hanno analizzato il loro tempo di esecuzione.

Ci sono strumenti come Timeloop e Aladdin che mirano a fornire stime di prestazione attraverso approcci diversi. Tuttavia, il nostro metodo si distingue perché combina sistematicamente la modellazione delle architetture con una stima delle prestazioni che può essere applicata a varie configurazioni senza necessitare di ampi dati di addestramento.

#Metodo Proposto

#Panoramica del Nuovo Approccio

La base del nostro approccio è ACADL, un linguaggio che ci permette di modellare varie configurazioni hardware. Descrivendo un acceleratore in questo linguaggio, possiamo generare le istruzioni necessarie per le DNN.

Ognuna di queste istruzioni viene analizzata per costruire l'AIDG. Questo grafo diretto è cruciale perché cattura come le istruzioni si muovono attraverso l'hardware, rivela eventuali conflitti e tiene traccia delle dipendenze. L'AIDG viene valutato in un modo che ci aiuta a calcolare la velocità complessiva di esecuzione della DNN.

Consideriamo un esempio specifico di un array sistolico in ciascuna sezione del nostro metodo. I passaggi includono:

1. Modellazione dell'Acceleratore: Creiamo una descrizione base dell'architettura hardware.
2. Mapping delle DNN sull'Hardware: Generiamo istruzioni basate su come le DNN possono girare sulla configurazione hardware.
3. Valutazione delle Prestazioni: Analizziamo l'AIDG per stimare le prestazioni in base alle istruzioni generate.

#Il Linguaggio di Descrizione dell'Architettura Informatica Astratta (ACADL)

La comunicazione sulle architetture informatiche di solito avviene con diagrammi a blocchi. Tuttavia, questi possono diventare complessi e richiedere conoscenze esperte. ACADL offre un modo più semplice e orientato agli oggetti per descrivere i componenti architettonici.

In ACADL, definiamo diverse classi e le loro relazioni e dipendenze. Usando questo linguaggio, possiamo costruire modelli che rappresentano come le istruzioni interagiscono con diversi componenti hardware nel tempo. Permette di modellare design complessi senza necessitare di una vasta conoscenza hardware.

I diagrammi delle classi ACADL descrivono parti essenziali delle architetture, mostrando come i dati si muovono e come le istruzioni vengono eseguite. Ogni classe ha i suoi attributi unici, metodi e relazioni con altre, rendendola un modo flessibile per rappresentare e manipolare l'hardware.

#Flusso di Modellazione

Creare l'AIDG inizia con la definizione di un diagramma oggetto ACADL. Esistono due metodi per raccogliere questo diagramma:

1. Modellazione Dall'Alto Verso il Basso: Questo approccio è migliore per i nuovi design hardware e costruisce un modello ad alto livello basato sulle capacità e struttura desiderate.
2. Modellazione Dal Basso Verso l'Alto: Questo metodo utilizza la conoscenza hardware esistente e dettagli dai diagrammi a blocchi architettonici per generare il diagramma oggetto ACADL.

Questa flessibilità nell'approccio consente agli sviluppatori di scegliere il metodo che meglio si adatta al loro contesto.

#Esempi di Modellazione

Mostriamo due design esemplari per illustrare come funziona ACADL:

• Array Sistolico: Una struttura semplice in cui ogni unità di elaborazione esegue operazioni di base. Questo design serve come ottima introduzione ad ACADL, poiché può essere modellato con istruzioni scalari.
• Acceleratore UltraTrail: Un setup più complesso focalizzato sul processamento a basso consumo. Questo modello mostra come diversi componenti hardware possono essere combinati in ACADL per creare un design funzionale.

#Stima delle Prestazioni Usando l'AIDG

L'AIDG aiuta a stimare le prestazioni delle DNN sull'architettura modellata. Valutando l'AIDG, possiamo determinare la latenza end-to-end dell'esecuzione delle istruzioni DNN mappate sull'hardware.

Il processo implica ordinare le istruzioni in un ordine topologico. Ogni nodo nell'AIDG rappresenta quando un'istruzione occupa hardware. Valutiamo le relazioni e le dipendenze tra questi nodi per ottenere una stima delle prestazioni accurata.

La latenza complessiva può essere derivata dall'analisi di come le istruzioni interagiscono e quante risorse sono disponibili durante il processo di esecuzione.

#Latenza End-to-End per i Layer DNN

In un'esecuzione tipica di una DNN, si verificano più iterazioni in una pipeline. Tuttavia, queste iterazioni possono sovrapporsi, il che complica le previsioni temporali. È essenziale considerare come le iterazioni precedenti influenzano il tempo delle iterazioni successive per ottenere una stima accurata.

Sfruttiamo l'AIDG per capire come le iterazioni sovrapposte influenzano la velocità di esecuzione dei layer DNN. Il nostro metodo cattura i diversi tempi di esecuzione e le dipendenze, offrendo previsioni più precise.

#Risultati e Valutazioni

Per valutare l'efficacia del nostro nuovo approccio, lo applichiamo a quattro architetture di acceleratori diverse. Confrontiamo le nostre previsioni con benchmark stabiliti per determinare l'accuratezza del nostro metodo.

Per ogni acceleratore, misuriamo quanto bene le nostre stime si allineano ai valori reali ottenuti da simulazioni effettive. Questo confronto mostra che, mentre i modelli tradizionali richiedono tempo e dati significativi, il nostro approccio mantiene alta accuratezza con meno complessità.

#Valutazione di Diverse Architetture

Modelliamo e valutiamo le seguenti architetture:

1. UltraTrail: Otteniamo ottime stime di prestazione che si avvicinano molto alla verità per specifiche DNN.
2. Gemmini: Vediamo come il nostro metodo si comporta rispetto a modelli analitici tradizionali. Le nostre previsioni mostrano costantemente una maggiore accuratezza.
3. Array Sistolici Parametrizzabili: La stima per dimensioni diverse offre risultati solidi, con il nostro metodo che supera i modelli basati su regressione senza necessitare di ampi dataset di addestramento.
4. Design Derivati da Plasticine: Questa architettura dimostra la flessibilità e scalabilità del nostro metodo, permettendo un'esplorazione rapida dello spazio di design.

#Conclusione

Il nostro lavoro offre un metodo veloce e automatico per creare modelli di prestazioni per acceleratori DNN. Usare ACADL per descrivere diverse architetture e l'AIDG per stimare le prestazioni fornisce una soluzione completa per abbinare le DNN agli set-up hardware.

Questo approccio consente una rapida valutazione di vari design, rendendo più semplice la selezione dell'hardware giusto per compiti AI specifici. Semplificando il processo di stima delle prestazioni, aiutiamo gli ingegneri a ottimizzare i loro design in modo efficace, risparmiando tempo e risorse nello sviluppo di dispositivi AI edge.

In definitiva, il nostro lavoro contribuirà a migliorare le prestazioni nelle applicazioni AI edge, abilitando soluzioni più rapide ed efficienti per le future esigenze tecnologiche.