Infernza Distribuita Efficace per Reti Neurali Profonde

I deep neural networks (DNNs) stanno diventando sempre più popolari per affrontare molte sfide nel mondo reale, ma spesso hanno bisogno di tanta potenza di calcolo e memoria. Questo rende difficile eseguire grandi modelli DNN su dispositivi con memoria limitata. Un modo per gestire questa situazione è usare il calcolo distribuito, che distribuisce il carico di lavoro su più dispositivi. Questo documento esplora un metodo chiamato "model parallelism all'interno dello strato", che permette di elaborare diverse parti di uno strato DNN su nodi differenti. In questo modo, possiamo condividere il fabbisogno di memoria su più dispositivi, facilitando l'esecuzione di modelli grandi su dispositivi più piccoli.

Un problema sorge durante questo processo a causa della necessità di comunicare dati tra questi nodi. Se la larghezza di banda della Comunicazione è bassa, può rallentare il processo. Per affrontare questa situazione, introduciamo un framework che chiamiamo DISCO, che sta per Distributed Inference with Sparse Communications. Questo framework mira a ridurre sia le esigenze di calcolo che di comunicazione selezionando in modo intelligente quali dati inviare tra i nodi.

Dimostriamo l'efficacia di DISCO attraverso vari compiti di computer vision, come il riconoscimento delle immagini, la rilevazione di oggetti e l'aumento della risoluzione delle immagini. Ad esempio, usando il nostro metodo, abbiamo scoperto che un modello ResNet-50 poteva essere elaborato su due nodi riducendo la comunicazione dei dati di cinque volte, dimezzando il calcolo totale necessario e utilizzando meno memoria, tutto mantenendo un'accuratezza simile al modello originale.

#Perché Considerare l'Inferenza Distribuita?

I DNN hanno fatto grandi progressi nell'affrontare problemi reali, ma la maggior parte delle ricerche assume che questi modelli operino su un singolo dispositivo potente, come una GPU. Ci sono diversi motivi per considerare l'uso di più dispositivi per l'inferenza.

Prima di tutto, i modelli DNN di alta qualità richiedono molta memoria. Man mano che i modelli diventano più grandi, cresce anche la necessità di dispositivi più piccoli e con risorse limitate. Ad esempio, alcuni dispositivi hanno solo alcune centinaia di kilobyte di RAM, mentre modelli come ResNet50 richiedono centinaia di megabyte. Distribuire il fabbisogno di memoria del DNN su più dispositivi può aiutare a superare questa sfida.

In secondo luogo, eseguire l'inferenza su più dispositivi può diminuire il tempo necessario per l'elaborazione. Terzo, in alcuni casi, più modelli DNN possono lavorare insieme, come in un sistema di telecamere che condividono dati per migliorare la loro capacità di identificare azioni o oggetti. Questo tipo di inferenza cooperativa consente di avere performance complessive migliori.

Quando si usano più dispositivi, due fattori critici spesso misurati sono Latenza e throughput. La latenza è il tempo che intercorre dall'input dei dati nel DNN fino all'output. Il throughput indica quanti campioni di dati possono essere elaborati in un certo intervallo di tempo. Per applicazioni sensibili al tempo come la guida autonoma e la telechirurgia, è fondamentale avere bassa latenza.

#Metodi di Parallelismo

Un metodo popolare per velocizzare i DNN è distribuire il calcolo su più nodi. Ci sono diversi modi per farlo:

1. Parallelismo dei Dati: Ogni nodo gestisce una parte dei campioni di input in un batch.
2. Parallelismo a Pipeline: Il modello è diviso in gruppi sequenziali, e ogni nodo elabora un gruppo.

Anche se questi approcci possono aiutare, non riducono la latenza per l'elaborazione di un singolo input, perché ogni strato deve essere elaborato in modo sequenziale e il calcolo all'interno di uno strato rimane centralizzato.

#Confronto dei Metodi di Inferenza DNN Distribuiti

I metodi tradizionali tendono a fare affidamento su comunicazioni dense, dove ogni punto dati deve essere scambiato tra i nodi. Proponiamo un nuovo metodo in cui vengono comunicati solo dati selezionati tra i nodi. Questo approccio unico si concentra sulla minimizzazione della quantità di dati trasmessi, il che può migliorare significativamente le prestazioni in situazioni in cui la larghezza di banda è limitata.

Nel nostro approccio, ogni strato del nostro modello è progettato in modo che solo un sottoinsieme di dati di input venga trasferito tra i nodi. Trattiamo la selezione di quali dati trasferire come un problema di ottimizzazione. Questo lo trasforma in una sorta di ottimizzazione del modello che ci aiuta a ottenere riduzioni sia nel calcolo che nelle esigenze di comunicazione.

#Addestramento con Comunicazioni Sparse

Per implementare il nostro approccio, all'inizio addestriamo un modello completo usando comunicazioni dense. Poi, identifichiamo i pesi più importanti associati alle caratteristiche che scegliamo di comunicare. Riduciamo gradualmente le comunicazioni non necessarie affinando i pesi rimanenti, permettendo al modello di adattarsi alla nuova struttura di comunicazione sparsa.

Attraverso esperimenti su vari compiti-come la rilevazione di oggetti, la segmentazione delle immagini e la super-risoluzione-abbiamo scoperto che mantenere una piccola quantità di comunicazione può migliorare significativamente l'accuratezza rispetto a rami di modelli completamente separati. Al contrario, i modelli con comunicazione densa possono comunque beneficiare del nostro metodo, poiché riduce la quantità di dati trasmessi senza sacrificare molto l'accuratezza.

#Risultati Sperimentali

Per convalidare il nostro metodo, abbiamo condotto diversi esperimenti usando DNN su vari compiti. Ecco un riepilogo dei nostri risultati:

1. Classificazione delle Immagini: Nei test con modelli ResNet sul dataset ImageNet, abbiamo osservato che applicando il nostro framework, potevamo ottenere un miglioramento dell'accuratezza dell'1,6% riducendo la latenza di 4,7 volte. Interessante, anche un piccolo aumento nelle caratteristiche comunicate ha portato a un notevole incremento dell'accuratezza.

2. Rilevazione di Oggetti: Per il modello SSD valutato sul dataset COCO2017, DISCO ha ottenuto una riduzione della latenza di oltre 9 volte mantenendo l'accuratezza. Un leggero aumento nella comunicazione ha portato a una maggiore accuratezza senza aumentare drasticamente il tempo di elaborazione.

3. Segmentazione Semantica: Usando il modello DeepLabV3+, abbiamo visto miglioramenti sia nella velocità che nell'accuratezza, con la latenza ridotta a circa un decimo rispetto ai metodi precedenti pur ottenendo risultati migliori.

4. Super Risoluzione delle Immagini: Nei test con il modello ESRGAN, abbiamo notato un miglioramento nella qualità delle immagini prodotte (misurata tramite PSNR) insieme a tempi di elaborazione ridotti, convalidando l'efficacia del nostro approccio.

5. Vision Transformers: Il nostro metodo è stato applicato anche ai modelli DeiT, dimostrando che DISCO continua a funzionare bene su diverse architetture.

#Conclusione

In sintesi, il framework DISCO offre una soluzione promettente per l'inferenza DNN distribuita riducendo la quantità di dati comunicati tra i nodi. Selezionando attentamente quali dati trasmettere, miglioriamo significativamente l'efficienza sia del calcolo che della comunicazione. Questo progresso non solo rende possibile eseguire grandi DNN su dispositivi con risorse limitate, ma migliora anche l'accuratezza e la velocità di elaborazione in vari compiti. In futuro, si potrebbe esplorare modi ancora più efficienti per gestire la comunicazione dei dati e ottimizzare ulteriormente le architetture DNN per applicazioni nel mondo reale.