Indagare la Sparsità nelle Reti Neurali Ricorrenti

Negli ultimi anni, le reti neurali sono passate da design semplici a quelli più complicati. Tra questi, le Reti Neurali Convoluzionali (CNN) funzionano bene per compiti che non dipendono dall'ordine degli input, come il riconoscimento delle immagini. D'altra parte, le Reti Neurali Ricorrenti (RNN) sono ideali quando la sequenza degli input è importante, come nel tradurre lingue.

Un approccio comune per migliorare le performance delle reti neurali è aggiungere più strati. Tuttavia, questo le rende più complesse e richiede più tempo ed energia per l'addestramento. Un modo per affrontare questo problema è introdurre sparsità nella rete, ciò significa rimuovere selettivamente pesi o connessioni che non sono fondamentali.

Il pruning è un metodo per rendere una rete neurale più sparsa, tagliando i pesi che sono al di sotto di un certo valore. Questo permette alla rete di continuare a performare bene utilizzando meno risorse. Altri metodi coinvolgono la creazione di strutture casuali che possono essere aggiunte alla rete. Anche se molti ricercatori hanno studiato il pruning nelle CNN, ci sono state poche ricerche su questo nelle RNN. Questa tesi si concentra sullo studio di come il pruning e le strutture casuali influenzano le performance delle RNN.

Prima di tutto, vediamo cosa significa il pruning per le RNN. Esaminiamo il suo impatto sulla performance e il tempo di addestramento necessario per ripristinare l'accuratezza dopo il pruning. Successivamente, esploriamo la creazione e l'addestramento delle Reti Neurali Ricorrenti Sparse (Sparse-RNN) e come la loro performance si relaziona alle proprietà delle strutture casuali usate. Condurremo questi esperimenti su vari tipi di RNN, inclusi quelli che usano funzioni non lineari Tanh e ReLU, così come Unità Ricorrenti Gated (GRU) e reti Long Short-Term Memory (LSTM). Infine, discuteremo i risultati di questi esperimenti.

Molte persone mi hanno supportato e incoraggiato durante i miei studi di Master e voglio esprimere la mia gratitudine. In particolare, voglio ringraziare Julian Stier, il mio relatore di tesi, per la sua guida preziosa e l'incoraggiamento a pensare oltre le mie domande di ricerca iniziali. Il suo feedback mi ha aiutato a completare il mio lavoro in tempo.

Voglio anche ringraziare i miei supervisori di tesi per i loro commenti perspicaci, che mi hanno aiutato a migliorare la mia ricerca. Inoltre, ho stretto amicizie a Passau che hanno reso questa città come una seconda casa. Ho imparato che la vera amicizia non conosce confini.

Infine, sono profondamente grato ai miei genitori e a mia sorella per il loro supporto costante. Hanno garantito che ricevessi la migliore educazione possibile. La loro fede in me e i loro sacrifici mi hanno permesso di continuare la mia educazione Master in Germania.

#Contesto sulle Reti Neurali

Una rete neurale, in particolare una Rete Neurale Artificiale (ANN), imita il funzionamento del cervello umano. Dopo milioni di anni di evoluzione, i nostri cervelli hanno sviluppato la capacità di interpretare e valutare rapidamente il mondo intorno a noi. Ad esempio, quando guardiamo cifre scritte a mano, i nostri cervelli possono riconoscerle quasi immediatamente a causa della rete di neuroni che possediamo. Al contrario, creare programmi per computer per identificare schemi simili è complicato perché ci sono molte eccezioni e regole specifiche da seguire.

Le reti neurali affrontano questo problema apprendendo regole da ampi dataset. Ad esempio, per addestrare una rete neurale a riconoscere cifre scritte a mano, è necessario un ampio dataset con stili diversi di queste cifre.

Le reti neurali, insieme alle loro variazioni, hanno dimostrato di essere efficaci in numerosi ambiti applicativi, tra cui il riconoscimento delle immagini, la traduzione automatica e i sistemi di raccomandazione. Nonostante le loro prestazioni impressionanti, le reti neurali possono essere complesse e richiedere una memoria significativa.

Le Reti Neurali Sparse offrono una soluzione rendendo le reti neurali più semplici e più efficienti in termini di memoria. La sparsità in queste reti può comportare l'eliminazione di pesi, l'uso di connessioni skip o la generazione di architetture casuali basate su grafi. Questo può ridurre significativamente le dimensioni della rete con poco o nessuna perdita di performance.

Come accennato in precedenza, le reti neurali profonde spesso performano meglio, ma comportano un aumento della complessità e delle richieste di memoria. La sparsità può aiutare a mantenere le prestazioni risolvendo questi problemi. Molti ricercatori si sono concentrati sulla sparsità nelle reti neurali tradizionali e nelle CNN, ma rimane relativamente inesplorata nelle RNN, che possono essere più difficili da addestrare a causa della loro natura.

#Domande di Ricerca

L'obiettivo di questa tesi è studiare come le strutture sparse influenzano le performance delle RNN, in particolare le varianti di Long Short-Term Memory e Gated Recurrent Units. Per raggiungere questo obiettivo, abbiamo formulato diverse domande di ricerca:

1. Qual è l'effetto del pruning dei pesi sull'accuratezza di una rete ricorrente?
2. Quanto pruning dei pesi può essere effettuato senza causare un calo significativo delle performance?
3. Quanti epoch di riaddestramento sono necessari per recuperare l'accuratezza dopo che è stato effettuato un certo percentuale di pruning dei pesi?
4. Come si relaziona la performance di una rete ricorrente con struttura casuale alle proprietà grafiche della sua struttura?
5. È possibile prevedere la performance di una rete ricorrente con struttura casuale utilizzando le proprietà del suo grafo base casuale?

Affronteremo queste domande per quattro tipi di RNN: RNN con non linearità Tanh, RNN con non linearità ReLU, LSTM e GRU.

#Approccio Proposto

Per esplorare gli effetti delle strutture sparse nelle RNN, delineiamo una serie di tre esperimenti:

#Esperimento 1: Investigare il Pruning dei Pesi

In questo esperimento, potremo potare i pesi delle connessioni input-to-hidden e hidden-to-hidden, facendolo sia simultaneamente che individualmente. Il processo è il seguente: addestriamo una rete ricorrente su un dataset per un numero prestabilito di epoch. Dopo l'addestramento, recuperiamo i pesi appresi, potiamo una percentuale dei pesi e poi riaddestriamo il modello per valutare quanti epoch sono necessari per recuperare l'accuratezza.

#Esperimento 2: Analizzare Reti con Struttura Casuale

In questo esperimento, genereremo strutture casuali con connessioni ricorrenti per creare Sparse RNN. Addestreremo queste Sparse RNN ed esamineremo la relazione tra performance e le proprietà grafiche della struttura sottostante.

#Esperimento 3: Predizione delle Performance

Dopo aver addestrato le nostre Sparse RNN, addestreremo tre diversi modelli di regressione basati sulle proprietà grafiche e sulla loro corrispondente accuratezza. Riporteremo un valore R-quadrato per ogni tipo di RNN e modello di regressione.

Tutti e tre gli approcci saranno descritti in dettaglio nei capitoli successivi.

#Lavori Correlati

Alcuni ricercatori hanno studiato il pruning nelle RNN negli ultimi decenni. A nostra conoscenza, solo un articolo discute la generazione di Reti Neurali Sparse da grafi casuali. Qui sotto, riassumiamo le ricerche pertinenti in questo campo.

Nel 1994, i ricercatori pubblicarono una delle prime tecniche di pruning per RNN. Il loro approccio seguiva un metodo di addestramento, Potatura e riaddestramento. Hanno addestrato una grande rete su un dataset grammaticale, poi l'hanno potata e riaddestrata fino a raggiungere performance soddisfacenti. Gli autori conclusero che il loro algoritmo migliora efficacemente le performance di generalizzazione.

Nel 2017, un altro studio propose una Rete Neurale Auto-Organizzante Ricorrente (RSONN) che utilizzava un Algoritmo di Crescita e Potatura Adaptativa (AGPA) per auto-organizzare la struttura delle RNN. Gli autori riportarono una semplificazione riuscita della rete con prestazioni migliori rispetto ai modelli esistenti.

In un progetto separato quell'anno, i ricercatori aplicarono il pruning ai pesi durante l'addestramento iniziale della rete, notando che i parametri della rete potevano essere sparsi mantenendo un'accuratezza vicina a quella della rete densa originale.

Più tardi nel 2017, un altro team introdusse una tecnica di pruning a blocchi che poteva azzerare gruppi di pesi durante la fase di addestramento delle reti ricorrenti. I loro esperimenti indicarono un'effettiva block-sparsity nelle RNN.

Man mano che la ricerca continuava, nel 2019, un gruppo dell'Università di Passau cercò di prevedere le performance delle CNN usando le loro proprietà strutturali. Hanno creato Reti Neurali Sparse incorporando grafi nelle ANN. Questo approccio informerà la nostra generazione di Sparse RNN.

#Background Tecnico

Prima di entrare nei dettagli su pruning e strutture casuali, è fondamentale capire come funzionano i vari tipi di RNN. Questa sezione spiegherà RNN, LSTM e GRU.

Per afferrare le RNN, dobbiamo prima vedere come funziona un blocco base delle reti neurali, il perceptron.

Un perceptron è una rete neurale a singolo strato che funge da classificatore lineare. Accetta più input e restituisce un singolo output. Un perceptron base è composto da input, pesi, una somma pesata e una funzione di attivazione.

#Funzioni di Attivazione Non Lineari

Le reti neurali hanno spesso bisogno di funzioni non lineari poiché le funzioni lineari potrebbero non catturare schemi complessi. Le funzioni di attivazione più comuni includono ReLU, Sigmoid e Tanh.

L'Unità Lineare Rettificata (ReLU) fornisce output basato su se l'input è positivo o negativo. La funzione Sigmoid mappa gli input su un intervallo tra 0 e 1, spesso utilizzata nelle reti tradizionali. Tanh, o tangente iperbolica, va da -1 a 1 e offre migliori prestazioni rispetto alla funzione Sigmoid.

#Backpropagation

L'obiettivo di una rete neurale è minimizzare gli errori. Per questo, utilizziamo un processo chiamato backpropagation, che calcola il gradiente di una funzione di errore e aggiorna i pesi di conseguenza.

Le Reti Neurali Ricorrenti incorporano connessioni di feedback, ciò significa che le uscite dai passi precedenti possono influenzare i futuri input. Questa struttura è essenziale per compiti in cui l'ordine dei dati conta.

#Backpropagation Through Time

Le RNN richiedono una versione modificata della backpropagation chiamata backpropagation through time (BPTT), che tiene conto delle dipendenze tra i passi temporali. L'errore dei passi temporali successivi viene propagato indietro nella rete, garantendo che tutte le contribuzioni all'output attuale siano considerate.

#Long Short-Term Memory (LSTM)

Le LSTM aiutano a risolvere problemi legati ai gradiente che svaniscono introducendo porte, che controllano il flusso di informazioni attraverso la rete. Queste porte permettono alle LSTM di apprendere efficacemente dipendenze a lungo termine.

#Gated Recurrent Unit (GRU)

Simili alle LSTM, le GRU utilizzano meccanismi di gating per controllare il flusso di informazioni, ma con un'architettura più semplice. Riuscono anche a gestire l'apprendimento di dipendenze a lungo termine, rimanendo efficienti dal punto di vista computazionale.

In questa tesi, lavoreremo con RNN che utilizzano non linearità Tanh e ReLU, LSTM e GRU a causa del loro ampio uso e vantaggi.

#Tecniche di Pruning

Come accennato in precedenza, una tecnica comune per migliorare l'efficienza delle grandi reti neurali è il pruning. Questo processo comporta la rimozione di parametri di peso meno importanti cercando di mantenere le performance del modello.

#Pruning Basato sulla Magnitudine

Il pruning basato sulla magnitudine si concentra sul valore assoluto dei pesi, identificando quelli meno significativi per la rimozione. Gli studi hanno dimostrato che questo metodo può portare a sostanziali riduzioni delle dimensioni del modello senza sacrificare l'accuratezza.

#Teoria dei Grafi

La teoria dei grafi studia le reti di nodi interconnessi. In questa ricerca, esploreremo due tipi di grafi casuali con caratteristiche di small-world: i modelli di Watts–Strogatz e Barabási–Albert.

#Grafi Casuali

I grafi casuali hanno lati distribuiti casualmente in base a determinate misure di probabilità. Questi grafi possono rappresentare reti complesse dove non è possibile modellare ogni dettaglio.

#Proprietà dei Grafi

Esamineremo varie proprietà dei grafi, inclusi il numero di nodi, lati e il loro orientamento. Queste proprietà possono aiutare a fornire indicazioni sulle performance delle reti neurali costruite da questi grafi.

#Reti Small World

Le Reti Small World hanno una struttura unica che consente percorsi più brevi tra i nodi. Questa caratteristica è essenziale per alcune applicazioni.

#Modello di Barabási–Albert

Il modello di Barabási–Albert genera Reti Scale-Free, dove le connessioni tra i nodi seguono una legge di potenza. Questo modello dimostra come le reti crescano nel tempo.

#Dataset

I nostri esperimenti utilizzeranno un dataset composto da sequenze di Reber, che sono stringhe formate da un insieme specifico di caratteri. Queste stringhe seguono regole specifiche e il nostro obiettivo è classificarle accuratamente.

#Esperimenti sulle Reti Neurali Ricorrenti Sparse

Nei prossimi capitoli, dettaglieremo gli esperimenti focalizzandoci sulle performance del modello base e come queste cambiano dopo aver applicato la tecnica di pruning e incorporato strutture casuali.

#Modello Base

Il nostro modello base comprende strati ricorrenti, uno strato lineare e uno strato di embedding per elaborare efficacemente i dati di input. Questo modello servirà come base per valutare l'efficacia di diversi metodi di sparsità.

#Modelli Potati

Valuteremo le performance del modello originale e come cambiano dopo aver potato i pesi dalle connessioni input-to-hidden e hidden-to-hidden. Ogni variante dell'RNN sarà testata a fondo.

#Modelli con Struttura Casuale

Genereremo anche strutture casuali per le RNN e ne esamineremo le performance. Questi modelli aiuteranno a chiarire la relazione tra le proprietà grafiche e le performance della rete.

#Risultati degli Esperimenti

Presenteremo i risultati dei nostri esperimenti, partendo dalle performance del modello base e successivamente spostandoci verso i risultati delle RNN potate e con struttura casuale.

#Performance del Modello Base

Attraverso i nostri esperimenti, abbiamo costantemente raggiunto alti tassi di accuratezza tra i diversi modelli di RNN, indicando la loro efficacia.

#Performance Dopo il Pruning

I nostri risultati indicano che il pruning può ridurre la complessità delle RNN mantenendo le performance. Ogni modello ha mostrato una diversa soglia per il pruning, ma in molti casi possiamo potare una percentuale significativa senza perdere accuratezza.

#Performance dei Modelli con Struttura Casuale

La valutazione delle performance dei modelli con struttura casuale rivelerà informazioni preziose sulla loro efficacia e su come le proprietà grafiche influenzano i risultati.

#Predizione delle Performance

Infine, riassumeremo i risultati della predizione delle performance, specificando quanto accuratamente possiamo prevedere le performance di un RNN in base alle sue proprietà grafiche.

#Conclusione

L'obiettivo principale di questa tesi è indagare gli effetti della sparsità nelle RNN. Abbiamo esplorato due metodi: il pruning e la generazione di strutture casuali. I risultati hanno confermato che un sostanziale pruning dei pesi è fattibile mantenendo le performance. Inoltre, le strutture casuali hanno mostrato potenziali relazioni con le metriche di performance.

#Ringraziamenti

Vorrei esprimere la mia sincera gratitudine a tutti coloro che mi hanno supportato durante la mia ricerca. Il vostro incoraggiamento ha influenzato profondamente il mio lavoro.