Valutare le prestazioni delle CNN tra le variazioni di colore

Le reti neurali convoluzionali (CNN) si usano tantissimo per compiti legati alla visione, come la classificazione delle immagini. Hanno ottenuto risultati ottimi, però hanno anche delle debolezze. Un problema grosso è che possono avere difficoltà quando le immagini sono diverse da quelle su cui sono state addestrate. Alcuni studi hanno scoperto che le CNN spesso si concentrano di più sulla texture piuttosto che sulle forme degli oggetti nelle immagini. Questo vuol dire che lo sfondo di un'immagine può influenzare il modo in cui le CNN fanno previsioni.

Questo articolo esplora quanto siano capaci le CNN di gestire colori diversi nelle immagini mantenendo lo stesso contesto e sfondo. Abbiamo fatto esperimenti usando versioni modificate di dataset famosi, come MNIST e FashionMNIST, per vedere come i cambiamenti di colore influenzassero la precisione nella classificazione delle immagini.

#Il Problema

L'obiettivo principale del machine learning è creare modelli che non solo funzionino bene sui dati di addestramento, ma anche su dati nuovi e mai visti. Un problema comune è chiamato Overfitting. Questo succede quando un modello si concentra troppo sui dati specifici su cui è stato addestrato, catturando schemi che potrebbero non esistere in dati più ampi. Di conseguenza, anche se il modello va bene con i dati di addestramento, può andare male con dati diversi.

Per aiutare con questo problema di overfitting, ci sono varie tecniche conosciute come metodi di Regolarizzazione. Questi metodi cercano di migliorare quanto un modello generalizza riducendo la sua attenzione su caratteristiche specifiche. Le tecniche di regolarizzazione includono la penalizzazione dei pesi e il dropout. Il dropout esclude casualmente alcuni neuroni durante l'addestramento, incoraggiando il modello a imparare da caratteristiche diverse.

Anche se le CNN hanno meccanismi integrati come le operazioni di pooling per aiutarle a riconoscere le immagini indipendentemente dalla loro posizione, l'augmentazione dei dati è anche importante per renderle più robuste. Tuttavia, studi dimostrano che certi cambiamenti nei dati possono portare le CNN a concentrarsi sulla texture piuttosto che sulla forma. Migliorare la capacità del modello di dare priorità agli indizi di forma potrebbe aiutare a migliorare la sua robustezza.

#L'Focus della Ricerca

Nella nostra ricerca, abbiamo esaminato come si comportano le CNN quando classificano immagini che variano nel colore mantenendo le intensità dei pixel uguali a quelle dei dati di addestramento originali. Ci siamo concentrati su due dataset: una versione modificata di MNIST con colori specifici e un set più complesso, FashionMNIST. Per il dataset MNIST modificato, abbiamo creato tre versioni: una con sole immagini verdi, un'altra con solo un canale di colore, e una terza con tutti e tre i canali di colore.

Per preparare questi dataset, abbiamo fatto in modo che ogni versione a colori contenesse lo stesso numero di esempi per le diverse classi. Assegnando colori casuali a diverse parti delle immagini, abbiamo mantenuto forme e contorni simili in tutti i dataset. Le architetture CNN sono state addestrate contemporaneamente su questi dataset modificati per valutare la loro capacità di estrarre caratteristiche invarianti ai colori.

#Ricerca Correlata

Recentemente, ci sono stati molti studi su quanto bene i modelli di deep learning possano generalizzare su dati di test che differiscono da quelli su cui sono stati addestrati. Uno studio ha scoperto che le CNN addestrate su ImageNet tendevano a concentrarsi di più sulla texture di un oggetto piuttosto che sulla sua forma. Questo suggerisce che, se riusciamo a migliorare quanto accuratamente il modello comprende la forma, potrebbe andare meglio su nuovi dati.

Altre ricerche hanno dimostrato che le CNN potrebbero non imparare bene le caratteristiche di forma durante l'addestramento. Testando su dataset appositamente progettati, i ricercatori hanno scoperto che le CNN potevano avere difficoltà quando le immagini avevano forme simili ma sfondi diversi. Questo evidenzia la necessità di capire meglio come le CNN apprendono e come possiamo migliorare le loro prestazioni.

#Impostazione Sperimentale

Per indagare le prestazioni dei modelli, abbiamo utilizzato il dataset MNIST per generare diverse distribuzioni per il test. MNIST contiene 60.000 immagini di addestramento di cifre scritte a mano e 10.000 immagini di test. Abbiamo creato tre dataset da MNIST. Il primo dataset includeva solo immagini verdi. Il secondo dataset conteneva immagini con un random canale di colore, mentre il terzo dataset aveva immagini con tutti e tre i canali di colore.

Allo stesso modo, abbiamo creato tre versioni del dataset FashionMNIST, che consiste in immagini in scala di grigi di abbigliamento e scarpe, usando le stesse tecniche. Questo ci ha permesso di confrontare quanto bene i nostri modelli si sono comportati tra i diversi dataset.

#Architettura della Rete

Per i nostri esperimenti, abbiamo usato un'architettura CNN standard con aggiustamenti ispirati al noto modello VGG16. L'architettura includeva diversi strati convoluzionali insieme a strati di Normalizzazione per aiutare con le prestazioni. Abbiamo creato tre modelli identici per annullare l'impatto di pesi iniziali diversi, assicurando test e addestramento equi.

Ogni modello è stato addestrato per un numero fissato di epoche, e abbiamo valutato la loro accuratezza su diversi dataset per vedere quanto bene comprendevano le forme in mezzo ai cambiamenti di colore.

#Risultati e Discussione

#Prestazioni sui Dataset MNIST Modificati

Abbiamo valutato quanto bene si sono comportati i modelli addestrati su immagini solo verdi quando dovevano classificare immagini di colori diversi. Il modello addestrato sul dataset verde si è comportato bene su immagini simili, ma ha avuto notevoli difficoltà quando presentato con altre versioni a colori. Questo indica che quando i modelli sono addestrati su colori specifici, faticano a generalizzare su colori diversi.

Il modello addestrato su immagini con un solo canale di colore ha performato meglio sul suo stesso dataset ma ha avuto anche pessime prestazioni su immagini a tre canali. Questo suggerisce che, anche se il modello ha visto immagini da più canali di colore durante l'addestramento, non ha imparato a riconoscere i colori in diverse combinazioni.

#Prestazioni sui Dataset FashionMNIST Modificati

Tendenze simili sono emerse quando abbiamo testato i modelli su FashionMNIST. Il modello addestrato solo su un colore ha faticato a classificare immagini che includevano più colori, rafforzando l'idea che colore e forma devono essere comprese insieme per una classificazione efficace.

#Impatto delle Tecniche di Normalizzazione

Per esaminare come diverse tecniche di normalizzazione influenzassero le prestazioni del modello, abbiamo sostituito la tradizionale normalizzazione per batch con altri metodi come la normalizzazione per istanza e la normalizzazione per strato. I risultati hanno mostrato che i modelli che utilizzavano la normalizzazione per strato hanno costantemente performato meglio attraverso vari dataset. Questo evidenzia l'importanza di scegliere una tecnica di normalizzazione appropriata per migliorare l'accuratezza del modello.

#Effetti delle Scelte Architettoniche

Abbiamo anche valutato se cambiare l'architettura potesse migliorare la capacità di estrarre caratteristiche che non sono influenzate dal colore. Anche se abbiamo trovato alcuni miglioramenti con modelli diversi, nessuno era significativo abbastanza da cambiare il risultato complessivo. Questo suggerisce che semplicemente modificare l'architettura potrebbe non affrontare sufficientemente la sfida di apprendere caratteristiche invarianti al colore.

#Comprendere la Fiducia nelle Previsioni

Per analizzare la fiducia delle previsioni, abbiamo esaminato quanto il modello fosse certo quando faceva classificazioni sbagliate. Spesso, il modello mostrava una maggiore fiducia quando classificava erroneamente immagini da dataset che differivano dai dati di addestramento originali. Questa scoperta indica la necessità di strategie per rendere i modelli più robusti e meno inclini a classificare erroneamente le immagini in base alle variazioni di colore.

#Conclusione

In sintesi, la nostra esplorazione si è concentrata su come le CNN gestiscono le variazioni di colore nei compiti di classificazione delle immagini. Gli esperimenti hanno mostrato che le CNN faticano a generalizzare quando sono addestrate su distribuzioni di colore specifiche, non riuscendo a catturare caratteristiche essenziali che permetterebbero loro di performare bene su dataset diversi.

Abbiamo scoperto che l'uso di tecniche di normalizzazione diverse può influenzare significativamente quanto bene i modelli performano. La normalizzazione per strato è risultata essere la più efficace per gestire le variazioni di colore.

Inoltre, abbiamo introdotto architetture migliorate che enfatizzavano le caratteristiche basate sull'intensità, il che ha portato a migliori prestazioni nelle attività di classificazione. In generale, i nostri risultati forniscono preziose intuizioni su come le CNN possano diventare più affidabili e adattabili quando si trovano di fronte a diverse distribuzioni di colore, evidenziando anche l'importanza di continuare la ricerca in quest'area.