Migliorare l'interpretabilità nei modelli di deep learning con DCLS

I modelli di deep learning sono super usati in compiti come la classificazione delle immagini. Possono essere molto precisi, ma spesso si comportano come scatole nere. Questo significa che è difficile capire come prendano decisioni. I metodi di spiegazione puntano a chiarire come questi modelli arrivano ai loro risultati. Un'area in cui funzionano è la classificazione delle immagini, dove i modelli popolari usano strati chiamati convoluzioni e meccanismi di attenzione.

Quando un modello è composto solo da strati convoluzionali, è una rete neurale completamente convoluzionale o CNN. Se ha solo strati di attenzione, è conosciuto come un trasformatore, e nella visione computerizzata, un trasformatore visivo. I modelli ibridi includono entrambi i tipi di strati. Nonostante la loro alta precisione, molti di questi modelli mancano di trasparenza. Questo solleva preoccupazioni su fiducia, equità e affidabilità, soprattutto in applicazioni sensibili come la diagnosi medica o le auto a guida autonoma.

Un recente progresso in questo campo è un metodo chiamato Convoluzione Dilatata con Spazi Imparabili (DCLS). Questo metodo mostra promesse per migliorare le prestazioni nella classificazione delle immagini, segmentazione e rilevamento degli oggetti. Anche se la precisione del DCLS è incoraggiante, la sua natura di scatola nera deve ancora essere affrontata. Pertanto, c'è la motivazione di indagare misure di spiegazione specifiche per il DCLS, con l'obiettivo di chiarire il suo processo decisionale.

#Spiegazione nell'AI

Nella ricerca sull'AI, la spiegabilità è un tema cruciale. Ci sono molti modi per affrontarlo. Generalmente, i ricercatori dividono i metodi di spiegazione in due categorie principali: metodi globali e locali. I metodi globali guardano al comportamento complessivo di un modello e evidenziano schemi generali e importanza delle caratteristiche. Esempi di questi metodi sono i Grafici di Dipendenza Parziale e le spiegazioni Additive di SHapley. I metodi locali si concentrano sulla comprensione delle singole previsioni, spiegando perché il modello ha preso una decisione per un input specifico. Esempi includono le Spiegazioni Locali Interpretabili Indipendenti dal Modello e la Mappatura di Attivazione di Classe Ponderata da Gradiente (Grad-CAM).

Grad-CAM è una tecnica popolare che mostra quali parti di un'immagine sono più importanti per la decisione del modello. Nel nostro studio, abbiamo realizzato una versione aggiornata di Grad-CAM chiamata Threshold-Grad-CAM. Questo nuovo metodo mira a risolvere alcuni problemi riscontrati con il Grad-CAM tradizionale, specialmente con i modelli ConvFormer e CAFormer.

#Obiettivi della Ricerca

Questo documento ha due obiettivi principali. Primo, vogliamo confrontare i punteggi di spiegabilità di vari modelli all'avanguardia nella visione computerizzata, come ConvNeXt, ConvFormer, CAFormer e FastViT. Secondo, vogliamo effettuare lo stesso confronto tra questi modelli e le loro versioni potenziate con DCLS.

Abbiamo notato una somiglianza visiva tra le mappe di attenzione umana, ottenute da un dataset chiamato ClickMe, e quelle prodotte da modelli che usano DCLS. Per dimostrare questo punto, abbiamo selezionato immagini dal dataset ClickMe che erano visivamente significative. Abbiamo poi confermato l'allineamento dei modelli DCLS con le mappe di attenzione umana tramite un'analisi rigorosa.

#Panoramica del Dataset

Il dataset ClickMe cattura le strategie di attenzione umana per compiti di classificazione delle immagini. È stato raccolto attraverso un videogioco online per giocatore singolo dove i giocatori evidenziavano le parti più informative di un'immagine per riconoscere oggetti. Confrontando le heatmap generate dai modelli con quelle del dataset ClickMe, misuriamo quanto strettamente la strategia di attenzione di un modello si allinea con le strategie umane.

#Metodo DCLS Spiegato

Anche se kernel di convoluzione più grandi possono migliorare le prestazioni, aumentano anche il numero di parametri e il carico computazionale. Per affrontare questo, è stato introdotto un metodo chiamato convoluzione dilatata, che ingrandisce i kernel senza aggiungere parametri extra. Tuttavia, la convoluzione dilatata tradizionale usa una griglia fissa, che può limitare le prestazioni.

Il metodo DCLS si basa su questo concetto. Invece di avere spazi fissi tra gli elementi non zero nel kernel, DCLS consente che questi spazi vengano appresi durante l'allenamento. Un metodo di interpolazione viene utilizzato per mantenere le proprietà necessarie per l'apprendimento mentre gestisce la natura discreta degli spazi.

#Tecniche Grad-CAM e Threshold-Grad-CAM

Grad-CAM fornisce spiegazioni visive per le decisioni prese dai modelli di deep learning. Usa i gradienti di un concetto target per creare una mappa di localizzazione, evidenziando le parti dell'immagine di input critiche per la previsione. Nel nostro studio, abbiamo scoperto che l'applicazione della funzione di attivazione ReLU poteva a volte sopprimere informazioni utili. Questo problema è stato visto principalmente nei modelli ConvFormer e CAFormer, dove le heatmap di output non erano informative.

Per affrontare questo problema, suggeriamo di applicare ReLU prima di sommare le mappe di attivazione. Le heatmap vengono poi normalizzate, e manteniamo solo i valori sopra una certa soglia stabilita come ottimale attraverso esperimenti. Questo processo di Grad-CAM aggiornato ha mostrato miglioramenti significativi nell'interpretabilità per i modelli ConvFormer e CAFormer.

#Lavori Correlati sull'Interpretabilità

Il campo dell'AI interpretabile ha recentemente guadagnato molto interesse. I ricercatori hanno lavorato per definire concetti chiave come interpretabilità e spiegabilità. Hanno anche sviluppato metodi per valutare quanto bene i modelli possano essere spiegati. Alcuni studi hanno evidenziato i compromessi che accompagnano una maggiore precisione, suggerendo che i modelli possono diventare meno allineati con le strategie umane. In contrasto, la nostra analisi usando Grad-CAM non ha mostrato un tale compromesso, il che potrebbe essere dovuto ai diversi metodi utilizzati per la spiegazione.

#Setup Sperimentale

Per confrontare le prestazioni del modello e l'interpretabilità, abbiamo utilizzato il dataset di validazione ImageNet1k. Per valutare l'interpretabilità, abbiamo usato la correlazione di Spearman per valutare l'allineamento tra le heatmap generate dagli umani del dataset ClickMe e le heatmap generate dai modelli. I nostri esperimenti hanno coinvolto cinque modelli: ResNet, ConvNeXt, CAFormer, ConvFormer e FastViT. Abbiamo addestrato ogni modello e sostituito le convoluzioni separabili in profondità con DCLS per vedere come influenzava l'interpretabilità.

#Risultati

I risultati hanno indicato un miglioramento nell'interpretabilità in tutti i modelli, tranne che per il FastViT sa24. Il ConvNeXt, quando equipaggiato con DCLS, ha mostrato un miglior allineamento con le heatmap generate dai metodi Grad-CAM e Threshold-Grad-CAM. Abbiamo anche scoperto che DCLS ha aumentato la precisione nella maggior parte dei modelli, tranne per il CAFormer s18 e il FastViT sa36.

Per il FastViT, il metodo usato per il test potrebbe aver interferito con le prestazioni del DCLS. Questo potrebbe spiegare perché la sua interpretabilità e precisione non erano correlate così fortemente come con altri modelli. Le nostre scoperte sono notevoli poiché abbiamo testato più semi di addestramento per il modello ConvNeXt-T-dcls, confermando il suo miglioramento in termini di precisione e punteggio di interpretabilità.

#Discussione

In definitiva, abbiamo scoperto che l'uso del DCLS ha migliorato l'interpretabilità della rete. I modelli dotati di DCLS si sono allineati meglio con la percezione visiva umana, suggerendo che questi modelli catturano caratteristiche rilevanti simili alla comprensione umana. Il lavoro futuro potrebbe esplorare ulteriormente la spiegabilità del DCLS attraverso vari metodi di scatola nera.

#Conclusione

In questo studio, abbiamo esaminato l'interpretabilità di modelli di deep learning popolari utilizzando tecniche aggiornate di Grad-CAM. Abbiamo trovato che integrare DCLS migliora generalmente l'interpretabilità del modello e allinea le heatmap generate dai modelli con le strategie di attenzione umana. Questo suggerisce che i modelli che utilizzano DCLS sono più efficaci nell'identificare caratteristiche critiche relative alle loro previsioni. La nostra ricerca contribuisce a migliorare la trasparenza dei modelli di deep learning, rendendoli più adatti per applicazioni dove capire le decisioni del modello è cruciale.