Valutare gli Sparse Autoencoders con SHIFT e TPP

Gli Sparse Autoencoders (SAEs) aiutano a capire come funzionano le reti neurali suddividendo le loro attivazioni in parti comprensibili. Un grosso problema in quest'area è che non abbiamo buoni metodi per misurare quanto stanno funzionando bene gli SAEs. La maggior parte degli studi passati ha usato metodi non molto affidabili. In questo lavoro, presentiamo nuovi modi per valutare gli SAEs usando un metodo chiamato SHIFT, che aiuta a determinare quale parte di una rete neurale non sta aiutando con il compito da svolgere. Introduciamo anche il metodo Targeted Probe Perturbation (TPP), che misura quanto bene un SAE riesce a distinguere Concetti simili.

#La Sfida

Gli SAEs sono uno strumento utile per capire le reti neurali. Quest'anno, sono stati sviluppati molti nuovi tipi di SAEs, come TopK e Gated SAEs. Tuttavia, c'è ancora un grande problema con la mancanza di Metriche affidabili per testare i progressi in quest'area. A differenza di altri compiti di machine learning che hanno obiettivi chiari, valutare gli SAEs per l'interpretabilità manca di uno standard chiaro.

Le metriche usuali come la sparcità e la fedeltà non sempre corrispondono a ciò che vogliamo in termini di comprensione migliore del modello. Questa disconnessione rende difficile sapere se i miglioramenti negli SAEs aumentano davvero la loro interpretabilità o se migliorano solo queste metriche proxy.

#La Soluzione

Per affrontare questo, proponiamo di misurare gli SAEs in base a quanto bene funzionano per compiti al di fuori del loro addestramento. Il metodo SHIFT aiuta a valutare quanto bene un SAE può identificare e rimuovere parti di un modello che contribuiscono a previsioni di parte. Usando SHIFT, i ricercatori possono vedere quali caratteristiche influenzano le uscite di una rete neurale e quali non contano. Abbiamo creato nuove valutazioni basate su SHIFT chiamate Spurious Correlation Removal (SCR) per valutare l'efficacia di un SAE nel separare concetti diversi.

Tuttavia, SCR ha dei limiti quando si cerca di scalare su vari tipi di dati. Per superare questo, abbiamo sviluppato il metodo TPP, che osserva come un SAE può identificare e cambiare una classe specifica lasciando inalterate le altre. Per SCR e TPP, scegliamo le caratteristiche degli SAE usando punteggi che riflettono quanto influenzano il compito di classificazione.

#Metodi e Contributi

I nostri principali contributi sono:

1. Adattamento di SHIFT: Abbiamo modificato il compito di rimozione delle correlazioni spurie in SHIFT per funzionare come strumento di valutazione per gli SAEs.
2. Introduzione di TPP: Abbiamo sviluppato la metrica Targeted Probe Perturbation per valutare gli SAEs su vari dataset.
3. Suite Open-Source: Abbiamo addestrato e reso disponibile una collezione di SAEs e testato le nostre metriche usando diversi modelli di linguaggio e dataset.

Gli SAEs mirano a trovare un insieme di caratteristiche comprensibili dal funzionamento interno di una rete neurale. Un buon SAE dovrebbe essere fedele ai processi del modello e in grado di separare concetti comprensibili dagli esseri umani.

Tradizionalmente, le persone hanno usato due principali metriche non supervisionate per valutare gli SAEs:

1. La perdita di cross-entropia recuperata: Questo controlla quanto bene le prestazioni del modello originale possono essere imitate usando le previsioni dell'SAE.
2. La norma L0 delle attivazioni delle caratteristiche: Questo misura quante caratteristiche sono attivate per un dato input.

Studi recenti hanno esaminato la valutazione degli SAEs utilizzando giochi da tavolo, circuiti e concetti linguistici specifici. L'obiettivo della rimozione del concetto è trovare ed eliminare idee indesiderate da un modello mantenendo intatta la sua prestazione complessiva. Il nostro scopo non è migliorare i metodi attuali per rimuovere concetti, ma trasformare questi compiti in metriche per valutare i progressi degli SAE.

#Valutazione dell'Isolamento dei Concetti

In questa ricerca, ci concentriamo su quanto bene un SAE può isolare diversi concetti come misura principale della sua qualità. Per testare i nostri metodi, seguiamo un approccio sistematico:

1. Addestrare un classificatore per un concetto specifico.
2. Identificare le caratteristiche degli SAE che si relazionano a quel concetto.
3. Controllare se rimuovere le caratteristiche relative al concetto influisce sul classificatore come previsto.

Un buon SAE avrà un impatto significativo sull'accuratezza del classificatore quando le caratteristiche rilevanti vengono rimosse. Le nostre metriche SHIFT e TPP operazionalizzano questa idea.

#Validazione e Controlli di Sanità

Per assicurarci che le nostre metriche siano valide, eseguiamo diversi test per vedere se si allineano con le proprietà attese degli SAEs. Ogni sottosezione qui sotto dettaglia i passaggi di valutazione, e ulteriori informazioni sono disponibili nell'appendice.

#Selezione Latente SAE

Scegliere quali caratteristiche SAE valutare richiede di capire quali sono le più rilevanti per un concetto specifico. Lo facciamo classificando i loro effetti su un classificatore e possiamo filtrare queste caratteristiche per la loro interpretabilità.

Per trovare le caratteristiche più rilevanti, utilizziamo classificatori lineari per individuare connessioni dalle uscite del modello. Raccogliamo punteggi che riflettono quanto ciascuna caratteristica contribuisce e poi selezioniamo le migliori. Usando un giudice LLM, valutiamo se una caratteristica è comprensibile in base al contesto che attiva.

#Applicazione di SHIFT e TPP

Il metodo SHIFT richiede dataset che collegano il testo a due etichette binarie. Utilizziamo il dataset Bias in Bios per le classificazioni di professione e genere e il dataset delle recensioni di Amazon per le categorie di prodotto e le valutazioni.

Filtriamo entrambi i dataset per due etichette e addestriamo un classificatore sul dataset di parte. Rimuoviamo le caratteristiche dal classificatore usando il processo descritto in precedenza per vedere quanto bene il classificatore funziona senza i pregiudizi.

L'approccio TPP generalizza SHIFT e funziona per qualsiasi dataset di classificazione del testo. Qui, troviamo le caratteristiche SAE che aiutano a differenziare le classi e controlliamo quanto bene la loro rimozione influisce sull'accuratezza del modello.

#Risultati Sperimentali

Abbiamo addestrato gli SAEs su due modelli, Pythia-70M e Gemma-2-2B, per testare le nostre metriche. Entrambe le metriche mostrano che gli SAEs possono rimuovere efficacemente il bias e migliorare l'accuratezza del classificatore. La valutazione SHIFT distingue tra vari tipi e architetture di SAE.

#Risultati

I risultati mostrano costantemente che le architetture TopK e JumpReLU superano gli SAEs standard. Notiamo anche che le prestazioni degli SAEs migliorano durante l'addestramento, con la prima parte dell'addestramento che contribuisce in modo significativo ai guadagni complessivi nel punteggio.

I nostri risultati indicano che la maggior parte delle principali caratteristiche SAE, indipendentemente dal metodo di selezione, sono considerate interpretabili dal giudice LLM. Il metodo basato sul rumore, che non richiede il LLM, è più veloce e fornisce valutazioni decenti.

#Discussione e Limitazioni

I nostri esperimenti confermano che SHIFT e TPP riescono a differenziare con successo tra diverse architetture SAE. Tuttavia, i migliori livelli di sparcità per ciascuna metrica variano. Serve più lavoro per collegare la metrica TPP alle misurazioni di sparcità.

Il giudice LLM che abbiamo usato ha uno standard inferiore per l'interpretabilità rispetto ad altre implementazioni. Anche se i nostri metodi più semplici sono più veloci e meno costosi, possono perdere alcune interpretazioni. Quindi, c'è un equilibrio tra qualità ed efficienza quando si decide se utilizzare il giudice LLM.

SHIFT e TPP dipendono dagli ideali impostati dall'uomo su cosa dovrebbero apprendere gli SAEs, che potrebbero non corrispondere a ciò che il modello rappresenta effettivamente. Questa dipendenza può trascurare caratteristiche importanti.

Nonostante i loro punti di forza, entrambe le metriche hanno limiti in termini di complessità e parametri non definiti. Dovrebbero completare altri metodi di valutazione piuttosto che servire come misure autonome.

#Conclusione

I metodi SHIFT e TPP forniscono strumenti preziosi per valutare gli Sparse Autoencoders. Sono facili da applicare su diversi dataset, dimostrano miglioramenti durante l'addestramento e possono essere calcolati rapidamente. Raccomandiamo ai ricercatori di utilizzare le nostre metriche per valutare i propri SAEs e tenere traccia dei progressi nell'addestramento.

#Riconoscimenti

Questa ricerca è stata supportata dal programma ML Alignment Theory Scholars. Ringraziamo tutti coloro che hanno contribuito con le loro intuizioni ed esperienze durante questo progetto. Inoltre, apprezziamo le risorse computazionali fornite da vari laboratori.

#Direzioni Future

In futuro, puntiamo a migliorare le valutazioni che coprono non solo l'isolamento causale ma anche altre qualità importanti degli SAEs. Riconosciamo che sviluppare un framework completo per esaminare tutti gli aspetti della qualità SAE rimane una sfida significativa.

#Approfondimenti sull'Addestramento dei Probe

Quando si addestrano probe su dataset parziali, è fondamentale bilanciare i segnali rilevati. Se una probe è fortemente biasata verso un'etichetta, limita l'efficacia della rimozione delle caratteristiche indesiderate. Abbiamo scoperto che regolare le dimensioni dei batch e i tassi di apprendimento può influenzare significativamente l'accuratezza delle probe.

Per minimizzare la dipendenza dalle etichette del dataset, abbiamo mediato i punteggi su più coppie di classi. Selezionando coppie con almeno il 60% di accuratezza per entrambe le classi, potevamo migliorare l'affidabilità delle nostre valutazioni.

#Procedure di Addestramento per Sparse Autoencoder

Addestriamo e rendiamo disponibili una varietà di SAEs basati sui modelli Pythia-70M e Gemma-2-2B. I nostri parametri di addestramento mirano a garantire una buona identificazione delle caratteristiche su diversi dataset.

Con i nostri risultati, speriamo di incoraggiare ulteriori ricerche nei metodi di valutazione degli SAE, migliorando la comprensione di come questi modelli operano e vengono migliorati nel tempo.