Esaminare i modelli di linguaggio attraverso nuovi metodi di interpretabilità

I modelli linguistici (LM) vengono usati sempre di più nella ricerca su come la gente comprende il linguaggio. La maggior parte degli studi passati ha esaminato come questi modelli si comportano in base a risultati osservabili, come quanto sia sorprendente una parola in una frase. Nel frattempo, è emersa una ricerca per spiegare come funzionano internamente questi modelli, concentrandosi sulle cause sottostanti del loro comportamento. Questo articolo riunisce queste due aree introducendo un nuovo strumento per testare e valutare come questi modelli interpretano il linguaggio.

Per vedere quanto bene funzionano diversi metodi per spiegare il comportamento dei LM, abbiamo ampliato una raccolta di compiti linguistici chiamata SyntaxGym. Il nostro obiettivo era valutare quanto vari metodi di interpretazione possano influenzare il comportamento del modello in modo causale. Abbiamo esaminato in particolare i modelli pythia, che variano in dimensioni da 14 milioni a 6,9 miliardi di parametri, e testato una gamma di metodi di interpretazione, come il probing lineare e la Ricerca di Allineamento Distribuito.

I nostri risultati hanno mostrato che la ricerca di allineamento distribuito ha funzionato meglio degli altri metodi. Usando questo metodo, abbiamo analizzato due compiti linguistici complessi: capire quando può essere usata una parola negativa (licenza di item di polarità negativa) e come le parole possono essere collegate o estratte da una frase (dipendenze filler-gap). La nostra indagine ha rivelato che questi compiti sono stati appresi dal modello in fasi distinte invece che gradualmente nel tempo.

Sempre di più, i modelli linguistici vengono usati per studiare come le persone elaborano il linguaggio, incluso il prevedere quali parole vengono dopo in una frase e giudicare se le frasi sono grammaticalmente corrette. Per valutare quanto bene questi modelli comprendano il linguaggio, i ricercatori hanno sviluppato test specifici che controllano la correttezza grammaticale in frasi molto simili tra loro. Il successo è misurato da se il modello valuta la frase corretta più alta di quella scorretta. Nonostante i progressi nell'uso di questi modelli, abbiamo ancora conoscenze limitate su come prendono decisioni internamente.

Il nostro processo di benchmark prevede tre passaggi principali: prima, prendiamo una coppia di frasi che differiscono in un modo specifico; secondo, manipoliamo l'output del modello usando un intervento sulle sue rappresentazioni; terzo, vediamo come questa manipolazione influisce sulle predizioni fatte dal modello. Conducendo questi interventi, possiamo valutare il ruolo che caratteristiche particolari dell'input hanno sul comportamento del modello.

C'è un concetto noto come l'ipotesi della rappresentazione lineare, che suggerisce che alcune idee siano rappresentate in modo lineare all'interno del framework del modello. Molti esperimenti hanno supportato questa idea, mostrando che le caratteristiche relative al linguaggio possono essere isolate in regioni specifiche della struttura interna del modello. Sono stati sviluppati diversi metodi per identificare e modificare queste caratteristiche per osservare come influenzano le predizioni del modello.

I campi della psicolinguistica e dell'interpretabilità hanno esigenze diverse: i psicolinguisti analizzano come i modelli si comportano in vari test linguistici, trascurando spesso i meccanismi sottostanti, mentre i nuovi Metodi di interpretabilità spesso mancano di un benchmarking completo. Per colmare questa lacuna, abbiamo introdotto un approccio strutturato per valutare quanto bene i metodi di interpretabilità possano trovare e manipolare caratteristiche rilevanti all'interno dei modelli linguistici. Abbiamo scoperto che la ricerca di allineamento distribuito è emersa come il miglior metodo, anche se può anche portare i modelli a mostrare connessioni arbitrarie tra input e output.

Un'indagine più approfondita sui processi di apprendimento dei modelli linguistici ha rivelato intuizioni su come gestiscono due compiti linguistici impegnativi. Per il compito di identificare quando un item negativo può essere usato, il modello impara ad aggiustare la rappresentazione di quella caratteristica attraverso diversi strati di elaborazione. Un approccio simile a più fasi è stato trovato per il compito di riempire i gap nelle frasi, dimostrando che i modelli non stanno solo memorizzando ma invece sviluppando una comprensione più sfumata.

Quando abbiamo osservato come questi meccanismi si sono sviluppati nel tempo durante l'addestramento, abbiamo trovato cambiamenti significativi nel modo in cui il modello elaborava gli input linguistici. Inizialmente, il modello si concentrava nel muovere informazioni da una parte della frase direttamente a dove dovevano andare. Man mano che l'addestramento progrediva, ha cominciato a sviluppare più passaggi intermedi, migliorando la sua capacità di gestire compiti complessi.

Sebbene la ricerca di allineamento distribuito producesse generalmente risultati più forti in vari compiti, sia essa che il probing lineare tendevano ad accordarsi sulle regioni più efficaci per gestire varie caratteristiche linguistiche. È importante notare che la ricerca di allineamento distribuito era in grado di mostrare effetti causali anche nelle fasi iniziali dell'addestramento, il che supporta i risultati precedenti nel campo.

Abbiamo introdotto un benchmark multi-task per valutare quanto siano efficaci diversi metodi di interpretabilità nel catturare influenze causali sull'elaborazione del linguaggio. Il metodo di ricerca di allineamento distribuito è stato particolarmente impressionante, ma abbiamo anche introdotto una forma di compiti di controllo per permettere confronti equi di efficacia tra vari metodi.

I risultati indicano che mentre la ricerca di allineamento distribuito trova caratteristiche più informativamente causali, altri metodi, come il probing lineare e la differenza dei mezzi, hanno anche i loro punti di forza. I metodi non supervisionati, come PCA e clustering k-means, non sono stati altrettanto efficaci in questo contesto.

Un altro aspetto importante era il diverso grado di selettività tra i metodi, suggerendo che mentre alcuni metodi sono forti nel trovare relazioni causali, non sono sempre focalizzati, a volte performando bene anche in compiti non correlati. Questo è stato particolarmente rilevante quando si testava l'efficacia di diversi approcci per comprendere come i modelli linguistici apprendono.

Per i nostri casi studio, abbiamo esaminato come i modelli apprendono comportamenti linguistici essenziali, concentrandoci sulla loro capacità di gestire l'uso di items di polarità negativa e dipendenze filler-gap. Gli esperimenti hanno mostrato che comprendere ed elaborare questi compiti richiede meccanismi complessi che si sviluppano attraverso diverse fasi di addestramento.

In conclusione, speriamo che il nostro nuovo benchmark incoraggi i ricercatori nella psicolinguistica computazionale a andare oltre l'analisi semplice degli output dei modelli linguistici. Comprendere come questi modelli funzionano internamente può fornire importanti intuizioni sulla natura stessa del linguaggio. Inoltre, mentre questo studio si è concentrato sull'inglese, ricerche simili in altre lingue potrebbero fornire una visione più completa di come i modelli linguistici apprendono e elaborano compiti linguistici diversi.

Man mano che il campo dell'interpretabilità continua ad avanzare, una corretta valutazione di quanto bene i metodi esistenti riflettano effettivamente il comportamento e le caratteristiche delle reti neurali sarà fondamentale. È vitale che approcciamo l'uso dell'interpretabilità con cautela, soprattutto in applicazioni sensibili dove i modelli linguistici potrebbero influenzare il processo decisionale umano.

In sintesi, i nostri risultati fanno luce sul potenziale dei metodi di interpretabilità per approfondire la nostra comprensione dell'elaborazione del linguaggio nei modelli. Incoraggiamo ricerche continue e l'adozione di framework interventivi per esplorare ulteriormente i meccanismi dietro la comprensione linguistica.