Come i modelli di linguaggio rappresentano le informazioni numeriche

I modelli di linguaggio (LM) possono condividere informazioni fattuali, anche sui numeri. Ad esempio, se chiedi, "In che anno è nato Karl Popper?" il modello potrebbe rispondere correttamente "1902". Tuttavia, non è molto chiaro come questi modelli memorizzino e rappresentino le informazioni numeriche. Questo articolo esplora un metodo per trovare e cambiare il modo in cui i LM rappresentano le proprietà numeriche, come l'anno di nascita di qualcuno.

Abbiamo scoperto aree meno complesse nella struttura del modello che mantengono le informazioni numeriche in modo chiaro. Quando cambiamo alcune parti in queste aree, anche la risposta del modello cambia. Ad esempio, regolando le informazioni relative a "anno di nascita", il modello può modificare il suo output, dicendo che Karl Popper è nato nel 1929, 1957 o 1968. Questo suggerisce che i LM potrebbero rappresentare in modo coerente le proprietà numeriche in modo organizzato durante il loro processo di addestramento.

#Come i modelli di linguaggio gestiscono le informazioni numeriche

I modelli di linguaggio possono esprimere conoscenze fattuali, come dimostrato in vari test. Quando viene posta una domanda relativa a una proprietà numerica, come l'anno di nascita di qualcuno, questi modelli spesso forniscono risposte accurate. Eppure, c'è ancora un dibattito in corso su quanto bene questi modelli "conoscano" i fatti. La ricerca si è concentrata su due aree principali: quanto accuratamente questi modelli possono esprimere conoscenze e come quelle conoscenze sono rappresentate all'interno dei modelli.

La maggior parte degli studi si è concentrata su come i modelli memorizzano le relazioni tra diverse entità, come "Varsavia è la capitale della Polonia." Tuttavia, come i LM gestiscono le proprietà numeriche, come l'anno di nascita di una persona, è meno compreso. Le proprietà numeriche hanno una natura ordinata, dove un numero è maggiore o minore di un altro, il che è diverso da altri tipi di informazioni. Poiché i LM apprendono principalmente da grandi quantità di testo, si imbattono nelle proprietà numeriche in modo poco organizzato, il che solleva la questione se i LM rappresentino davvero queste proprietà correttamente.

#Obiettivi della ricerca

Ci siamo prefissi di determinare come le proprietà numeriche siano memorizzate nei modelli di linguaggio. Sospettiamo che le proprietà numeriche possano trovarsi in sezioni organizzate e a bassa dimensione della struttura del modello. Il primo motivo per questa idea è un principio chiave nell'apprendimento delle Rappresentazioni: un modello va bene se le sue rappresentazioni corrispondono alla struttura dei dati. Pertanto, se i LM funzionano bene con le domande numeriche, è probabile che rappresentino le proprietà numeriche in modo appropriato.

Il nostro secondo argomento si basa sull'idea che i concetti siano legati a sezioni lineari della struttura di un modello. Se questa idea è vera, potrebbe significare che le proprietà numeriche sono organizzate in aree lineari all'interno dei modelli. Ci riferiamo a queste aree, indipendentemente dalle Dimensioni, semplicemente come "direzioni".

#Trovare direzioni per le proprietà numeriche

#Come abbiamo indagato

Per capire se queste direzioni per le proprietà numeriche esistono, abbiamo impostato un esperimento. Mentre un metodo comune per trovare struttura nei dati è l'analisi delle componenti principali (PCA), questo metodo non è supervisionato e non ci consente di guidarlo in base agli output del modello. Invece, abbiamo usato un metodo chiamato regressione a minimi quadrati parziali, che aiuta a trovare connessioni tra due set di dati.

Nel nostro setup, il primo set di dati include le rappresentazioni di informazione dei LM, e il secondo set consiste delle reali proprietà numeriche che desideriamo controllare. Ad esempio, quando chiediamo riguardo all'anno di nascita di Karl Popper, codifichiamo il prompt e otteniamo una rappresentazione dal LM.

Dopo aver raccolto queste rappresentazioni e le loro corrispondenti proprietà numeriche, abbiamo adattato un modello che mirava a prevedere le informazioni numeriche basate sulle rappresentazioni del LM. Questo ci aiuta a controllare quanto bene le proprietà numeriche possano essere previste dalle sezioni a bassa dimensione nei LM.

#Risultati dalla nostra indagine

I nostri risultati hanno indicato che le sezioni a bassa dimensione nei LM sono effettivamente in grado di prevedere le proprietà numeriche. Ad esempio, abbiamo scoperto che i modelli identificano sezioni distinte per varie proprietà numeriche. Queste sezioni mostrano una chiara relazione, dove i cambiamenti in una proprietà corrispondono a cambiamenti in un'altra, confermando la nostra ipotesi iniziale riguardo alla rappresentazione lineare.

#Effetto delle Attivazioni sugli output del LM

#Cosa succede quando cambiamo le attivazioni

Abbiamo anche esplorato se queste direzioni identificate influenzano realmente le risposte del modello. Per fare ciò, abbiamo apportato modifiche alle attivazioni nel modello e osservato i risultati. L'idea è che una piccola modifica nell'attivazione dovrebbe portare a un piccolo cambiamento nell'output, mentre una modifica più grande dovrebbe creare un cambiamento maggiore nella risposta.

Abbiamo modificato le attivazioni del modello lungo le direzioni identificate e registrato i risultati. Ad esempio, se cambiavamo l'attivazione relativa all'"anno di nascita", il modello produceva risposte che variavano dal 1902 a anni successivi, come 1929 o 1957.

#Osservazioni dai nostri edit

Quando abbiamo guardato a come l'output del modello cambiava in base alle sezioni attivate, è diventato chiaro che alcune proprietà numeriche mostrano forti effetti monotoni. Questo significa che i cambiamenti nell'output erano coerenti con i cambiamenti che abbiamo fatto nelle attivazioni. Per altre proprietà, la risposta era meno prevedibile. Ad esempio, la funzione del modello riguardo alla "popolazione" produceva salti nei valori, indicando che mentre c'è un modello generale, potrebbe non allinearsi sempre perfettamente con il cambiamento monotono previsto.

#Implicazioni dei nostri risultati

#Cosa abbiamo imparato sulle proprietà numeriche

La nostra ricerca sottolinea che i modelli di linguaggio non solo possiedono la capacità di esprimere proprietà numeriche ma lo fanno attraverso strutture organizzate e lineari. Gli spazi in cui risiedono le proprietà numeriche offrono un modo sistematico per i LM di gestire quelle caratteristiche. I nostri risultati suggeriscono che queste direzioni probabilmente appaiono regolarmente durante l’addestramento del modello.

#Effetti collaterali dell'attivazione di diverse direzioni

Abbiamo anche studiato come cambiare una proprietà potrebbe influenzare proprietà numeriche non correlate. Ad esempio, cambiare l'output di un modello riguardo all'"anno di nascita" potrebbe influenzare anche l'output per altre proprietà, come "anno di morte" o "popolazione." Questo porta a discussioni interessanti sull'interconnessione delle diverse proprietà numeriche all'interno del modello.

#Conclusione e ulteriori domande

In sintesi, i nostri risultati supportano l'idea che i modelli di linguaggio apprendano rappresentazioni organizzate delle proprietà numeriche, con direzioni chiare che possono essere manipulate. Tuttavia, abbiamo ancora molte domande che rimangono senza risposta:

• Quali informazioni specifiche catturano davvero le sezioni a bassa dimensione?
• Le diverse proprietà numeriche condividono direzioni di codifica simili e come possiamo affinare i nostri metodi per trovare rappresentazioni più specifiche?
• Come si collega la qualità delle rappresentazioni delle proprietà numeriche alle prestazioni complessive dei modelli di linguaggio?

Questa ricerca rappresenta un passo verso una migliore comprensione di come le proprietà numeriche siano rappresentate nei modelli di linguaggio, gettando le basi per indagini ancora più approfondite sul funzionamento interno di questi sistemi complessi.