Indagare il ragionamento nei grandi modelli linguistici

I modelli di linguaggio grandi, o LLM, possono affrontare problemi complessi che richiedono diversi passaggi per essere risolti. Però, non si sa molto su come questi modelli risolvono internamente questi problemi. Questo articolo dà un'occhiata più da vicino a come gli LLM rispondono a domande multi-hop, tipo "Il coniuge dell'esecutore di Imagine è." Rispondere a questo tipo di domanda implica estrarre informazioni in due passaggi. Prima, il modello deve identificare chi è l'esecutore della canzone "Imagine", che è John Lennon. Poi, deve capire chi è il coniuge di John Lennon, che è Yoko Ono.

Capire come gli LLM eseguono questi passaggi è importante per afferrare come calcolano le risposte. Noi esploriamo il funzionamento interno di questi modelli e scopriamo che l'identificazione della prima entità avviene nei primi strati del modello. Una volta risolta la prima entità, il modello procede a risolvere la seconda parte della query in strati successivi.

La sfida nasce perché se la seconda parte inizia a essere elaborata in questi strati successivi, potrebbe capitare che le informazioni necessarie per rispondere non siano più disponibili. Per affrontare questo problema, introduciamo un nuovo metodo che chiamiamo "back-patching." Questo metodo ci permette di prendere informazioni da uno strato successivo e ripristinarle in uno precedente. I nostri risultati mostrano che in quasi il 57% dei casi che prima erano errati, usare il back-patching ha portato alla risposta corretta, indicando che gli strati successivi a volte mancano delle informazioni necessarie.

Per illustrare i nostri risultati, notiamo che in una query a due passaggi, il primo passo viene risolto precocemente nel modello. L'informazione sull'entità ponte, che in questo caso è John Lennon, viene portata al passo successivo, dove il modello risolve la seconda parte della query identificando Yoko Ono come coniuge. Il back-patching ci consente di prendere informazioni codificate negli strati successivi e reintrodurle nei precedenti, aiutando a correggere i casi in cui la soluzione fallisce.

Nonostante performance impressionanti in molte attività, gli LLM ancora faticano con domande di conoscenza complesse. Ad esempio, spesso commettono errori con domande multi-hop come "Il coniuge dell'esecutore di Imagine è." Rispondere a queste query richiede abilità forti di composizione e ragionamento, che sono state al centro della ricerca recente. Capire come gli LLM gestiscono queste query multi-hop ha importanti implicazioni per migliorare la loro capacità di generalizzare e adattarsi.

Per migliorare la capacità di ragionamento degli LLM, dobbiamo prima capire come completano le query a due passaggi. Anche se alcune ricerche precedenti si sono occupate di questo, un percorso chiaro per il ragionamento è stato trovato solo in modelli più piccoli addestrati su dati sintetici. Nel nostro studio, ci concentriamo su due situazioni: una in cui il modello risponde correttamente e una in cui non lo fa.

Per condurre la nostra ricerca, abbiamo creato un dataset contenente 82.020 query a due passaggi basate sui dati di Wikidata. Queste query prendono fatti definiti come triplette, dove uno è l'entità sorgente (come John Lennon), il secondo è la relazione (come Coniuge) e il terzo è l'entità target (come Yoko Ono). Trasformiamo queste triplette in query a cui i modelli possono rispondere.

Creiamo query a due passaggi combinando due fatti. L'entità target di un fatto diventa l'entità sorgente del successivo. Ad esempio, la query a due passaggi "Il coniuge dell'esecutore di Imagine è" può essere scomposta in due parti: (Imagine, Esecutore, John Lennon) e (John Lennon, Coniuge, Yoko Ono).

Abbiamo due token specifici di interesse in questo processo: l'ultimo token del primo passaggio e l'ultimo token dell'intera query. Filtriamo i casi in cui non avviene ragionamento. Per ogni query a due passaggi, creiamo due prompt progettati per rilevare scorciatoie nel ragionamento. Il primo prompt è la query senza la risposta. Il secondo prompt è la query senza l'entità ponte. Questo filtraggio ci aiuta a identificare i casi in cui il modello prevede basandosi su scelte popolari o a causa di forti correlazioni.

Vogliamo specificamente capire le differenze tra quando il modello completa correttamente la query a due passaggi e quando fallisce. Abbiamo due sottoinsiemi di dati: uno in cui il modello risponde correttamente sia alla query a due passaggi che al primo passaggio e un altro in cui risponde a entrambe le parti in isolamento ma fallisce nella query completa.

Per i nostri esperimenti, esaminiamo diverse dimensioni dei modelli LLaMA: LLaMA 2 con 7B e 13B parametri, così come LLaMA 3 con 8B e 70B parametri. I modelli più piccoli hanno meno strati rispetto a quelli più grandi.

Per scoprire dove il modello risolve il primo passaggio, usiamo un metodo chiamato Patchscopes. Abbiamo stabilito che il modello risolve il primo passaggio durante i primi strati, individuando la posizione esatta nell'elaborazione del modello. Abbiamo anche scoperto che informazioni importanti riguardo l'entità ponte devono essere portate fino alla risposta finale nell'ultima posizione della query.

Usare Patchscopes ci permette di analizzare Rappresentazioni Nascoste mentre elaboriamo query a due passaggi. Registriamo la rappresentazione nascosta del token sorgente in uno strato sorgente e poi la sostituiamo con la stessa rappresentazione in uno strato target durante il passaggio in avanti del modello. L'obiettivo è generare una continuazione che riveli l'entità codificata dalla rappresentazione nascosta, dandoci un'idea di quanto bene il modello estrae informazioni.

I risultati mostrano che un numero significativo di casi ha decifrato con successo l'entità ponte dalla rappresentazione nascosta, specificamente nei primi strati. Questo indica che le conoscenze necessarie si trovano spesso in queste fasi iniziali di elaborazione.

Osserviamo anche che il secondo passaggio appare dopo il primo, principalmente all'ultima posizione della query. Analizzando il flusso di informazioni, vediamo che il primo passaggio viene risolto con la risposta, che poi viene utilizzata per rispondere al secondo passaggio.

Quando si tratta del secondo passaggio, le previsioni avvengono negli strati superiori del modello. Gli aggiornamenti apportati dagli strati di attenzione e MLP del modello sono essenziali per creare queste previsioni. I nostri esperimenti mostrano che gli strati MLP giocano un ruolo significativo nel predire la risposta, mentre gli strati di attenzione contribuiscono anche a questo processo.

Poi, ci concentriamo sul confronto tra casi corretti e errati. Scopriamo costantemente che nei casi errati, la risoluzione avviene a strati più alti rispetto alle risposte corrette. Questa differenza suggerisce che quanto presto viene risolto il primo passaggio sia importante per rispondere con successo a query multi-hop.

Per confermare la nostra ipotesi, testiamo ulteriormente il back-patching. L'idea principale è che se la risoluzione del primo passaggio avviene in strati che non contengono informazioni sufficienti per risolvere il secondo passaggio, dovremmo osservare miglioramenti nelle performance quando facciamo back-patch.

I nostri risultati indicano che usare il back-patching porta a un miglioramento significativo nel rispondere a query precedentemente errate. Scegliere correttamente gli strati da usare in questo processo è importante, indicando una potenziale limitazione all'interno dell'architettura transformer. Questa limitazione potrebbe derivare da come il modello elabora ed estrae informazioni tra gli strati.

In sintesi, la nostra ricerca dimostra che gli LLM hanno un percorso specifico per il ragionamento. La nostra analisi mostra che il primo passaggio viene risolto negli strati inferiori, mentre il secondo passaggio viene risposto negli strati medi-superiori. Il nostro lavoro fa luce sui problemi che gli LLM affrontano con le query multi-hop, rivelando un'area cruciale per lo sviluppo futuro per migliorare le loro capacità di ragionamento.

Anche se il nostro studio si concentra sulle query a due passaggi, crediamo che metodi e conclusioni simili potrebbero applicarsi a query con più passaggi. Tuttavia, è necessaria un'ulteriore esplorazione in questo ambito. Inoltre, mentre il back-patching mostra potenziale per miglioramenti, non è ancora uno strumento pratico per l'inferenza, poiché non tutti i tentativi di back-patching portano a risposte corrette.

Questo articolo mette in evidenza la necessità di una migliore comprensione di come funzionano gli LLM e identifica modi per migliorare le loro abilità di ragionamento su domande complesse. Continuando a esplorare questi percorsi, possiamo migliorare le capacità di modelli come gli LLM, portando infine a migliori performance in una varietà di compiti e query.