Valutare il ragionamento nei modelli di linguaggio grandi

I modelli di linguaggio di grandi dimensioni (LLMs) hanno dimostrato capacità impressionanti nei compiti di ragionamento. Tuttavia, la maggior parte delle valutazioni si è concentrata sull'accuratezza delle loro risposte, senza controllare quanto bene siano formati i loro passaggi di ragionamento. Questo documento presenta un nuovo modo per valutare direttamente come i LLMs pensano quando rispondono a domande complesse che richiedono più passaggi di ragionamento, usando grafi della conoscenza (KGs).

#Contesto

#Ragionamento a Catena (CoT)

Il ragionamento a catena è un metodo in cui si chiede ai LLMs di suddividere le domande in passaggi più piccoli e logici prima di fornire una risposta. Ogni passaggio aiuta a arrivare alla risposta finale e dovrebbe basarsi su un ragionamento fattuale e coerente.

#Grafi della Conoscenza (KGs)

I grafi della conoscenza sono rappresentazioni strutturate di fatti, mostrate sotto forma di triplette. In questo contesto, una tripletta consiste in un'entità principale, un'entità finale e una relazione che le connette. Ad esempio, la tripletta potrebbe mostrare che "A è il genitore di B."

#La Necessità di Valutazione

Ricerche precedenti hanno mostrato che i LLMs possono dare risposte corrette, ma resta da chiarire se usano un ragionamento valido per arrivare a quelle risposte. Quindi, valutare il loro processo di ragionamento stesso è cruciale.

#Problemi con i Metodi di Valutazione Attuali

I metodi di valutazione attuali misurano principalmente l'accuratezza delle risposte invece di guardare ai passaggi di ragionamento coinvolti. Sono stati fatti alcuni tentativi per valutare la capacità di ragionamento dei LLMs cambiando i prompt o iniettando errori in essi. Tuttavia, questi metodi non controllano ancora direttamente la correttezza di ciascun passaggio di ragionamento.

#Framework di Valutazione Proposto

#Panoramica

Questo documento propone un framework per valutare le capacità di ragionamento dei LLMs. Include due parti principali: una valutazione discriminativa per identificare i percorsi di ragionamento validi e una valutazione generativa per analizzare i processi di ragionamento prodotti dai LLMs.

#Valutazione Discriminativa

L'obiettivo di questa valutazione è vedere se i LLMs possono identificare correttamente i percorsi di ragionamento validi e non validi quando vengono dati entrambi i tipi. Facendo questo, valutiamo la conoscenza di ragionamento che i LLMs possiedono. Se i LLMs possono distinguere i percorsi validi da quelli non validi, indica che hanno un certo grado di capacità di ragionamento.

#Valutazione Generativa

In questa parte, ai LLMs viene chiesto di creare un CoT basato su una domanda. Controlliamo poi se il percorso di ragionamento generato è valido confrontandolo con i KGs. Questo ci aiuta a valutare la coerenza e la correttezza fattuale del loro ragionamento.

#Esperimenti e Risultati

#Impostazione degli Esperimenti

Sono stati condotti esperimenti utilizzando due dataset che richiedono ragionamento a più passaggi: Complex WebQuestions (CWQ) e GrailQA. Sono stati testati più LLMs, variando in dimensioni da modelli più piccoli a modelli più grandi.

#Risultati Chiave

1. Conoscenza di Ragionamento: I risultati mostrano che i LLMs sono capaci di ragionamento, ma spesso non forniscono percorsi di ragionamento validi o coerenti.

2. Discrepanza nelle Prestazioni: C'è un notevole divario tra l'accuratezza delle risposte e la fedeltà dei passaggi di ragionamento. Anche quando i LLMs forniscono la risposta corretta, i passaggi che hanno seguito potrebbero non essere veri.

3. Impatto delle Dimensioni del Modello: Man mano che i LLMs crescono, sia l'accuratezza delle risposte che il divario tra l'accuratezza delle risposte e il ragionamento aumentano. Questo suggerisce che modelli più grandi potrebbero fare più affidamento sulla loro conoscenza piuttosto che sul ragionamento logico.

4. Strategie di Prompting Migliorate: Utilizzare metodi di prompting migliori può migliorare sia l'accuratezza delle risposte che la coerenza del ragionamento, ma il divario tra di loro rimane.

#Analisi degli Errori

Gli errori nel ragionamento possono essere raggruppati in tre tipologie:

• Errori fattuali: Questi si verificano quando le informazioni nel percorso di ragionamento sono errate.
• Errori di coerenza: Questi accadono quando i passaggi di ragionamento non seguono logicamente l'uno dall'altro.
• Errori di risposta: Questi sono casi in cui la risposta finale non corrisponde alla domanda nonostante abbia un percorso di ragionamento coerente.

#Conclusione

Questo studio mette in evidenza l'importanza di valutare sia le risposte finali fornite dai LLMs che i processi di ragionamento che impiegano. Utilizzando i KGs per ancorare i percorsi di ragionamento, possiamo ottenere informazioni sui punti di forza e di debolezza delle capacità di ragionamento dei LLMs. In futuro, affrontare le discrepanze tra risposte corrette e ragionamento sarà un'area essenziale per la ricerca e il miglioramento nell'aumento delle capacità di ragionamento nei LLMs.

#Lavori Futuri

Per migliorare questo framework di valutazione, le ricerche future potrebbero concentrarsi sull'espansione della definizione di percorsi di ragionamento e sull'incorporazione di metodi per colmare le lacune nei KGs. Inoltre, esplorare più percorsi di ragionamento per una singola domanda potrebbe fornire approfondimenti più sfumati sulle capacità di ragionamento dei LLMs.

#Riconoscimenti

Gli autori desiderano ringraziare le istituzioni e i colleghi che hanno contribuito alla ricerca e allo sviluppo di questo framework di valutazione. I loro approfondimenti e la collaborazione hanno notevolmente migliorato la qualità di questo lavoro.

#Riferimenti

• Ulteriori letture e lavori che hanno informato questo studio possono essere esplorati in riviste accademiche e conferenze dedicate alla ricerca sull'IA e sui modelli di linguaggio.

#Appendice

Metodologie dettagliate, risultati sperimentali aggiuntivi e vari prompt utilizzati nelle valutazioni possono essere trovati nella sezione appendice, fornendo ulteriore contesto ai risultati dello studio.