Valutare i modelli di linguaggio e la loro comprensione del mondo

Recenti discussioni suggeriscono che i grandi modelli linguistici (LLM) potrebbero imparare a capire il mondo che li circonda in modo implicito. Questo solleva la domanda: come possiamo verificare se sia vero? In questo articolo, ci concentriamo su come capire meglio quest'idea esaminando modelli che semplificano la realtà usando una struttura specifica chiamata automa finito deterministico (DFA). Gli DFA ci aiutano a rappresentare varie situazioni come ragionamenti, mappe e giochi.

Introduciamo nuovi modi per testare se questi modelli possono rappresentare efficacemente il mondo usando idee ispirate a un concetto ben noto chiamato teorema di Myhill-Nerode. Mostreremo come funzionano questi test in diverse aree: giocare a giochi, risolvere enigmi e mappare luoghi.

Le nostre scoperte rivelano che mentre molti modelli si comportano bene in alcuni test comuni, spesso falliscono nel rappresentare la realtà sottostante in modo coerente. Questa mancanza di coerenza li rende inaffidabili di fronte a compiti che sono leggermente diversi.

#LLM e le loro abilità

I grandi modelli linguistici sembrano avere più abilità che semplicemente prevedere la prossima parola in una frase. Alcuni studi indicano che apprendono rappresentazioni dettagliate delle aree su cui sono addestrati. Questo significa che un sistema in grado di catturare accuratamente il "Modello del mondo" da sequenze di dati sarebbe molto utile.

Per esempio, immagina come potremmo creare strumenti di navigazione oggi. Un metodo sarebbe quello di mappare ogni strada e incrocio con attenzione e poi creare un algoritmo per dare indicazioni. Tuttavia, come mostrano gli LLM, potremmo anche raccogliere i percorsi che le persone prendono in una città (come "vai a est, poi a nord") e addestrare un modello per imparare da queste sequenze. Se il modello potesse costruire una mappa della città da questi dati, risparmierebbe un sacco di tempo e fatica.

Ma dobbiamo considerare: come possiamo sapere se il modello ha davvero catturato il vero modello del mondo? Per rispondere a questo, dobbiamo definire cos'è il vero modello del mondo e come potremmo valutarlo.

In un approccio, i ricercatori hanno studiato se i modelli addestrati su giochi come scacchi e Othello potessero afferrare le regole del gioco. Ispirati da questo lavoro, guardiamo a situazioni in cui il mondo può essere riassunto da un insieme di stati e regole che governano i cambiamenti tra quegli stati. Questo si applica a diverse aree come risolvere enigmi, tenere traccia delle posizioni, giocare e compiti scientifici.

#Sfide nella Valutazione dei modelli del mondo

Valutare quanto bene questi modelli rappresentano il mondo può essere complicato. Un metodo comune implica controllare se i prossimi passi previsti dal modello corrispondono a opzioni valide per lo stato attuale. Anche se sembra buono, può trascurare problemi seri nella comprensione del modello.

Il teorema di Myhill-Nerode aiuta a illustrare questo: per due stati diversi, c'è qualche sequenza che può distinguerli. Se guardiamo solo al prossimo passo previsto dal modello, questo può portare a trascurare dettagli. Per migliorare le nostre valutazioni, proponiamo due nuovi metodi di valutazione basati sulla logica del teorema di Myhill-Nerode.

#Nuove metriche di valutazione

La prima nuova metrica esamina quanto bene il modello comprime le sequenze. Poiché un DFA significa che le sequenze che portano allo stesso stato devono avere i stessi prossimi passi, possiamo verificare se le uscite sono simili per queste sequenze. La seconda metrica controlla se il modello può distinguere tra sequenze che portano a stati diversi, dove ci aspettiamo uscite diverse.

Definiamo formalmente queste metriche e descriviamo come usarle indipendentemente dalle specifiche del modello quando abbiamo accesso al vero DFA.

Per illustrare queste idee, abbiamo creato un dataset di corse in taxi a New York City. Abbiamo usato questo dataset per valutare se l'addestramento su fino a 4.7 miliardi di token consente ai trasformatori di mappare accuratamente le strade di Manhattan. Anche se i test tradizionali mostrano che i modelli si comportano bene, i nostri nuovi metodi rivelano che la loro comprensione della città è molto meno accurata del previsto.

Attraverso tecniche grafiche, abbiamo visualizzato le mappe implicite create dai modelli. I risultati spesso non somigliavano affatto alle vere strade. Questa incoerenza causa problemi; quando il modello affronta situazioni leggermente diverse, può fallire in modo significativo.

#Risultati dai dati delle corse in taxi

Per capire meglio le prestazioni dei modelli, abbiamo creato un dataset di corse in taxi a New York City. Questo dataset contiene 12.6 milioni di corse del 2014, comprese informazioni su luoghi di prelievo e di rilascio.

Il vero modello del mondo qui è definito dalle vere strade e incroci della città. Abbiamo costruito vari dataset utilizzando tre tecniche:

1. Percorsi più brevi: Abbiamo usato l'algoritmo di Dijkstra per trovare i percorsi più brevi tra i punti di prelievo e di rilascio.

2. Percorsi più brevi rumorosi: Abbiamo modificato i pesi dei bordi per tenere conto delle condizioni del traffico, creando più percorsi più brevi per gli stessi tragitti.

3. Passeggiate casuali: Questo metodo campiona percorsi casuali anziché fare affidamento sui percorsi più brevi.

Ogni metodo ha prodotto un numero significativo di sequenze per l'addestramento. Abbiamo poi verificato se i modelli addestrati potevano recuperare i percorsi più brevi tra coppie di luoghi non visti. Abbiamo sollecitato i modelli con queste coppie per generare indicazioni e abbiamo valutato le loro uscite.

In generale, i modelli producevano regolarmente percorsi validi. Tuttavia, quando abbiamo approfondito i loro modelli di mondo sottostanti, abbiamo scoperto che spesso erano incoerenti. Nonostante fossero in grado di pianificare bene i percorsi, questi modelli faticavano di fronte a cambiamenti imprevisti, come deviazioni.

#Importanza di una valutazione robusta

Questi risultati sottolineano la necessità di metodi di valutazione solidi quando si sviluppano modelli che catturano la logica delle situazioni del mondo reale. Il nostro studio mostra che fare affidamento solo su metriche tradizionali può essere fuorviante.

La capacità dei modelli di generare indicazioni valide non indica necessariamente che abbiano una comprensione coerente del mondo. Modelli di mondo inconsistenti possono portare a fallimenti nelle applicazioni pratiche.

Le nostre metriche forniscono insight sulle abilità dei modelli di comprimere e distinguere sequenze basate sulla verità del mondo. I modelli che si comportano bene su una metrica potrebbero avere difficoltà su un'altra, evidenziando la complessità nella valutazione della loro comprensione.

#Espandere l'analisi: Othello e enigmi logici

Oltre alla navigazione, abbiamo anche applicato le nostre metriche di valutazione a modelli addestrati su giochi come Othello e a grandi modelli linguistici incaricati di risolvere enigmi logici. In entrambi i casi, abbiamo trovato problemi simili di incoerenza.

Per Othello, abbiamo valutato modelli addestrati su trascrizioni di partite reali e dati sintetici. Anche se il modello addestrato su partite reali ha performato bene secondo gli standard, le nostre metriche hanno mostrato che raggruppava male le aperture che portavano alle stesse posizioni sulla scacchiera. Al contrario, il modello addestrato su aperture sintetiche ha performato meglio, rivelando una Distinzione significativa che non era catturata dalle metriche esistenti.

Esaminando enigmi logici, abbiamo testato vari grandi modelli linguistici su compiti di disposizione dei posti. Anche se questi modelli potevano risolvere gli enigmi quando erano completamente specificati, faticavano con le nostre metriche di compressione e distinzione. Questa scoperta indica una preoccupante realtà: possono performare bene in alcuni compiti senza mantenere un modello di mondo coerente.

#Conclusione

Costruire modelli accurati che afferrano davvero la logica sottostante dei mondi che rappresentano è essenziale. Per raggiungere questo obiettivo, dobbiamo usare metodi che misurano quanto siamo vicini a quel traguardo.

Le metriche di cui abbiamo discusso, basate sulla teoria, possono valutare se un modello cattura efficacemente il suo modello del mondo. Le nostre scoperte su navigazione, giochi ed enigmi suggeriscono che queste metriche forniscono insight preziosi.

Anche se il nostro framework è attualmente focalizzato sugli automi finiti deterministici, espandere questo lavoro migliorerebbe ulteriormente la nostra comprensione di situazioni più complesse. Studi futuri possono esplorare i principi generali di compressione e distinzione delle sequenze in contesti più ricchi e vari.

Andando avanti, miriamo a sviluppare migliori modi di valutare e migliorare i modelli, assicurandoci che possano riflettere accuratamente la logica e la struttura del mondo reale.