Valutare le abilità di ragionamento nei modelli linguistici attraverso i giochi

La valutazione dei modelli linguistici di grandi dimensioni (LLM) di solito sottolinea le loro abilità linguistiche, ma questo approccio potrebbe trascurare quanto bene questi modelli ragionino in generale. Abbiamo esaminato se LLM come GPT-3.5 e GPT-4 possano fare più che semplicemente gestire il testo. Crediamo che questi modelli possano pensare in modi più ampi, specialmente quando si tratta di compiti che non coinvolgono direttamente il linguaggio.

Per testare questa idea, abbiamo usato vari giochi come Tris, Forza Quattro e Battaglia Navale. Abbiamo codificato questi giochi usando semplici caratteri di testo per esaminare quanto bene i modelli possano prendere decisioni strategiche. Inoltre, abbiamo creato due nuovi giochi pensati per testare abilità diverse. Il primo gioco, LEGO Connect Language (LCL), verifica se i modelli possono comprendere il Ragionamento spaziale seguendo istruzioni di costruzione. Il secondo gioco coinvolge l'identificazione di forme all'interno di una griglia di numeri.

Usando un approccio di "mostrare, non dire", abbiamo voluto vedere cosa potessero realmente fare i modelli in questi giochi, piuttosto che chiedere loro semplicemente come giocare. I nostri risultati hanno mostrato che mentre GPT-3.5 e GPT-4 potevano gestire bene alcuni compiti legati al linguaggio, si sono comportati piuttosto male in giochi che richiedevano pensiero strategico e ragionamento spaziale. Ad esempio, entrambi i modelli non hanno previsto le mosse perdenti in Tris e Forza Quattro, e hanno faticato a seguire le regole mentre giocavano a Battaglia Navale. Nel gioco di Identificazione delle forme, GPT-4 ha fatto meglio di GPT-3.5, ma entrambi i modelli hanno avuto difficoltà con i compiti di assemblaggio in LCL.

#Cosa sono i modelli di linguaggio?

I modelli di linguaggio come GPT-3.5 e GPT-4 sono sistemi avanzati che elaborano input testuali e producono output testuali. Funzionano comprendendo le relazioni tra le parole in una frase, permettendo loro di generare frasi che hanno senso. Per fare ciò, analizzano il testo in parti più piccole, convertono queste parti in forme numeriche e poi ne analizzano l'importanza per produrre risposte coerenti.

Questi modelli hanno milioni o addirittura miliardi di parametri. Modelli come Alpaca hanno circa 7 miliardi di parametri, mentre quelli più grandi come LLaMA arrivano fino a 65 miliardi. I modelli più estesi, come PaLM, superano addirittura i 540 miliardi di parametri. Questa dimensione consente loro di gestire regole complesse del linguaggio, coprendo sintassi, significato, contesto e persino stile.

#Modi attuali per testare i modelli di linguaggio

Sono stati creati test per gli LLM per vedere quanto bene comprendano e generino linguaggio. Diversi dataset, come SQuAD e GLUE, forniscono vari tipi di domande e compiti. Ad esempio, questi compiti possono includere domande a scelta multipla, comprensione del testo o completamento di conversazioni. Ogni test di solito valuta quanto sono corrette le risposte, quanto fluentemente viene generato il linguaggio e se la conversazione rimane pertinente.

Per andare oltre i compiti linguistici, alcuni studi recenti hanno provato modi diversi per vedere quanto bene gli LLM pensano ai problemi. In uno studio, i ricercatori hanno utilizzato Tris per valutare i modelli rispetto a una strategia di gioco perfetta nota come algoritmo minimax. Sebbene alcuni LLM abbiano performato decentemente a volte, generalmente non hanno vinto contro questa strategia ottimale.

Altri lavori importanti hanno evidenziato i rischi di interpretare male ciò che gli LLM possono fare basandosi solo sui compiti linguistici. Anche se questi modelli performano bene in molti test linguistici, faticano con un ragionamento più profondo e la comprensione del mondo. Questo solleva domande su quanto bene questi modelli possano fare connessioni logiche e afferrare idee complesse.

I ricercatori hanno anche sollevato preoccupazioni sulla affidabilità dei grandi modelli. La mancanza di trasparenza su come questi modelli sono costruiti porta a interrogativi sulla loro affidabilità. Alcuni ricercatori sostengono che le capacità dichiarate dagli LLM potrebbero essere fuorvianti, suggerendo che tali valutazioni potrebbero semplicemente riflettere come sono stati scelti i metodi di valutazione, piuttosto che mostrare miglioramenti genuini nelle capacità di ragionamento.

#Definire l'intelligenza generale nell'IA

Quando si parla di intelligenza nell'IA, i ricercatori spesso si riferiscono all'intelligenza generale (GI), che è la capacità di pensare, risolvere problemi e apprendere in vari contesti. Tradizionalmente, la GI include processi che vanno oltre la conoscenza specifica e coprono invece una vasta gamma di abilità cognitive.

Un problema significativo nella valutazione di modelli avanzati come GPT-3.5 e GPT-4 è che i dati utilizzati per l'addestramento possono sovrapporsi ai test, portando a risultati inaffidabili. I dataset spesso usati per addestrare questi modelli sono enormi e complessi, rendendo difficile sapere esattamente quali informazioni i modelli abbiano appreso. Questa incertezza può rendere molti sforzi di benchmarking inefficaci.

Alcuni ricercatori stanno cercando di affrontare questo problema valutando quanto spesso le risposte generate sovrappongano i dati di addestramento. Tuttavia, questo metodo ha delle limitazioni, poiché non tiene conto del contesto in cui appaiono le parole e può trascurare altri aspetti importanti.

#La necessità di misure migliori per l'intelligenza

Noi sosteniamo che sia necessario un approccio più sfumato per valutare gli LLM. Per misurare più accuratamente l'intelligenza generale nell'IA, i benchmark dovrebbero concentrarsi su valutazioni che effettuano realmente il ragionamento e le capacità di generalizzazione in modi realistici.

In questo lavoro, presentiamo ChildPlay, una serie di giochi non linguistici pensati per misurare il ragionamento e il pensiero strategico, oltre al riconoscimento di schemi. Utilizzare giochi crea obiettivi chiari, rendendo più semplice vedere quanto bene i modelli possano pianificare e prendere decisioni nel tempo. A causa della natura di questi giochi, possono riflettere le sfide del mondo reale in modo più efficace.

#Esperimenti basati su giochi

Nei nostri esperimenti, abbiamo inserito compiti dal benchmark BIG-bench in una specifica categoria nota come test zero-shot. In questi test, ai modelli vengono date le regole dei giochi senza esempi o pratica precedente. Volevamo dimostrare se i modelli potessero pensare agli arrangiamenti spaziali usando sequenze di semplici caratteri di testo.

Abbiamo creato compiti tra cui assemblaggio LEGO, e i giochi da tavolo Tris, Forza Quattro e Battaglia Navale, oltre a un gioco di identificazione delle forme. Abbiamo utilizzato GPT-3.5 e GPT-4 in vari scenari, con diverse impostazioni per vedere come avrebbero risposto.

#LEGO Connect Language (LCL)

Per il compito di assemblaggio LEGO, abbiamo ideato un linguaggio strutturato, LEGO Connect Language (LCL), per istruire come costruire usando regole specifiche. I modelli dovevano determinare se le costruzioni LEGO date fossero valide, basandosi su vari criteri.

Il primo test ha coinvolto chiedere agli LLM di convalidare se una struttura LEGO fosse costruita correttamente o meno. I modelli sono stati messi alla prova per generare strutture valide basate sulle istruzioni. La performance è stata misurata in base a quante strutture valide i modelli hanno prodotto in risposta a questi test.

#Giochi da Tavolo: Tris, Forza Quattro e Battaglia Navale

Poi, abbiamo esaminato i giochi da tavolo tradizionali. Ogni gioco prevedeva di dare ai modelli lo stato attuale del gioco insieme a una breve introduzione al gioco. Ai modelli è stato anche comunicato che stavano giocando per primi. In Tris, un aspetto critico era se i modelli avrebbero riconosciuto le mosse vincenti e bloccato quelle perdenti.

In Battaglia Navale, abbiamo disposto le navi in configurazioni casuali e tracciato i risultati in base alle ipotesi dei modelli. Ogni gioco è stato progettato per confermare se i modelli potessero seguire le regole del gioco e prendere decisioni strategiche. Sfortunatamente, i risultati hanno mostrato che sia GPT-3.5 che GPT-4 spesso non riuscivano a seguire correttamente le regole, portando a sconfitte.

#Il Gioco delle Forme

Nel gioco delle forme, i modelli dovevano trovare forme geometriche di base nascoste tra i numeri. I risultati hanno rivelato che GPT-3.5 ha avuto notevoli difficoltà, performando a livelli casuali, mentre GPT-4 ha mostrato abilità migliori, specialmente nel riconoscimento dei triangoli.

#Osservazioni generali dai giochi

Analizzando le performance complessive, è diventato chiaro che nessuno dei modelli riusciva a seguire le regole in modo consistente, in particolare nei test di Battaglia Navale e LCL. Il numero di mosse e errori è aumentato man mano che abbiamo aumentato la difficoltà, suggerendo che i modelli non stavano strategizzando in modo efficace.

Impostazioni di temperatura più alte, che permettevano scelte più casuali nel gioco, non hanno migliorato le loro abilità nel seguire le regole o nel prendere decisioni migliori; infatti, spesso hanno portato a più errori.

#Limitazioni dei modelli attuali

Il nostro lavoro rivela che gli LLM, nonostante le loro forti abilità linguistiche, faticano con compiti che richiedono pensiero strategico e reale comprensione. Giochi come Tris, Battaglia Navale e identificazione delle forme hanno mostrato limitazioni significative nelle capacità di ragionamento dei modelli.

Nonostante alcuni successi in compiti di base, entrambi i modelli, GPT-3.5 e GPT-4, si sono generalmente comportati male nei giochi testati. I risultati evidenziano importanti lacune nella loro capacità di risolvere problemi e seguire regole strutturate.

#Direzioni future del lavoro

Andando avanti, intendiamo testare più modelli, inclusi quelli open-source, con la speranza di trovare prestazioni migliori nel benchmark ChildPlay. Crediamo che nessun modello esistente eccellerà nei nostri test, ma i futuri sviluppi nell'apprendimento rinforzato profondo potrebbero aprire la strada a risultati migliori.

Vogliamo sottolineare il valore significativo di utilizzare benchmark basati sui giochi per valutare gli LLM, poiché offrono spunti sulle capacità di ragionamento e risoluzione dei problemi dei modelli. Testare gli LLM con compiti non linguistici è cruciale per comprendere le loro capacità cognitive complessive.

#Conclusione

In sintesi, valutare gli LLM con i giochi fornisce una nuova prospettiva su ciò che questi modelli possono realmente realizzare. Concentrandoci sulla loro performance in compiti di ragionamento semplici, abbiamo scoperto che anche modelli avanzati come GPT-3.5 e GPT-4 spesso non raggiungono l'obiettivo. La loro incapacità di giocare efficacemente suggerisce limitazioni nelle loro abilità di problem-solving e decision-making strategico. I nostri risultati evidenziano la necessità di ulteriori benchmark che sfidino questi modelli oltre i compiti linguistici, garantendo una comprensione più approfondita delle loro capacità.