Valutare i modelli linguistici nel ragionamento spaziale

I modelli di linguaggio sono ormai usati ovunque, e si fanno molte affermazioni su quanto bene capiscano vari concetti, incluso il Ragionamento di buon senso. Questo documento indaga quanto bene questi modelli possono ragionare riguardo allo spazio, che è una parte fondamentale del ragionamento di buon senso.

L'obiettivo non è solo scoprire quanto bene questi modelli si comportano in generale, ma anche rivelare i loro limiti. Facendo un Dialogo con questi sistemi, possiamo controllare la coerenza delle loro risposte. Questo metodo può fornire approfondimenti più significativi rispetto a semplici punteggi di prestazione media. Ci concentriamo sul Ragionamento Spaziale, un'area importante del ragionamento di buon senso, per vedere come questi modelli gestiscono diversi scenari.

#La Sfida del Ragionamento di Buon Senso

Il ragionamento di buon senso è stato un obiettivo nell'intelligenza artificiale per molti anni. Anche se diversi sistemi hanno dimostrato conoscenze esperte in aree come medicina o giochi, nessun sistema ha ancora raggiunto il livello di ragionamento di buon senso di un bambino piccolo. L'emergere di modelli di linguaggio di grandi dimensioni (LLMs) come BERT e GPT ha suscitato interesse per la loro capacità di rispondere a domande su concetti quotidiani. Tuttavia, il successo nei benchmark convenzionali potrebbe non equivalere a un vero ragionamento di buon senso.

Ci sono diversi benchmark che misurano il ragionamento di buon senso, come il Winograd Schema Challenge. I modelli recenti spesso ottengono buoni punteggi in questi test, ma questo successo può travisare la loro comprensione. Problemi come metodi di Valutazione indulgenti, difetti nei dataset e conoscenze dai dati di addestramento possono distorcere i risultati.

#Comprendere il Buon Senso

Per valutare il ragionamento di buon senso, dobbiamo prima definire che cos'è. Il buon senso si riferisce a conoscenze che sono:

• Comunemente conosciute
• Per lo più sensate
• Usate nel ragionamento
• Integrate in altre abilità cognitive
• Indipendenti da qualsiasi compito o modalità
• Ampie nel campo
• Diverse da conoscenze specializzate o esperte
• Basate su idee generali piuttosto che su dettagli specifici

Molti benchmark esistenti non catturano completamente queste qualità, spesso includendo conoscenze che non sono realmente di buon senso. Detto ciò, proponiamo un metodo diverso per valutare il ragionamento di buon senso, focalizzandoci sul ragionamento spaziale.

#Ragionamento Spaziale nel Buon Senso

Il ragionamento spaziale implica comprendere lo spazio e come gli oggetti si relazionano tra loro. Include aspetti come dimensione, distanza e direzione. Molti benchmark testano questo, ma questi test sono spesso statici e limitati a domande a scelta multipla, che non rivelano una vera comprensione.

In questo documento, puntiamo a una valutazione dialettica degli LLMs focalizzata sul ragionamento spaziale. Questo implica porre domande in un formato conversazionale e usare le risposte come contesto per ulteriori richieste.

#La Metodologia

Nella nostra valutazione, utilizzeremo diversi modelli di base conversazionali. Questi modelli consentono dialoghi continui, rispecchiando metodi di valutazione tradizionali come interviste. Il nostro approccio ci permette di esplorare quanto bene i modelli rispondono a domande di base sul ragionamento spaziale e come le loro risposte evolvono attraverso il dialogo.

#Relazioni Spaziali di Base

Il concetto di "parte di" è cruciale per comprendere le relazioni spaziali. Se un oggetto è parte di un altro, c'è una relazione spaziale intrinseca tra di loro.

Esempio 1:

• Domanda: Se x è parte di y, e y è parte di z, qual è la relazione tra x e z?
• Risposta: La relazione dipende dal contesto. X potrebbe essere collegato a z, oppure potrebbero essere separati.

Questa risposta è imperfetta. Se x è parte di y e y è parte di z, x deve logicamente essere correlato a z.

#Esplorare Ulteriormente le Relazioni Spaziali

Per perfezionare la nostra comprensione, abbiamo posto ulteriori domande, cambiando termini come "in" e "contiene".

Esempio 2:

• Domanda: Se u è in v e v è in w, che dire di u e w?
• Risposta: U e w potrebbero essere o meno correlati spazialmente; dipende dal contesto.

Di nuovo, questo non è corretto. Se u è in v e v è in w, allora u deve essere anche dentro w.

#Esaminare Forme e Direzioni

Abbiamo anche esplorato domande sulle forme e le loro rotazioni, che sono importanti per il ragionamento spaziale.

Esempio 3:

• Domanda: Se ruoti una lettera M, a quale lettera è simile?
• Risposta: Ruotare dà una lettera diversa.

Tuttavia, in alcuni casi, il modello fatica a fornire rotazioni o confronti accurati, come si è visto in query che coinvolgono lettere come Z e N.

#Comprendere Sinistra e Destra

Per testare la conoscenza direzionale, abbiamo chiesto:

Esempio 4:

• Domanda: Se b è a sinistra di c e d è a destra di c, cosa puoi dire di b e d?
• Risposta: Sono su lati opposti della linea c-d.

Questa risposta è parzialmente corretta, ma non chiarisce la relazione spaziale diretta tra b e d.

#Relazioni di Dimensione e Forma

Abbiamo anche esaminato come i modelli ragionano sulla dimensione.

Esempio 5:

• Domanda: Se un cerchio b è più grande di c, può b stare dentro c?
• Risposta: Sì, se spostato correttamente.

Questa risposta è errata; un cerchio più grande non può stare dentro a uno più piccolo.

#Permanenza degli Oggetti

Abbiamo introdotto problemi relativi alla permanenza degli oggetti, chiedendo della posizione degli oggetti dopo i movimenti.

Esempio 6:

• Domanda: Se Mary mette le chiavi su un tavolo e se ne va, poi John le prende, dove si aspetterebbe di trovarle?
• Risposta: Probabilmente sul tavolo.

Poi abbiamo aggiunto complessità, chiedendo cosa penserebbe Mary se l'auto non fosse nel vialetto quando tornasse. La risposta non ha considerato la posizione precedente dell'auto in relazione alle chiavi.

#Conclusioni

La nostra valutazione suggerisce che, mentre i modelli di linguaggio possono generare testi fluenti e coerenti, spesso faticano con il ragionamento spaziale di buon senso. Le conversazioni rivelano frequenti malintesi o contraddizioni nelle risposte.

Anche se ci sono progressi in modelli più recenti, molti mostrano ancora lacune significative nelle loro capacità di ragionamento. L'approccio dialettico utilizzato qui ci consente di mappare queste lacune in modo più chiaro rispetto ai normali metriche di prestazione.

#Direzioni Future

Le valutazioni future dovrebbero esplorare ulteriormente le sfumature del ragionamento spaziale. Indagare sul ragionamento geografico e automatizzare il processo di valutazione potrebbe rivelare di più sulle capacità dei modelli di linguaggio.

Una combinazione di test automatizzati e valutazioni manuali potrebbe fornire una comprensione più completa di come questi sistemi afferrino il ragionamento di buon senso.

In sintesi, le complessità del ragionamento spaziale evidenziano i limiti degli attuali modelli di linguaggio e aprono nuove strade per ulteriori ricerche.