Le macchine possono risolvere analogie come i bambini?

Quando pensi ai bambini che risolvono enigmi come "corpo : piedi :: tavolo : ?", ti chiedi se le macchine, come i modelli di linguaggio (LLM), possano fare lo stesso. I bambini imparano fin da piccoli a prendere ciò che sanno da un esempio e applicarlo a un altro. Vanno a cercare schemi e possono risolvere analogie, collegando i punti che a volte confondono anche gli adulti. Studi recenti suggeriscono che mentre i LLM possono affrontare alcuni problemi di analogia, faticano a generalizzare le loro abilità di risoluzione dei problemi in contesti diversi come fanno i bambini.

#Cos'è il Ragionamento analogico?

Il ragionamento analogico è quando usi ciò che già sai su una cosa per capire un'altra situazione. Ad esempio, se sai che un corpo ha piedi, puoi capire che un tavolo ha gambe. È una competenza fondamentale che aiuta gli esseri umani a imparare e a pensare in modo creativo. Gli adulti spesso superano i bambini in questi compiti, ma sorprendentemente, i bambini possono risolvere semplici analogie già a tre o quattro anni. Possono passare facilmente da un tipo di analogia a un altro, cosa che i LLM non fanno particolarmente bene, come mostrato in ricerche recenti.

#Lo Studio

Nel nostro studio, volevamo vedere se i LLM potessero generalizzare le loro abilità di risoluzione delle analogie come possono fare i bambini e gli adulti. Abbiamo chiesto a bambini, adulti e LLM di lavorare su analogie di stringhe di lettere. Queste analogie si basano su una lista di simboli latina, greca e anche inventata per testare quanto bene sia stato trasferito il loro sapere a nuovi contesti.

#Analoghe di Stringhe di Lettere

Il compito delle analogie di stringhe di lettere funziona così: se hai "abc" che cambia in "abd," in cosa deve cambiare "pqr"? Servono cambiamenti simili per risolvere l'enigma. Questo tipo di compito è semplice e si basa su trasformazioni di lettere basilari che gli esseri umani di solito fanno bene, in quanto possono facilmente identificare e applicare schemi.

#Chi Ha Partecipato?

Abbiamo coinvolto 42 bambini di età compresa tra 7 e 9 anni, 62 adulti, e abbiamo testato quattro diversi LLM. Tutti i partecipanti hanno ricevuto lo stesso insieme di compiti su tre tipi di alfabeti: latino, greco e simboli.

#Come Ha Funzionato a Tutti?

#Adulti e Bambini vs. LLM

Le nostre previsioni erano che adulti e bambini avrebbero gestito bene l'alfabeto latino, e pensavamo che i LLM avrebbero tenuto il passo con gli adulti. Anche se molti LLM si sono comportati bene con l'alfabeto latino, hanno avuto difficoltà con l'alfabeto greco, e le loro Prestazioni sono crollate notevolmente con la lista di simboli. Questo ha mostrato una differenza chiave: mentre adulti e bambini si adattavano bene, i LLM faticavano ad adattarsi quando le cose diventavano meno familiari.

#Risultati Generali

Confrontando le prestazioni tra i diversi alfabeti, sia i bambini che gli adulti hanno mostrato risultati simili, esibendo una buona performance. Tuttavia, i LLM avevano più difficoltà. Era chiaro che la loro capacità di comprendere le regole e applicarle in modo flessibile mancava quando si trovavano di fronte a cambiamenti nei tipi di lettere o simboli.

#Perché i LLM Non Possono Generalizzare Come i Bambini?

#Le Parti Difficili

Per capire perché i LLM trovassero difficile generalizzare, abbiamo esaminato da vicino i compiti. Si è scoperto che le regole più complesse, come riconoscere l'ordine delle lettere, erano le più difficili da seguire per i LLM. Andavano molto meglio con compiti più semplici, ma faticavano con elementi che richiedevano una comprensione più sfumata degli schemi.

#Controllo delle Regole

Abbiamo provato una versione più semplice del compito, concentrandoci solo su regole specifiche come "la lettera successiva" o "la lettera precedente." I LLM sono riusciti a ottenere queste giuste in una lista semplice, ma quando siamo tornati ad analogie che richiedevano di mescolare e abbinare quelle regole, hanno di nuovo vacillato. Questo suggerisce che i LLM eccellono nell'identificare schemi quando le condizioni sono giuste, ma non trasferiscono bene quella capacità a compiti più astratti.

#Quali Errori Hanno Comesso?

Quando abbiamo analizzato gli errori fatti da bambini, adulti e LLM, abbiamo visto differenze chiare. I bambini a volte si allontanavano molto dalle risposte corrette, mentre i LLM tendevano a seguire uno schema più prevedibile di risposte sbagliate. Interessante, i LLM si affidavano spesso a un'interpretazione "letterale" delle regole, mentre gli esseri umani no. Questo dimostra che applicano rigidamente le regole apprese, il che può limitare la loro flessibilità.

#Conclusione

In sintesi, mentre i LLM possono risolvere semplici analogie di stringhe di lettere, la loro capacità di generalizzare in contesti diversi non è al livello dei bambini. Questo evidenzia una limitazione nelle loro abilità di ragionamento rispetto agli esseri umani. La capacità di adattarsi e applicare conoscenze a nuove situazioni sembra essere una caratteristica unicamente umana, indicando che abbiamo ancora molta strada da fare prima che le macchine possano pensare come noi. Quindi, la prossima volta che vedi un bambino risolvere un enigma, ricorda, i loro cervelli stanno facendo qualcosa che le macchine stanno ancora cercando di raggiungere!