Valutare i LLM nei Giochi di Decisione Strategica

I modelli di linguaggio grandi (LLM) vengono sempre più utilizzati in situazioni reali, ma non si conosce appieno la loro capacità di prendere decisioni strategiche. La Teoria dei Giochi è un modo utile per verificare quanto bene gli LLM possano prendere decisioni quando interagiscono con altri. Ricerche precedenti hanno dimostrato che gli LLM possono performare bene in certi compiti quando ricevono istruzioni specifiche. Tuttavia, spesso faticano quando la situazione o le istruzioni cambiano. Questo articolo analizza come si comportano gli LLM in giochi noti come Stag Hunt e il Dilemma del Prigioniero, concentrandosi su come le loro performance variano con istruzioni diverse.

I nostri risultati indicano che i migliori LLM testati mostrano almeno una forma di pregiudizio che influisce sulle loro performance, inclusi il pregiudizio posizionale (l'ordine delle opzioni conta), il pregiudizio di guadagno (preferenze legate ai guadagni potenziali) o il pregiudizio comportamentale (la scelta preferita di un giocatore influisce sulla decisione). Quando il setup del gioco non si allinea con questi pregiudizi, la performance degli LLM cala significativamente. Ad esempio, GPT-4o vede un calo del 34% quando le cose non sono allineate. È notevole che la convinzione attuale che "modelli più grandi e nuovi siano migliori" non è sempre vera, poiché GPT-4o sperimenta il calo di performance più significativo tra i modelli studiati. Anche se strategie come il prompting a catena di pensiero aiutano a ridurre questi pregiudizi, non risolvono completamente i problemi.

#Studio Preliminare: Umani vs AI

Uno studio ha confrontato come gli umani e un LLM, GPT-4o, hanno giocato al gioco Stag Hunt. I partecipanti sono stati divisi in due gruppi: un gruppo ha fatto decisioni rapide, mentre l'altro ha avuto tempo per riflettere. Gli umani che hanno deciso in fretta hanno scelto Stag il 62% delle volte e Hare il 38% delle volte. Quelli che hanno preso tempo per riflettere tendevano comunque a scegliere Stag, con il 52,5% che lo selezionava.

Quando sono stati testati in condizioni simili, GPT-4o ha mostrato tendenze più forti. Sotto prompting veloce, ha scelto Stag il 100% delle volte e il 95% quando era consentito il ragionamento. Tuttavia, quando i prompt sono stati cambiati, GPT-4o ha scelto Hare il 75,3% quando gli è stato chiesto di fare scelte rapide e il 100% quando ragionava. Questo suggerisce che il processo decisionale di GPT-4o non è così simile a quello umano ed è influenzato da altri fattori come il pregiudizio posizionale.

#Fondamenti della Teoria dei Giochi

La teoria dei giochi analizza come le scelte fatte da agenti che interagiscono producano risultati differenti. È utilizzata in vari settori, tra cui economia e psicologia. Si presume che gli agenti agiscano in modo razionale, prendendo decisioni basate su quello che porterebbe al miglior risultato per se stessi.

Il tipo di giochi su cui ci concentriamo è chiamato giochi non a somma zero. Questi giochi includono aspetti sia competitivi che cooperativi. Esempi includono Stag Hunt e il Dilemma del Prigioniero. Comprendere come performano gli LLM in tali giochi può dare spunti sulle loro capacità decisionali.

#Pregiudizi Sistematici negli LLM

La ricerca ha trovato che gli LLM mostrano spesso pregiudizi sistematici, che possono influenzare le loro abilità decisionale. Questi pregiudizi includono:

1. Pregiudizio Posizionale: Questo si riferisce a come l'ordine in cui le opzioni sono presentate può influenzare la scelta. Ad esempio, se l'opzione A è dichiarata per prima, potrebbe essere scelta più spesso rispetto all'opzione B.

2. Pregiudizio di Guadagno: Questo pregiudizio si verifica quando gli LLM sono attratti da scelte basate su ricompense potenziali. Ad esempio, potrebbero inclinarsi verso azioni che potrebbero portare il maggior beneficio per se stessi o per entrambi i giocatori, indipendentemente da ciò che è la migliore scelta complessiva.

3. Pregiudizio Comportamentale: Le preferenze di un giocatore possono influenzare la scelta di un altro. Ad esempio, se un giocatore è spinto a concentrarsi sui guadagni comuni, potrebbe influenzare come decide l'altro giocatore.

I pregiudizi notati sono stati studiati principalmente in compiti più semplici ma non sono stati esplorati appieno in contesti di teoria dei giochi, il che significa che c'è una lacuna nella conoscenza su come questi pregiudizi influenzino il processo decisionale in scenari più complessi.

#Obiettivi della Ricerca

Questo studio mira a indagare come questi pregiudizi influenzano la capacità degli LLM di interagire efficacemente in giochi non a somma zero per due giocatori. In particolare, i nostri obiettivi includono:

1. Esaminare quanto spesso gli umani e gli LLM selezionano Stag o Hare nel gioco Stag Hunt.
2. Identificare i pregiudizi sistematici nei principali LLM e confrontarli.
3. Analizzare la significatività statistica di questi pregiudizi.
4. Misurare come questi pregiudizi influenzano le performance in vari setup.

#Design Sperimentale

Per studiare questi pregiudizi, abbiamo modificato i metodi di prompting in 16 diverse configurazioni, esaminando come le scelte variavano in contesti diversi. Abbiamo applicato due tipi di prompt: un prompt di Solo Risposta che cercava solo risposte e un prompt di Catena di Pensiero Zero-shot che richiedeva ragionamento.

I campioni includevano quattro LLM all'avanguardia (SOTA), tra cui GPT-3.5, GPT-4-Turbo, GPT-4o e Llama-3-8B, e li abbiamo testati sia in Stag Hunt che nel Dilemma del Prigioniero. Tutti gli esperimenti miravano a vedere se i pregiudizi influenzavano il processo decisionale e quale impatto avevano.

#Effetti della Temperatura

Il comportamento degli LLM può anche cambiare in base a quanto casuali o strutturati siano i loro output, influenzati da un parametro chiamato temperatura. Per i prompt di Solo Risposta, abbiamo impostato una temperatura standard, mentre abbiamo variato la temperatura per i prompt di ragionamento per vedere gli effetti sugli output.

#Analisi Statistica

Abbiamo eseguito vari test per controllare quanto fossero significativi questi pregiudizi, specialmente in relazione a come venivano fatte le scelte e in quali condizioni. Questo includeva l'esame delle scelte medie su numerose ripetizioni per determinare l'estensione di ciascun pregiudizio.

#Osservazioni dagli Esperimenti

#Pregiudizio Posizionale

I nostri risultati hanno indicato un forte pregiudizio posizionale in GPT-3.5, specialmente quando si utilizzavano prompt di Solo Risposta. Quando è stato incorporato il ragionamento, il pregiudizio si è attenuato. Per GPT-4-Turbo, il pregiudizio posizionale era debole sotto entrambi i tipi di prompt. Interessantemente, GPT-4o ha mostrato un significativo pregiudizio posizionale, il che è stato inaspettato date le sue capacità avanzate.

#Pregiudizio di Guadagno

Esaminando il pregiudizio di guadagno, GPT-3.5 e Llama-3-8B hanno mostrato pregiudizi più deboli complessivamente. Tuttavia, GPT-4-Turbo e GPT-4o hanno mostrato pregiudizi pronunciati, indicando che spesso selezionano opzioni che portano ai guadagni cumulativi più grandi, anche quando non era la migliore scelta complessiva.

#Pregiudizio Comportamentale

Il pregiudizio comportamentale era evidente, con GPT-4-Turbo e GPT-4o che mostrano meno influenza dalle preferenze di altri giocatori. Al contrario, GPT-3.5 e Llama-3-8B erano più fortemente influenzati, specialmente quando gli è stato chiesto di dare priorità ai benefici comuni rispetto ai benefici personali.

#Analisi di Allineamento

Infine, abbiamo esaminato come la performance variava quando la strategia scelta dall'LLM corrispondeva o meno al setup dell'esperimento. Quando i pregiudizi non si allineavano con l'azione corretta, la performance è notevolmente calata tra i modelli. Questo evidenzia la necessità di un migliore allineamento nei prompting per raggiungere risultati ottimali.

#Conclusione

Attraverso test approfonditi, abbiamo scoperto che i pregiudizi sistematici influenzano come gli LLM performano in giochi strategici. I modelli hanno mostrato notevoli cali di performance che vanno dal 21% al 34% tra diversi giochi. Questi risultati implicano che la performance degli LLM in compiti di teoria dei giochi non può essere considerata al valore nominale. Invece, è cruciale tenere conto di questi pregiudizi per valutare più accuratamente le loro capacità.

Anche se gli LLM crescono in dimensione e complessità, le metriche di valutazione tradizionali potrebbero non essere sufficienti. Anche se tecniche come il prompting a catena di pensiero possono aiutare a ridurre gli effetti dei pregiudizi, non sono soluzioni universali. Serve più ricerca per scoprire perché si verificano questi pregiudizi e come possano essere mitigati efficacemente.

#Limitazioni

È essenziale notare che il nostro studio aveva limitazioni. Abbiamo esaminato solo due tipi di giochi, il che potrebbe significare che i pregiudizi si comportano in modo diverso in scenari più complicati o vari. Inoltre, non abbiamo modificato diverse matrici di guadagno, il che potrebbe influenzare i risultati. Testare solo quattro modelli limita conclusioni più ampie su altri modelli. Infine, mentre abbiamo evitato di menzionare nomi specifici di giochi durante i prompt per concentrarci sul ragionamento, esplorare l'impatto di nominare i giochi potrebbe essere interessante.

#Considerazioni Etiche

Questa ricerca mette in luce le abilità cognitive degli LLM e le loro limitazioni. Comprendere questi pregiudizi ha implicazioni significative, non solo per la ricerca accademica ma anche per applicazioni pratiche. Identificare le debolezze negli LLM aiuta a garantire il loro uso responsabile nella società, proteggendo anche da possibili abusi da parte di attori malintenzionati.

#Direzioni Future

La ricerca futura dovrebbe approfondire le radici dei pregiudizi sistematici all'interno degli LLM per sviluppare soluzioni a questi problemi. Progettare meglio i prompt o addirittura modificare i modelli stessi potrebbe portare a decisioni più affidabili. Esplorare altri tipi di giochi e configurazioni di modelli diversificati fornirà anche intuizioni più complete su come gli LLM pensano e agiscono strategicamente.