Limiti dei modelli linguistici nella persuasione politica

I modelli di linguaggio grandi (LLM) adesso possono creare Messaggi politici che sono convincenti quanto quelli scritti da persone. Questo solleva domande su quanto possano diventare persuasivi man mano che crescono in dimensione. Per affrontare questo problema, abbiamo generato 720 messaggi persuasivi su 10 argomenti politici americani usando 24 modelli di linguaggio di diverse dimensioni. Abbiamo testato questi messaggi in un grande sondaggio per vedere quanto bene ciascun Modello potesse convincere le persone a cambiare idea.

#Risultati Chiave

Il nostro studio ha rivelato due risultati importanti. Prima di tutto, abbiamo scoperto che la capacità persuasiva dei modelli di linguaggio segue una legge di scala logaritmica. Questo significa che modelli più grandi non portano necessariamente a messaggi notevolmente più persuasivi. Infatti, i modelli più grandi che abbiamo testato erano solo leggermente più convincenti rispetto a modelli molto più piccoli.

In secondo luogo, abbiamo scoperto che semplicemente completare bene il compito-cioè i messaggi erano chiari e restavano in tema-era una grande ragione per cui i modelli più grandi sembravano più persuasivi. Quindi, rendere i modelli più grandi potrebbe non migliorare molto la qualità persuasiva dei loro messaggi.

#Preoccupazioni per l’Influenza

Con la crescita in dimensione e capacità degli LLM, crescono anche le paure riguardo al loro potenziale di plasmare le credenze e le azioni delle persone. Questi modelli possono creare propaganda forte, alterare credenze in teorie del complotto e generare messaggi che possono competere con quelli di enti governativi reali. La ricerca ha dimostrato che anche messaggi brevi e generici possono cambiare significativamente le attitudini delle persone.

Con molti elettori che si aspettano di andare alle urne nel 2024, i politici sono preoccupati che questi modelli possano danneggiare il panorama informativo e influenzare la scelta degli elettori. Gli esperti hanno avvertito che attori manipolatori potrebbero utilizzare gli LLM per indirizzare eventi politici importanti. La preoccupazione pubblica è diffusa, con molte persone in vari paesi che temono che l'IA possa essere usata per influenzare l'opinione pubblica.

#Avvertimenti dell’Industria e Preoccupazioni di Ricerca

I leader dell’industria e gli esperti di machine learning hanno lanciato allarmi sul fatto che i futuri LLM potrebbero diventare ancora più persuasivi. Un recente sondaggio tra i ricercatori di IA ha indicato che manipolare l'opinione pubblica usando l'IA è visto come un rischio serio. In risposta, le aziende di IA stanno sviluppando framework per valutare e gestire il potenziale danno proveniente da modelli altamente persuasivi.

Tuttavia, nonostante le preoccupazioni, non è chiaro quanto i modelli più grandi saranno effettivamente in grado di persuadere. Mentre molti compiti migliorano con modelli più grandi, non è sempre così. La connessione tra dimensione del modello e come performano può variare notevolmente a seconda del compito.

Questo crea sfide per compiti complessi come la persuasione politica. A differenza di compiti più semplici misurati attraverso test, la persuasività politica richiede di vedere come le persone reali cambiano idea dopo aver interagito con messaggi generati dal modello. Finora, la ricerca non ha chiarito completamente quanto velocemente stia crescendo la capacità persuasiva o a quale dimensione i modelli iniziano a eguagliare i livelli di persuasione umana.

#Approccio dello Studio

Il nostro obiettivo era confrontare una vasta gamma di modelli di linguaggio open-weight di diverse dimensioni contro gli attuali top player nel campo. Ci siamo assicurati di ottimizzare tutti i modelli sugli stessi dati per ottenere confronti equi. In totale, abbiamo testato modelli che vanno da 70 milioni a oltre 300 miliardi di parametri.

#Metodi

Durante il nostro studio, abbiamo creato tre messaggi persuasivi per ciascuno dei 10 problemi politici. Abbiamo misurato quanto fossero persuasivi i messaggi di ciascun modello in un sondaggio online condotto con adulti americani. I partecipanti sono stati divisi in tre gruppi: quelli che hanno ricevuto messaggi dall'IA, quelli che hanno ricevuto messaggi da umani e un gruppo di controllo che non ha ricevuto alcun messaggio.

I risultati del sondaggio hanno mostrato che il potere Persuasivo dei modelli di linguaggio aumentava con la loro dimensione secondo una scala logaritmica. In termini più semplici, più grande è il modello, più persuasivo poteva essere, ma l'effetto diventava meno significativo man mano che i modelli crescevano.

#Risultati

Prima di tutto, abbiamo trovato che in media, i modelli di linguaggio potevano persuadere le persone, con un cambiamento medio delle attitudini di circa 6 punti percentuali per i messaggi di un modello di dimensione media. Abbiamo identificato che la persuasività di un modello era positivamente legata alla sua dimensione, ma l'aumento era meno impressionante a dimensioni maggiori. Infatti, alcuni modelli più piccoli hanno generato messaggi che erano altrettanto persuasivi di quelli dei modelli più grandi.

#Completamento del Compito e Persuasività

Una parte significativa dei nostri risultati è stata la scoperta che completare bene il compito era il fattore chiave nella persuasività. I modelli hanno già raggiunto punteggi massimi sul completamento del compito, il che significa che erano coerenti e in tema. Questo indica che semplicemente aumentare la dimensione del modello potrebbe non portare a risultati migliori in termini di persuasione.

#Problemi Politici e Persuasione

Abbiamo anche esaminato quanto fossero persuasivi i modelli su diversi argomenti politici. Abbiamo scoperto che alcuni problemi hanno mostrato effetti persuasivi più significativi rispetto ad altri. Questa variazione suggerisce che le persone sono più aperte alla persuasione su determinati argomenti. Ad esempio, temi con minore interesse pubblico potrebbero mostrare impatti persuasivi più chiari rispetto a temi più polarizzanti.

#Implicazioni dei Risultati

Il nostro studio fornisce prove che c’è un limite a quanto possono crescere i modelli in termini di efficacia persuasiva. Attualmente, questo suggerisce che semplicemente rendere i modelli più grandi non porterà a miglioramenti sostanziali in quanto a persuasività dei loro messaggi.

Anche se i nostri risultati non significano che i messaggi generati dagli LLM non abbiano persuasività, suggeriscono che molti modelli più piccoli possono anche raggiungere capacità persuasive a livello umano. Questo dimostra che il costo e la difficoltà di accedere a LLM efficaci potrebbero essere inferiori rispetto a quanto si pensasse in precedenza. Di conseguenza, molti più gruppi potrebbero potenzialmente usare questi modelli per influenzare le attitudini.

#Limitazioni

Ci sono alcune limitazioni nella nostra ricerca. Prima di tutto, i modelli closed-source che abbiamo studiato potrebbero limitare quanto fossero persuasivi. Nonostante questi modelli siano grandi, non possiamo confermare pienamente che siano stati addestrati per massimizzare la persuasività, il che potrebbe significare che i nostri risultati potrebbero sottovalutare l'effettiva influenza della dimensione del modello.

In secondo luogo, il nostro gruppo di partecipanti non era completamente rappresentativo della popolazione più ampia, poiché tendeva verso opinioni liberali e Democratiche. Anche se questo distorce i nostri risultati, è importante notare che questo potrebbe non cambiare la tendenza generale che abbiamo osservato nella relazione tra dimensione del modello e persuasività.

#Direzioni Future

Ci sono diversi percorsi per ulteriori ricerche. Ad esempio, impegnarsi in conversazioni più lunghe con un LLM potrebbe potenzialmente portare a effetti persuasivi più forti. Inoltre, personalizzare i messaggi in dialoghi multi-turno potrebbe offrire vantaggi significativi in persuasione rispetto a messaggi singoli e statici.

Considerare quanto bene possano essere addestrati o stimolati i modelli per aumentare le abilità persuasive è un'altra area importante per studi futuri. Questo ci darà una comprensione più dettagliata di come ottimizzare efficacemente le capacità del modello.

#Conclusione

In sintesi, il nostro studio rivela che mentre i modelli di linguaggio più grandi sono in grado di creare messaggi persuasivi, sembrano esserci limiti alla loro efficacia man mano che la loro dimensione aumenta. L'attenzione dovrebbe ora spostarsi verso la comprensione dei fattori che contribuiscono alla persuasività e allo sviluppo di modi per ottimizzare queste capacità nelle applicazioni pratiche.