Valutare i modelli linguistici nella previsione di eventi

I progressi nel deep learning hanno permesso ai grandi modelli di migliorare in tanti compiti come classificare immagini e fare test. Questi modelli stanno diventando sempre più bravi, ma hanno ancora delle difficoltà quando si tratta di prevedere eventi futuri. Questa ricerca analizza come questi grandi modelli di linguaggio (LLM) possono prevedere risultati e confrontare le loro Previsioni con quelle fatte dagli umani.

#L’Importanza della Previsione

Nel corso della storia, gli esseri umani hanno cercato di usare informazioni passate per prevedere cosa accadrà in futuro. Molti lavori, come la politica e le previsioni meteo, dipendono dalla capacità di prevedere eventi futuri con precisione. Tuttavia, giudicare l'accuratezza di queste previsioni non è sempre semplice. Spesso le previsioni sono vaghe, rendendo difficile misurare chi ha ragione.

Ad esempio, se un analista politico dice che un candidato "potrebbe vincere", può affermare di aver avuto ragione se il candidato ha successo. Al contrario, se il candidato fallisce, l'analista può continuare a dire di avere ragione sostenendo di non essere sicuro. Questa ambiguità complica la valutazione delle previsioni.

Per affrontare queste sfide, alcuni studi hanno esaminato come le persone si comportano nel fare previsioni in contesti controllati. Uno di questi studi ha organizzato un torneo in cui diversi previsori hanno fatto previsioni su eventi specifici, misurando la loro accuratezza e identificando quali strategie portano a previsioni migliori.

#Modelli di Linguaggio e Compiti di Previsione

Questo studio esplora se i LLM possono fare previsioni altrettanto bene, o meglio, degli umani. Abbiamo creato un nuovo dataset di eventi reali e previsioni fatte dagli umani su quegli eventi. Abbiamo poi usato vari metodi per valutare la capacità di previsione dei LLM e abbiamo confrontato i loro risultati con quelli dei previsori umani.

La nostra ricerca mostra che, mentre alcuni metodi di previsione dei LLM performano abbastanza bene, spesso non superano le previsioni umane. Vogliamo capire perché questi modelli a volte faticano e suggerire modi per migliorare le loro capacità di previsione.

#Ricerca Precedente sulla Previsione Umana

L'idea di studiare la previsione umana è emersa da ricerche che investigavano come le persone si comportano nei tornei di previsione. Questi tornei raccolgono una serie di eventi e chiedono ai partecipanti di prevedere la loro probabilità. Vengono valutati in base a quanto le loro previsioni si avvicinano ai risultati effettivi.

Alcuni ricercatori hanno trovato che alcune persone facevano costantemente previsioni più accurate di altre. Hanno identificato strategie che sembravano correlare con previsioni migliori, che abbiamo usato come ispirazione per sviluppare prompt per i nostri previsori basati su LLM.

#Dati di Serie Temporali e Previsioni

Un'area in cui i LLM sono stati utilizzati è quella dei dati di serie temporali, dove prevedono valori futuri basandosi su dati passati. In questo contesto, i LLM analizzano una sequenza di informazioni e fanno previsioni continue invece di prevedere un singolo evento.

La previsione delle serie temporali è stata applicata a vari problemi pratici, come prevedere il traffico o le tendenze delle vendite. Studi precedenti hanno dimostrato che i LLM possono performare bene con i dati di serie temporali, usando tecniche come il fine-tuning dei modelli per compiti specifici.

#Automazione delle Previsioni di Eventi Reali

Oltre alla previsione delle serie temporali, i ricercatori hanno iniziato a esplorare come automatizzare le previsioni per eventi singoli del mondo reale. Gli studi hanno scoperto che i LLM a volte possono eguagliare o superare le prestazioni umane mediando le previsioni di più modelli o affinando i loro modelli basati su dati storici.

Il nostro studio costruisce su questo lavoro precedente utilizzando strategie ben testate nei nostri prompt LLM. Vogliamo vedere se queste strategie migliorano le prestazioni dei LLM rispetto ai modelli di base.

#Sfide nella Costruzione del Dataset

Creare un dataset per valutare le prestazioni di previsione comporta sfide uniche. La maggior parte dei compiti usati per valutare i LLM ha tipicamente dataset statici. Al contrario, il compito di previsione deve valutare i modelli basandosi su eventi che sono già accaduti, assicurandosi che il Modello non sia stato addestrato con informazioni su quegli esiti.

Ad esempio, chiedere a un modello chi vincerà una passata elezione non misura la sua capacità predittiva. È fondamentale valutare i modelli su eventi che sono avvenuti dopo la conclusione dei loro dati di addestramento.

In aggiunta, le informazioni necessarie per fare buone previsioni possono cambiare nel tempo. Quello che sembra difficile da prevedere una settimana può diventare più chiaro la settimana successiva a causa di nuovi sviluppi. Questo rende essenziale confrontare le prestazioni del modello con l'accuratezza umana nello stesso momento per ottenere una valutazione equa.

#Utilizzando i Dati del Mercato di Previsione GleanGen

Per affrontare queste sfide, abbiamo usato il mercato di previsione GleanGen, dove gli utenti speculano sulla probabilità di eventi futuri. La piattaforma coinvolge centinaia di partecipanti che scambiano probabilità basate su eventi ben definiti.

Il dataset consiste di dettagli sugli eventi, le previsioni dei partecipanti e gli esiti finali di quegli eventi. Ogni evento ha criteri specifici, una scadenza e una data di risoluzione che identifica se alla fine era vero o falso.

#Analizzando gli Eventi nel Dataset

Ci siamo concentrati sulla nostra analisi su quattro categorie principali: Covid-19, Finanza, Settore Tecnologico e Varie. Abbiamo filtrato gli eventi che erano interni a Google per garantire un campo di gioco equo, risultando in un dataset finale che includeva oltre 700 eventi con previsioni umane.

Le previsioni per questi eventi coprono varie risoluzioni e categorie. La maggior parte degli eventi si è risolta in modo negativo, indicando che le condizioni per molte previsioni non sono state soddisfatte.

#Valutazione delle Prestazioni con il Brier Score

Per misurare le prestazioni di previsione dei modelli, abbiamo usato il Brier Score, uno strumento statistico che valuta l'accuratezza delle previsioni basandosi sulla probabilità prevista e sull'esito reale. Questo punteggio va da 0 per una previsione perfetta a 1 per una previsione completamente sbagliata.

Abbiamo anche introdotto un Weighted Brier Score per tenere conto della distribuzione non uniforme di eventi positivi e negativi nel nostro dataset. Questo metodo consente una valutazione più sfumata delle prestazioni del modello.

#Strategie di Previsione Utilizzate

Abbiamo impiegato diverse strategie note per aiutare i previsori umani, tra cui:

• Scomposizione degli Eventi: Questa tattica prevede di dividere eventi complessi in sotto-eventi più piccoli e più facili da prevedere.
• Utilizzo delle Frequenze Base: Questa strategia considera dati storici per stabilire una base per eventi correlati.
• Considerare Entrambi i Lati: Questo metodo esamina fattori che potrebbero sostenere o contrastare la probabilità che un evento accada.
• Crowd Sourcing: Mediando le previsioni di più modelli LLM, questo approccio sfrutta la saggezza collettiva di varie persone.
• Utilizzare Notizie Esterne: Qui integriamo i titoli di attualità nelle previsioni, fornendo al modello un contesto aggiuntivo su cui lavorare.

#Confronto tra Modelli e Prestazioni

Abbiamo confrontato i nostri modelli di previsione LLM con le previsioni umane e le baseline stabilite. I risultati hanno rivelato alcuni esiti sorprendenti. Il modello più semplice, che richiedeva solo un prompt di base per fare previsioni, a volte ha performato meglio dei previsori umani.

Questo risultato suggerisce che alcune complessità aggiunte per previsioni più sofisticate potrebbero aver ostacolato le prestazioni invece di migliorarle. Inoltre, l'alta accuratezza del modello di base indicava un possibile bias verso la previsione di probabilità più basse, specialmente dato che la maggior parte degli eventi nel nostro dataset si è risolta in modo negativo.

#Analisi dei Bias di Prestazione

Per esplorare ulteriormente le prestazioni del modello, abbiamo esaminato come diversi fattori impattassero le previsioni. Un'osservazione degna di nota era che il modello di base tendeva a produrre stime di bassa probabilità per molti eventi. Abbiamo sviluppato una serie di analisi per supportare questa ipotesi.

Confrontando le prestazioni di modelli che fornivano semplicemente risposte rispetto a quelli che includevano ragionamenti, abbiamo riscontrato che richiedere razionalità tendeva ad aumentare le probabilità previste. Questo implica che spingere i modelli a riflettere più a fondo sulle loro previsioni spesso porta a stime più elevate ma meno accurate.

#Valutazione delle Previsioni Inverse

Abbiamo condotto un altro esperimento invertendo gli eventi in modo da poter confrontare le previsioni del modello sugli eventi originali con quelle degli scenari invertiti. I risultati hanno mostrato un modello coerente in cui le previsioni per gli eventi originali erano molto più basse del previsto, indicando un bias verso stime di bassa probabilità.

#Conclusioni dalla Ricerca

In generale, il nostro studio ha concluso che, mentre i LLM mostrano potenziale nei compiti di previsione, hanno ancora limiti rispetto ai previsori umani. Il successo del modello di base ha evidenziato la necessità di ulteriori ricerche su come i bias dei modelli e le distribuzioni dei dati possano influenzare le previsioni.

Inoltre, l'introduzione del Weighted Brier Score si è dimostrata utile nel rivelare intuizioni sulle prestazioni del modello che altrimenti sarebbero passate inosservate.

I futuri studi dovrebbero concentrarsi sulla combinazione di strategie umane con i LLM, migliorando la collaborazione tra previsori umani e modelli intelligenti, ed esplorando nuovi metodi per tradurre tecniche di previsione comprovate in applicazioni LLM.

#Direzioni Future nella Ricerca LLM

Questo lavoro contribuisce alle discussioni in corso sulle capacità dei LLM nel prevedere eventi futuri. Comprendendo come questi modelli si confrontano con le previsioni umane e quali fattori influenzano le loro prestazioni, possiamo equipaggiare meglio i LLM per previsioni più affidabili in futuro.

Le nostre scoperte incoraggiano ulteriori esplorazioni su come affinare i modelli, ottimizzare la selezione dei dati e identificare modi per mescolare l'esperienza umana con le previsioni basate su modelli in modo efficace.