L'impatto delle narrazioni sui social media sulle previsioni economiche

Questo studio esamina come le storie condivise sui social media possano influenzare l'economia. L'idea è che queste storie possano plasmare le credenze e le azioni delle persone, portando a cambiamenti nell'attività economica. Ci concentriamo sui post di X (ex Twitter) che riguardano l'economia, utilizzando due set di dati speciali che abbiamo creato.

Utilizziamo tecniche di Natural Language Processing (NLP) per estrarre e riassumere queste narrazioni dai tweet. Poi verifichiamo quanto bene queste narrazioni possano prevedere le tendenze economiche future testandole in vari compiti di previsione finanziaria.

Sebbene il nostro lavoro mostri che combinare i dati narrativi con i modelli economici tradizionali possa essere difficile, offre anche metodi e intuizioni utili per analizzare le storie economiche trovate online. Questa ricerca è un passo importante per gli scienziati che esaminano il legame tra narrazione ed economia. I dati verranno condivisi una volta che il documento sarà accettato.

#Economia Narrativa

L'economia narrativa analizza come le storie popolari cambiano nel tempo e interagiscono con le scelte economiche delle persone. Un'idea chiave in questo campo è che queste storie possano guidare i cambiamenti nell'economia. Questo è particolarmente interessante quando si guarda all'economia nel suo insieme, poiché storie ampiamente condivise possono influenzare le decisioni di milioni di persone.

Tuttavia, questa idea è più complicata quando è applicata alla macroeconomia rispetto alla microeconomia. Questo è dovuto ai molti fattori in gioco, alla necessità di storie che coprano un'ampia gamma di argomenti e alla difficoltà di individuare relazioni causali precise. Può essere difficile dimostrare che una storia porti effettivamente a un cambiamento nell'economia. Invece, suggeriamo di utilizzare metodi NLP per analizzare le narrazioni sui social media e testare quanto bene prevedano i cambiamenti macroeconomici.

Abbiamo creato due set di dati di Twitter per catturare narrazioni legate all'economia. Esploriamo due modi diversi di utilizzare l'NLP per estrarre queste narrazioni e applicarle per le previsioni. Primo, usiamo direttamente i tweet per formare modelli di previsione, catturando le storie che contengono. Secondo, applichiamo LLM, che sono modelli di linguaggio avanzati, per estrarre e riassumere queste narrazioni, creando un altro set di dati basato sulle loro analisi.

I nostri risultati mostrano che, anche se le storie sono presenti nei nostri set di dati, combinarle con altri metodi migliora solo leggermente le previsioni economiche rispetto all'uso dei dati finanziari da soli. Questo solleva domande sull'efficacia della teoria dell'economia narrativa in contesti macroeconomici.

#Contributi

Il nostro lavoro contribuisce alla comprensione dell'economia narrativa in diversi modi:

1. Un framework per esaminare il ruolo delle narrazioni nella previsione dei cambiamenti macroeconomici.
2. Tre set di dati accuratamente realizzati: due da Twitter e uno basato su analisi di LLM.
3. Analisi dettagliate che mostrano i nostri metodi e evidenziano la necessità di nuovi modelli che possano testare meglio l'influenza delle narrazioni nell'economia.

#Risorse Dati

#Set di Dati Twitter

Abbiamo scelto Twitter per catturare narrazioni economiche perché riflette una vasta gamma di opinioni in tempo reale. I nostri due set di dati si concentrano su tweet relativi a argomenti economici. A differenza di studi precedenti che si sono limitati a tweet legati a specifiche azioni o aziende, il nostro approccio copre un'ampia gamma di argomenti e storie.

Il primo set di dati va dai primi giorni di Twitter fino alla pandemia di COVID-19, mentre il secondo set di dati copre le tendenze dalla fine del 2021 in poi. Entrambi i set di dati sono stati accuratamente compilati utilizzando parole chiave specifiche e contengono solo tweet originali in inglese.

#Set di Dati Twitter Pre-Pandemia

Utilizzando l'API di Twitter, abbiamo raccolto un ampio set di dati di 2,4 milioni di tweet da gennaio 2007 a dicembre 2020. Questo set di dati copre sei aree rilevanti per l'economia, come affari, politica e attualità. Abbiamo utilizzato parole chiave mirate per raccogliere tweet nel tempo.

Per dare priorità ai tweet con una portata più ampia, prima abbiamo raccolto i 200 tweet più popolari in base al numero di follower, poi ne abbiamo campionati 100 casualmente per ridurre il bias da account altamente attivi. Questo processo ha prodotto circa 400.000 tweet per ciascun argomento, contribuiti da circa 250.000 utenti.

#Set di Dati Twitter Post-2021

Questo set di dati è stato creato specificamente per l'analisi utilizzando LLM, coprendo tweet da settembre 2021 a luglio 2023. Abbiamo limitato questa raccolta a tweet di utenti con un minimo di 1.000 follower, concentrandoci su argomenti legati agli affari e all'economia. Dopo aver filtrato, abbiamo raccolto 2.881 tweet da 1.255 utenti.

#Indicatori Macroeconomici

Ci concentriamo su tre Indicatori Economici chiave:

1. Federal Funds Rate (FFR): è il tasso d'interesse al quale le banche prestano i saldi di riserva overnight. L'FFR è uno strumento importante di politica monetaria ed è ampiamente monitorato per valutare la salute economica.
2. SP 500: questo indice di mercato azionario traccia le performance delle 500 maggiori aziende quotate in borsa negli Stati Uniti. Riflette la fiducia collettiva degli investitori ed è visto come un barometro dell'economia.
3. CBOE Volatility Index (VIX): questo indice misura le aspettative di mercato sulla futura volatilità in base ai prezzi delle opzioni SP 500, indicando spesso paura o stabilità degli investitori nel mercato.

Questi indicatori sono ideali per valutare il potenziale dei dati narrativi nella previsione delle tendenze economiche grazie alla loro elevata sensibilità all'opinione pubblica.

#Setup Sperimentale

Per testare se le narrazioni possono aiutare a prevedere cambiamenti finanziari, abbiamo progettato una serie di compiti di previsione. Ogni compito mira a uno dei nostri tre indicatori economici su diversi lassi di tempo: il giorno successivo, la settimana successiva e il mese successivo.

Valutiamo i nostri modelli in base al Mean Squared Error per i compiti di regressione e all'accuratezza per i compiti di classificazione. Confrontiamo anche i nostri modelli con vari baselines per valutare le loro performance.

#Compiti di Previsione

Valutiamo la capacità predittiva delle narrazioni su tre lassi di tempo:

• Valore successivo: prevedere il valore target nel lasso di tempo specificato.
• Cambiamento percentuale: prevedere il cambiamento nel valore target rispetto al giorno precedente.
• Cambiamento di direzione: classificare se il valore target aumenterà o diminuirà.

#Baseline Finanziari

Abbiamo anche creato un insieme di modelli di baseline:

• Come-precendente: il valore successivo è lo stesso del precedente.
• Inverso-precendente: il valore successivo è l'opposto del precedente.
• Maggiore-settimana: voto maggioritario delle tendenze della settimana precedente.
• Predittore aumento: prevede sempre un aumento.
• Predittore diminuzione: prevede sempre una diminuzione.

#Modelli

Abbiamo categorizzato i nostri modelli in tre tipi in base all'input che utilizzano:

1. Finanziario (F): modelli che si basano su dati finanziari storici.
2. Testuale (T): modelli basati esclusivamente su dati testuali dai tweet.
3. Testuale Finanziario (TF): modelli che combinano dati testuali e finanziari.

L'obiettivo era vedere se combinare narrazioni con dati finanziari potesse portare a previsioni migliori.

#Modelli Finanziari

Abbiamo utilizzato modelli di machine learning tradizionali, tra cui la regressione lineare, e modelli più recenti come DA-RNN e T5. Questi modelli esaminano i valori finanziari storici per fare previsioni.

#Modelli Testuali

Per i modelli testuali, abbiamo utilizzato diverse rappresentazioni testuali. Questo include:

• Sentimenti giornalieri: catturando il tono generale dei tweet utilizzando l'analisi del sentimento.
• Rappresentazioni basate su embedding: utilizzando modelli pre-addestrati per derivare significato dai tweet.

#Integrazione di Modelli Testuali e Finanziari

Abbiamo lavorato per combinare i modelli testuali e finanziari per migliorare le previsioni. Le strategie includono concatenazione semplice e modelli più complessi come DA-RNN, che utilizza valori precedenti insieme ai dati narrativi per le previsioni.

#Analisi delle Narrazioni nei Dati Testuali

Poiché le narrazioni formano la base dei nostri dati di input, verifichiamo prima la loro presenza nei nostri set di dati.

#Analisi delle Narrazioni dei Tweet

Abbiamo analizzato le narrazioni dai nostri set di dati di Twitter. Questo ha rivelato come alcune storie, come la Brexit o crisi finanziarie, fluiscano e refluiscano nel tempo, riflettendo eventi del mondo reale.

#Analisi delle Narrazioni Basate su LLM

Successivamente, abbiamo esplorato la capacità degli LLM di estrarre e riassumere narrazioni dai tweet. Abbiamo generato analisi sui nostri set di dati post-2021 che collegavano tweet a potenziali impatti di mercato, fornendo intuizioni su come queste narrazioni possano influenzare le tendenze finanziarie.

#Prevedere Utilizzando Analisi di LLM

Siamo passati dall'usare solo tweet a includere anche analisi prodotte dagli LLM. Questo ha permesso una comprensione più sfumata e un contesto più ricco quando si fanno previsioni.

#Previsione del Giorno Successivo Basata su Sentimenti

Utilizzando punteggi di sentiment giornalieri dai tweet, abbiamo testato vari modelli tradizionali di machine learning per le previsioni FFR del giorno successivo. I risultati hanno mostrato che i modelli che incorporavano dati finanziari hanno superato significativamente quelli basati solo su dati testuali.

#Embedding per Previsione di Serie Temporali

Per catturare informazioni più complesse dai tweet, ci siamo concentrati sulle rappresentazioni embedding. Abbiamo valutato questi modelli utilizzando un approccio di serie temporali, cercando di catturare meglio le dinamiche presenti nei dati.

#Previsione Utilizzando Analisi di LLM

Dopo aver analizzato direttamente i tweet, abbiamo utilizzato analisi generate da LLM per fare previsioni sugli indicatori finanziari. Questo metodo ha mostrato promettenti risultati ma ha anche riflettuto incoerenze nelle previsioni del modello, suggerendo che è necessario un ulteriore affinamento.

#Discussione e Implicazioni dei Risultati

I risultati di questa ricerca ci portano a riflettere sull'idea dell'economia narrativa. Sebbene abbiamo identificato narrazioni nei nostri set di dati e stabilito tecniche NLP per l'analisi, l'impatto di queste storie sulle previsioni macroeconomiche è stato limitato. I nostri modelli che includevano dati narrativi non hanno superato significativamente quelli basati solo su dati finanziari.

Anche se abbiamo scoperto che gli LLM potessero apprendere narrazioni macroeconomiche dai social media, l'applicazione pratica di questa conoscenza per le previsioni rimane incerta. Questo solleva domande su quanto le narrazioni da sole possano guidare o prevedere cambiamenti economici, specialmente a un livello macro.

#Limitazioni

Questa ricerca ha affrontato diverse sfide. Le previsioni a breve termine possono essere difficili a causa della natura imprevedibile dei mercati. Le teorie dei mercati efficienti suggeriscono che le informazioni pubbliche vengono spesso rapidamente riflesse nei prezzi, il che potrebbe limitare l'efficacia delle previsioni basate su narrazioni.

Abbiamo anche esaminato un numero limitato di obiettivi economici. Espandere per includere vari obiettivi o compiti finanziari potrebbe fornire prove più forti per l'influenza delle narrazioni.

Identificare il ritardo temporale tra quando una narrazione sorge e quando influisce sugli indicatori economici è complesso. Anche se la nostra analisi è stata approfondita, le narrazioni possono richiedere definizioni più sfumate e processi di identificazione più chiari.

Infine, ci siamo affidati a LLM pubblicamente disponibili, e utilizzare modelli più avanzati potrebbe migliorare i risultati. È importante essere consapevoli dei rischi coinvolti nell'uso della tecnologia per le previsioni economiche, poiché un uso improprio potrebbe portare a conseguenze negative.

#Conclusione

Questo studio ha indagato la relazione tra narrazioni nei social media e indicatori economici principali. Analizzando tweet legati all'economia, abbiamo cercato di capire se gli LLM potessero apprendere da queste narrazioni per fare previsioni più accurate.

Anche se i nostri risultati iniziali indicano che le narrazioni possono essere estratte, il loro impatto nel migliorare le previsioni economiche non è stato significativo. Questa intuizione apre la strada a futuri studi su modelli e metodi più raffinati per valutare l'influenza delle narrazioni nell'economia.

Nel complesso, il lavoro evidenzia la complessità delle previsioni economiche e suggerisce che, sebbene le narrazioni possano essere importanti, il loro ruolo nell'influenzare il comportamento Macroeconomico è ancora una questione che necessita di ulteriori esplorazioni. Il potenziale per una migliore comprensione delle storie che plasmano il nostro paesaggio economico è vasto, e questo studio serve come trampolino di lancio per indagini più approfondite nel campo.