Analizzando il Bias di Sentimento nelle Strategie di Trading Azionario

Nel mondo di oggi, i modelli linguistici di grandi dimensioni (LLM) come ChatGPT possono analizzare articoli di notizie ed estrarre informazioni che potrebbero aiutare a prendere decisioni sul trading di azioni. Questi modelli possono identificare Sentimenti positivi o negativi dai titoli delle notizie, che possono poi essere usati per prevedere come un'azione potrebbe comportarsi nel breve termine. Tuttavia, c'è una sfida quando si tratta di fare backtesting di queste strategie. Il backtesting è il processo di testare una Strategia di Trading usando dati storici. Se i dati usati per addestrare un modello si sovrappongono ai dati usati per il test, può portare a risultati inaccurati.

Ci sono due principali tipi di bias che possono sorgere in questa situazione. Il primo è conosciuto come bias di look-ahead. Questo si verifica quando un modello ha conoscenza preventiva delle performance azionarie che arrivano dopo un articolo di notizie. Per esempio, se il modello sa come un'azione ha reagito dopo una certa notizia, può portare a una previsione eccessivamente ottimista. Il secondo tipo di bias è chiamato effetto di distrazione. Questo succede quando la conoscenza generale di un modello su un'azienda interferisce con la sua capacità di misurare accuratamente il sentimento delle notizie. In termini più semplici, se il modello ha conoscenza anticipata di un'azienda, potrebbe fraintendere il sentimento di nuove informazioni.

Per capire questi bias, i ricercatori hanno esaminato strategie di trading guidate dal sentimento dei titoli delle notizie finanziarie. Hanno confrontato le performance delle strategie che usavano titoli originali con quelle che avevano eliminato gli identificatori delle aziende. Sorprendentemente, è emerso che i titoli anonimizzati-dove il nome dell'azienda era nascosto-hanno dato risultati migliori nei test durante il periodo in cui il modello è stato addestrato. Questo suggeriva che l'effetto di distrazione era più forte del bias di look-ahead.

Quando hanno esaminato il test out-of-sample-significa testare dati che il modello non aveva visto prima-il bias di look-ahead non era un problema significativo, ma la distrazione aveva ancora il potenziale di influenzare i risultati. Questo ha portato alla conclusione che la procedura per anonimizzare i nomi delle aziende nei titoli potrebbe essere utile non solo per il testing ma anche per il trading nel mondo reale.

#Panoramica degli Studi Precedenti

Vari studi di ricerca hanno dimostrato che le notizie possono spesso portare a previsioni sui ritorni di mercato a breve termine. Molti di questi studi hanno usato elenchi fissi di parole per analizzare i sentimenti o si sono basati su tecniche che potevano essere aggiornate frequentemente. Recentemente, l'emergere di modelli linguistici di grandi dimensioni come GPT si è rivelato utile per interpretare i testi delle notizie per prevedere le reazioni del mercato, anche se questi modelli non erano stati progettati specificamente per previsioni sul mercato azionario.

Questi modelli sono addestrati su enormi dataset che coprono molti anni di informazioni. Questa qualità, che è una grande parte della loro efficacia, presenta problemi per creare e testare strategie di trading. Se un modello analizza un articolo di notizie che rientra nel suo periodo di addestramento, potrebbe già "sapere" qualcosa che è successo dopo, rendendo qualsiasi previsione distorta.

Una possibile soluzione sarebbe riaddestrare il modello su nuovi dati, ma questo richiede risorse computazionali significative ed è poco realistico per la maggior parte dei ricercatori. Di conseguenza, i ricercatori sono spesso limitati a testare modelli su dati successivi al periodo di addestramento.

#Il Processo di Anonimizzazione

Per affrontare questo problema di bias, i ricercatori hanno proposto un metodo semplice: anonimizzare i nomi delle aziende nei titoli delle notizie. Facendo ciò, miravano a ridurre il bias quando testavano le risposte del modello a articoli di notizie all'interno della sua finestra di addestramento. Per misurare gli effetti di questa anonimizzazione, hanno confrontato strategie di trading basate su testi originali e anonimizzati.

Le strategie di trading sono state progettate per comprare azioni dopo buone notizie e venderle dopo cattive notizie. Il modello analizzava se un titolo fosse buono, cattivo o neutro. Per esempio, se il titolo dice "Google annuncerà gli utili domani", il modello potrebbe considerarlo neutro. Tuttavia, se il modello sa che il report sugli utili di Google era pessimo, potrebbe classificare la notizia come cattiva, dimostrando il bias di look-ahead.

Per mitigare questo, i ricercatori hanno anonimizzato i titoli e hanno trovato che il modello poteva identificare correttamente sentimenti neutri quando il nome dell'azienda era nascosto. Confrontando i risultati tra i titoli originali e quelli anonimizzati, i ricercatori potevano quantificare i bias presenti nel backtesting.

Il bias di look-ahead dovrebbe migliorare le performance, poiché sapere come il mercato reagisce alle notizie porterebbe tipicamente a ritorni più elevati. Al contrario, l'effetto di distrazione potrebbe migliorare o peggiorare le previsioni del modello, a seconda di quanto bene il modello comprende l'azienda. È importante notare che, mentre il bias di look-ahead influisce solo sui dati di addestramento, l'effetto di distrazione può influenzare le previsioni anche quando si testano nuovi dati.

#Strategie di Trading e Performance

I ricercatori hanno confrontato strategie di trading che utilizzavano sia i titoli originali sia quelli anonimizzati. I risultati hanno mostrato che i titoli anonimizzati portavano a ritorni migliori durante il periodo di addestramento. Questa scoperta indicava che l'effetto di distrazione era più dannoso rispetto ai vantaggi ottenuti attraverso il bias di look-ahead.

Analizzando ulteriormente i risultati, i ricercatori hanno scoperto che l'LLM spesso agiva con eccessiva fiducia. Hanno confrontato scenari in cui il modello fraintendeva il sentimento nei titoli originali o anonimizzati. Hanno riscontrato che quando la risposta originale era errata ma quella anonimizzata era neutra, portava a perdite significative. Al contrario, quando la risposta anonimizzata era errata mentre quella originale era neutra, le perdite erano minori. Questo suggeriva che, anche se il modello era spesso corretto, quando commetteva errori, quegli errori potevano essere gravi.

I risultati out-of-sample hanno trovato che le differenze nelle performance tra titoli originali e anonimizzati non erano statisticamente significative, ma ci sono comunque indicazioni che i titoli anonimizzati performassero meglio per le aziende più grandi. Questo ha suggerito che anonimizzare i testi delle notizie non è solo utile per ridurre i bias, ma potrebbe anche migliorare le performance nel mondo reale.

#Fonti di Dati Utilizzate per l'Analisi

Lo studio ha utilizzato dati giornalieri del mercato azionario per valutare le performance di varie aziende. Questi dati includevano prezzi di apertura e chiusura giornalieri e capitalizzazione di mercato, che hanno aiutato a calcolare i ritorni. I ricercatori hanno usato due set di titoli di notizie: uno è stato raccolto tramite web scraping e l'altro è stato preso da Thomson Reuters relativo alle aziende S&P 500.

Per il dataset raccolto, i ricercatori hanno creato la propria collezione di titoli cercando in internet articoli pubblicati in date specifiche. Hanno cercato di abbinare ciascun titolo di notizia ai rispettivi dati sulle performance azionarie. Questo processo ha portato a un numero significativo di titoli legati a migliaia di aziende.

Il dataset di Thomson Reuters includeva titoli specificamente da aziende S&P 500. La differenza principale tra queste due fonti era la capitalizzazione di mercato media, dove i titoli di Thomson Reuters erano generalmente legati a aziende più grandi.

#Utilizzo di GPT per l'Analisi del Sentimento

Per valutare quanto bene GPT potesse eseguire l'analisi del sentimento, i ricercatori hanno usato un formato di prompt specifico per chiedere al modello se un titolo fosse buono o cattivo. Il modello è stato istruito a rispondere con una risposta chiara e anche a fornire una spiegazione concisa. I ricercatori hanno anche garantito che l'output del modello fosse riproducibile impostando parametri specifici.

Usando questo approccio, l'output è stato quantificato in base ai punteggi di sentimento. Sentimenti positivi hanno ricevuto un punteggio di 1, neutro un punteggio di 0, e sentimenti negativi un punteggio di -1. Allineando questi punteggi con le performance azionarie durante i periodi di mercato, i ricercatori hanno potuto valutare l'efficacia delle strategie di trading.

#Performance delle Strategie di Trading

I ricercatori hanno analizzato tre strategie di trading basate sui punteggi GPT-solo long, solo short e long-short. La strategia solo long prevedeva di comprare azioni con punteggi GPT positivi per un giorno, mentre la strategia solo short prevedeva di vendere allo scoperto aziende con punteggi GPT negativi per lo stesso periodo. La strategia long-short combinava entrambe le tattiche.

Nel corso della loro analisi, è emerso che le strategie long-short generavano ritorni significativamente più elevati rispetto al mercato complessivo utilizzando entrambi i set di titoli. In particolare, il trading su titoli raccolti ha prodotto ritorni migliori rispetto al trading su titoli di Thomson Reuters, probabilmente a causa del numero maggiore di notizie negative disponibili nel dataset raccolto, che ha fornito ample opportunità di vendita allo scoperto.

Confrontando i ritorni giornalieri medi per le strategie originali e anonimizzate, i risultati hanno costantemente mostrato che i titoli anonimizzati superavano i titoli originali durante il periodo di addestramento. Questo suggerisce che l'effetto di distrazione negativo superava qualsiasi potenziale beneficio dal bias di look-ahead.

#Analisi Dettagliata delle Performance

I ricercatori hanno condotto un'analisi più approfondita suddividendo i risultati in base a parametri specifici, come la dimensione dell'azienda e il tipo di risposta generata da GPT. Hanno categorizzato le risposte in vari scenari-corretto, errato o neutro-e hanno calcolato i ritorni per ciascuna categoria.

Questa analisi ha fornito informazioni su come le risposte del modello abbiano influenzato la performance del trading. Ha mostrato che, sebbene le risposte originali fossero corrette più spesso, gli errori costosi commessi quando il modello fraintendeva i sentimenti influenzavano negativamente i ritorni complessivi. In altre parole, anche se il modello poteva sembrare più accurato, portava anche a decisioni di trading peggiori.

#Capitalizzazione di Mercato delle Aziende Raccomandate

Un altro aspetto di interesse era la capitalizzazione di mercato delle aziende che ricevevano raccomandazioni di acquisto o vendita da GPT. Le evidenze mostrano che le aziende più grandi avevano maggiori probabilità di ricevere raccomandazioni positive o negative, suggerendo che la comprensione del modello fosse influenzata dalla conoscenza preventiva su queste aziende.

Questa tendenza è persiste anche nel test out-of-sample, dove i ricercatori hanno trovato che le aziende più grandi venivano raccomandate più spesso, indicando un potenziale effetto di distrazione. I risultati suggerivano che quando GPT era fiducioso riguardo a un'azienda, faceva previsioni basate su quella conoscenza preventiva, il che poteva portare a imprecisioni.

#Potere Predittivo dei Punteggi GPT

Per comprendere ulteriormente le capacità predittive dei punteggi GPT, i ricercatori hanno eseguito varie analisi statistiche, registrando i ritorni azionari in base ai punteggi di sentimento. I risultati hanno indicato che i punteggi prodotti dai titoli anonimizzati erano più efficaci di quelli derivati dai titoli originali.

I risultati hanno suggerito che l'effetto di distrazione dominava il bias di look-ahead. Questo modello era notevolmente coerente tra le aziende più grandi, rafforzando l'idea che la conoscenza preventiva potesse distorcere le valutazioni del modello.

#Betas di Mercato e Performance Complessiva

I ricercatori hanno anche esaminato la correlazione delle strategie di trading con la performance complessiva del mercato attraverso regressioni. L'obiettivo era capire quanto fosse sensibile la performance del modello alla direzione del mercato. I risultati hanno mostrato che le strategie basate su titoli anonimizzati avevano una correlazione inferiore con i movimenti complessivi del mercato rispetto a quelle basate su titoli originali.

Dimostrando beta più bassi, o sensibilità ai cambiamenti di mercato, le strategie anonimizzate hanno mostrato maggiore indipendenza, che è tipicamente desiderabile per gli investitori. Il fatto che l'effetto di distrazione sembrasse meno significativo nella performance out-of-sample indica che il modello funzionava più efficacemente quando la conoscenza preventiva veniva esclusa dall'equazione.

#Conclusione

In conclusione, modelli linguistici di grandi dimensioni come GPT possono estrarre segnali di trading utili dai titoli delle notizie, ma le sfide del backtesting delle strategie sono significative. La presenza del bias di look-ahead può creare previsioni eccessivamente ottimiste, mentre l'effetto di distrazione potrebbe interferire con l'analisi del sentimento.

Attraverso l'anonimizzazione dei nomi delle aziende nei titoli, i ricercatori hanno trovato sorprendenti miglioramenti nelle performance durante il periodo di addestramento, indicando che l'effetto di distrazione influenzava negativamente l'analisi del trading. Questa conclusione è stata particolarmente evidente per le aziende più grandi, che sono spesso più rappresentate nei dati di addestramento.

Anche se la performance out-of-sample non ha mostrato segni di bias di look-ahead, ha comunque dimostrato il potenziale per effetti di distrazione-una scoperta che potrebbe informare su come gli LLM vengono utilizzati nelle strategie di trading nel mondo reale.

I risultati suggeriscono che l'anonimizzazione potrebbe non solo aiutare a eliminare i bias, ma anche migliorare l'efficacia complessiva dell'analisi del sentimento eseguita dagli LLM. In generale, questa ricerca sottolinea l'importanza di considerare i bias nell'analisi del sentimento e nelle strategie di trading, migliorando in ultima analisi i metodi utilizzati da investitori e analisti.