Nuovi Metodi nel Trading: Decision Transformers

Creare strategie di trading vincenti è super importante per le aziende che vogliono guadagnare mantenendo i rischi bassi. Nei vecchi tempi, i trader si affidavano alle proprie regole e caratteristiche create a mano. Questo metodo non è sempre abbastanza flessibile per stare al passo con la velocità e la complessità del mercato.

Grazie a dei geni nerd, adesso c'è un nuovo arrivato chiamato Reinforcement Learning (RL). Questo termine fancy significa che i sistemi possono imparare a prendere decisioni di trading migliori interagendo con il mercato. Tuttavia, tuffarsi nel trading live usando l'RL può essere rischioso e costoso, come tuffarsi in una piscina di squali indossando un vestito di carne. Per questo motivo, alcune persone intelligenti hanno deciso di scegliere la strada più sicura con l'Offline RL, che significa imparare dai dati di mercato passati senza rischiare soldi veri.

#La sfida con l'Offline RL

Il problema con i metodi di Offline RL esistenti è che a volte reagiscono eccessivamente ai modelli passati, come un bambino viziato che fa i capricci quando non ottiene il suo giocattolo preferito. Inoltre, i dati finanziari possono essere complicati, con ricompense che arrivano in modo sporadico o ritardato. I metodi tradizionali di Offline RL faticano a tener conto di questo, il che può portare a decisioni sbagliate, come comprare un'azione proprio quando crolla.

#Introducendo i Decision Transformers

Ora passiamo alle cose belle. Ecco il Decision Transformer (DT). Questo è un modo di vedere il Reinforcement Learning come un problema di modellazione di sequenze, il che significa concentrarsi sull'ordine delle operazioni e degli esiti. Immagina di cercare di prevedere cosa succede dopo in una storia – questo è quello che fa il DT, ma con il trading.

Il DT usa qualcosa chiamato Transformers. Pensa ai Transformers come a quei robot high-tech dei tuoi film di fantascienza preferiti, ma invece di combattere battaglie, aiutano a prevedere i movimenti del mercato. Analizzano un sacco di dati, che è fondamentale per dare senso ai modelli a lungo termine nel mondo finanziario.

#La potenza superiore del GPT-2

Qui è dove succede la magia. Abbiamo deciso di dare una spinta al nostro Decision Transformer. Abbiamo preso un modello di linguaggio popolare chiamato GPT-2, che è come un robot super intelligente che capisce il linguaggio, e lo abbiamo fatto condividere il suo potere cerebrale con il nostro strumento decisionale. In questo modo, il modello può imparare da un tesoro di dati storici per prendere decisioni di trading migliori.

Per mantenerlo efficiente e snodato, abbiamo usato una tecnica chiamata Low-Rank Adaptation (LoRA). Pensa a LoRA come a un programma di controllo peso per il nostro modello - tiene in forma il modello pesante riducendo parti superflue, ma permettendogli comunque di imparare in modo efficace.

#Sperimentando con dati reali

Per il nostro grande test, abbiamo esaminato 29 azioni nel Dow Jones Industrial Average (DJIA) e siamo riusciti a raccogliere dati dal 2009 al 2021. Creando agenti di trading virtuali che si comportavano come trader esperti, li abbiamo fatti prendere decisioni nel nostro mercato simulato. Una volta che hanno imparato le basi, abbiamo preso le loro azioni e le abbiamo usate per addestrare il nostro modello Decision Transformer.

#Confrontando i modelli

Con il nostro modello pronto a partire, volevamo misurare la sua capacità di apprendere strategie di trading. Così, l'abbiamo messo faccia a faccia con alcuni algoritmi di Offline RL ben noti per vedere come si comportava. I nostri concorrenti includevano Conservative Q-Learning (CQL), Implicit Q-Learning (IQL) e Behavior Cloning (BC) – potrebbero sembrare persone di una fantasia medievale, ma sono in realtà giocatori seri nel mondo del trading.

Per rendere le cose giuste, abbiamo assicurato che tutti i modelli avessero un numero simile di parti addestrabili. Ancora una volta, abbiamo addestrato il nostro Decision Transformer sia con i pesi potenti di GPT-2 sia con pesi inizializzati casualmente.

#Risultati dello scontro

Quando ci siamo messi a controllare i risultati, abbiamo visto alcuni esiti interessanti. Il nostro Decision Transformer, alimentato da GPT-2, è diventato un forte concorrente, spesso superando i metodi tradizionali. Ha imparato a cogliere modelli complessi e non si è tirato indietro quando le ricompense erano scarse. Pensalo come il tuo amico che riesce ancora a risolvere un cubo di Rubik anche dopo averlo nascosto sotto il letto per una settimana!

In termini di metriche di prestazione, il nostro modello si è distinto generando rendimenti cumulativi più alti mantenendo un profilo di rischio migliore rispetto a quello di alcuni esperti. Nel frattempo, quei modelli tradizionali si grattavano la testa, chiedendosi perché non avessero fatto altrettanto bene.

#Comprendere i risultati

Il grande insegnamento era chiaro: il nostro Decision Transformer, con la sua fantastica formazione nel processamento del linguaggio, poteva apprendere in modo efficiente da traiettorie esperte in un modo che gli impediva di rimanere troppo bloccato sugli eventi passati. In altre parole, non era come il tuo amico che continua a ripetere la stessa vecchia storia su come ha fatto gol una volta; si concentrava sul prendere le migliori decisioni per il futuro.

#Direzioni future

Mentre festeggiavamo i nostri successi, abbiamo anche riconosciuto che c'erano ancora aree da esplorare. Non abbiamo approfondito l'idea di combinare più traiettorie esperte, il che potrebbe aiutare a costruire una visione più ampia dei modelli di trading.

Un'altra cosa che abbiamo notato è stata come il nostro modello non fornisse spiegazioni per le sue decisioni. Immagina di avere un assistente personale che si rifiuta di spiegare perché ha scelto la cravatta rossa invece di quella blu – frustrante, vero? Quindi, trasformare scelte di trading complesse in spiegazioni semplici potrebbe essere un'avventura divertente per la ricerca futura.

Generalizzare il nostro modello ad altri mercati e classi di attivi sembra anche una grande idea. È come testare le tue abilità culinarie in diverse cucine invece di limitarti solo agli spaghetti. Inoltre, c'è spazio per esplorare se versioni più grandi dei nostri modelli pre-addestrati offrano prestazioni ancora migliori.

#Conclusione

In sintesi, abbiamo dimostrato che mescolare un Decision Transformer con GPT-2 e sfruttare la Low-Rank Adaptation può creare uno strumento efficace per l'Offline Reinforcement Learning nel trading quantitativo. Non solo regge il confronto con i metodi tradizionali, ma a volte li supera, rendendolo meritevole di essere provato per chiunque sia desideroso di migliorare il proprio gioco di trading.

Mentre guardiamo avanti, ci sono molte strade da percorrere, dall'apprendere da più esperti a far parlare i nostri modelli con spiegazioni. Il futuro sembra promettente, e chissà - magari presto ci sederemo a prendere un caffè con i nostri bot da trading, discutendo dei prossimi grandi movimenti del mercato come se fosse solo un altro giorno in ufficio!