Neue Methoden im Trading: Entscheidungs-Transformer

Gewinnende Handelsstrategien zu entwickeln ist super wichtig für Firmen, die Geld verdienen und dabei die Risiken niedrig halten wollen. Früher haben Händler oft auf ihre eigenen Regeln und Merkmale gesetzt, die sie selbst per Hand erstellt haben. Diese Methode ist nicht immer flexibel genug, um mit der Schnelligkeit und Komplexität des Marktes mitzuhalten.

Dank ein paar nerdiger Genies gibt's jetzt einen Neuling namens Reinforcement Learning (RL). Dieser schicke Begriff bedeutet, dass Systeme lernen können, bessere Handelsentscheidungen zu treffen, indem sie mit dem Markt interagieren. Allerdings kann es riskant und teuer sein, direkt ins Live-Trading mit RL einzutauchen – wie in einen Pool voller Haie mit einem Fleischanzug. Aus diesem Grund haben einige kluge Köpfe beschlossen, den sichereren Weg mit Offline RL zu gehen, was bedeutet, dass sie aus vergangenen Marktdaten lernen, ohne echtes Geld zu riskieren.

#Die Herausforderung mit Offline RL

Das Problem bei den bestehenden Offline RL-Methoden ist, dass sie manchmal überreagieren, wenn sie auf alte Muster treffen, wie ein übergrosses Kleinkind, das einen Wutanfall bekommt, wenn es sein Lieblingsspielzeug nicht bekommt. Auch sind Finanzdaten oft knifflig, mit Belohnungen, die sporadisch auftauchen oder verspätet sind. Traditionelle Offline RL-Methoden haben Schwierigkeiten, das zu berücksichtigen, was zu schlechten Entscheidungen führen kann, wie den Kauf einer Aktie genau in dem Moment, in dem sie fällt.

#Einführung der Decision Transformers

Jetzt kommen wir zu den guten Sachen. Hier ist der Decision Transformer (DT). Das ist eine Möglichkeit, Reinforcement Learning als ein Sequenzmodellierungsproblem zu betrachten, was bedeutet, dass der Fokus auf der Reihenfolge von Trades und Ergebnissen liegt. Stell dir vor, du versuchst vorherzusagen, was als Nächstes in einer Geschichte passiert – genau das macht DT, aber eben mit Trading.

DT nutzt etwas, das Transformers genannt wird. Denk an Transformers wie an diese hochmodernen Roboter aus deinem Lieblings-Sci-Fi-Film, aber statt Kämpfe zu führen, helfen sie dabei, Marktbewegungen vorherzusagen. Sie analysieren jede Menge Daten, was wichtig ist, um langfristige Muster in der Finanzwelt zu verstehen.

#Die überlegene Power von GPT-2

Hier passiert die Magie. Wir haben unseren Decision Transformer aufgepeppt und ihm einen Gehirn-Boost gegeben. Wir haben ein populäres Sprachmodell namens GPT-2 genommen, das wie ein superintelligenter Roboter ist, der Sprache versteht, und ihm erlaubt, seine Gehirnleistung mit unserem Entscheidungswerkzeug zu teilen. So kann das Modell aus einem Schatz an historischen Daten lernen, um bessere Handelsentscheidungen zu treffen.

Um es effizient und schlank zu halten, haben wir eine Technik namens Low-Rank Adaptation (LoRA) verwendet. Stell dir LoRA wie Weight-Watchers für unser Modell vor – es hält das schwere Modell in Form, indem es unnötige Teile reduziert, während es trotzdem effektiv lernen kann.

#Experimentieren mit echten Daten

Für unseren grossen Test haben wir uns 29 Aktien im Dow Jones Industrial Average (DJIA) angesehen und Daten von 2009 bis 2021 gesammelt. Indem wir virtuelle Handelsagenten erstellt haben, die wie Expertenhändler agierten, liessen wir sie in unserem simulierten Markt Entscheidungen treffen. Nachdem sie die Grundlagen gelernt hatten, nahmen wir ihre Entscheidungen und nutzen sie, um unser eigenes Decision Transformer Modell zu trainieren.

#Modelle vergleichen

Als unser Modell bereit war, wollten wir seine Fähigkeit messen, Handelsstrategien zu lernen. Also haben wir es gegen einige bekannte Offline RL-Algorithmen antreten lassen, um zu sehen, wie es abschneidet. Unsere Kontrahenten waren Conservative Q-Learning (CQL), Implicit Q-Learning (IQL) und Behavior Cloning (BC) – die klingen vielleicht wie Figuren aus einer mittelalterlichen Fantasiewelt, sind aber tatsächlich ernsthafte Mitspieler in der Handelswelt.

Um es fair zu gestalten, haben wir sichergestellt, dass alle Modelle eine ähnliche Anzahl an trainierbaren Teilen hatten. Wieder haben wir unseren Decision Transformer sowohl mit den mächtigen GPT-2-Gewichten als auch mit zufällig initialisierten Gewichten trainiert.

#Ergebnisse des Showdowns

Als wir die Ergebnisse überprüften, sahen wir einige spannende Resultate. Unser Decision Transformer, angetrieben von GPT-2, wurde zu einem starken Konkurrenten und übertraf oft die traditionellen Methoden. Es lernte, komplexe Muster zu erkennen und scheute sich nicht, wenn die Belohnungen spärlich waren. Denk daran wie an deinen Freund, der auch einen Rubik's Cube lösen kann, nachdem er ihn eine Woche lang unter seinem Bett versteckt hat!

In Bezug auf Leistungskennzahlen hob sich unser Modell hervor, indem es höhere kumulative Rückgaben generierte und ein Risikoprofil hatte, das besser war als das mancher Experten. Währenddessen kratzten sich die traditionellen Modelle am Kopf und fragten sich, warum sie nicht so gut abschnitten.

#Verständnis der Ergebnisse

Die grosse Erkenntnis war klar: unser Decision Transformer, mit seinem schickem Hintergrund in der Sprachverarbeitung, konnte effizient von den Expertentrajektorien lernen, ohne sich zu sehr in vergangene Ereignisse zu verstricken. Anders ausgedrückt, es war nicht wie dein Freund, der ständig dieselbe alte Geschichte erzählt, wie er einmal ein Tor geschossen hat; es konzentrierte sich darauf, die besten Entscheidungen für die Zukunft zu treffen.

#Zukünftige Richtungen

Während wir unsere Erfolge feierten, erkannten wir auch, dass es noch Bereiche gab, die wir erkunden könnten. Wir sind nicht tief in die Idee eingetaucht, mehrere Expertentrajektorien zu kombinieren, was hilfreich sein könnte, um ein breiteres Bild von Handelsmustern zu entwickeln.

Eine weitere Sache, die uns aufgefallen ist, war, dass unser Modell keine Erklärungen für seine Entscheidungen lieferte. Stell dir vor, du hast einen persönlichen Assistenten, der sich weigert zu erklären, warum er die rote Krawatte statt der blauen gewählt hat – frustrierend, oder? Daher könnte es ein spannendes Abenteuer für zukünftige Forschungen sein, komplexe Handelsentscheidungen in einfache Erklärungen umzuwandeln.

Unsere Modelle auf andere Märkte und Anlageklassen zu verallgemeinern, klingt auch nach einer grossartigen Idee. Es ist wie deine Kochkünste in verschiedenen Küchen zu testen, anstatt nur bei Spaghetti zu bleiben. Ausserdem gibt es Spielraum zu erkunden, ob grössere Versionen unserer vortrainierten Modelle noch bessere Leistungen liefern.

#Fazit

Zusammengefasst haben wir gezeigt, dass die Mischung aus einem Decision Transformer mit GPT-2 und der Nutzung von Low-Rank Adaptation ein effektives Werkzeug für Offline Reinforcement Learning im quantitativen Handel schaffen kann. Es behauptet sich nicht nur gegen die traditionellen Methoden, sondern überstrahlt sie manchmal sogar, was es wert macht, es auszuprobieren, wenn man sein Trading-Spiel verbessern möchte.

Wenn wir nach vorne schauen, gibt es viele Wege zu gehen, vom Lernen von mehreren Experten bis hin dazu, unsere Modelle dazu zu bringen, mit Erklärungen zu antworten. Die Zukunft sieht vielversprechend aus, und wer weiss – vielleicht sitzen wir bald mit unseren Handelsbots bei einer Tasse Kaffee zusammen und diskutieren die nächsten grossen Marktbewegungen, als wäre es ein ganz normaler Arbeitstag!