Fortschrittliche Marktsimulationen mit lernenden Agenten

Investoren und Regulierer brauchen Tools, die ihnen helfen zu verstehen, wie echte Märkte funktionieren. Ein guter Marktsimulator kann ihnen zeigen, was passieren könnte, wenn sie andere Entscheidungen treffen. Traditionelle Marktsimulatoren folgen oft strengen Regeln, was es schwer macht, das unberechenbare Verhalten echter Marktteilnehmer nachzuahmen. Diese Studie beleuchtet einen neuen Weg, um einen Marktsimulator zu erstellen, der auf fortschrittlichen Agenten basiert, die von ihrer Umgebung lernen können. Wir zeigen, wie diese lernenden Agenten Marktsimulationen erstellen können, die dem tatsächlichen Marktgeschehen ähneln.

#Wichtigkeit realistischer Marktsimulatoren

Moderne Finanzmärkte sind entscheidend für die Preisbildung und die Beeinflussung von Volkswirtschaften rund um den Globus. Zu verstehen, wie sich diese Märkte auf verschiedene Ereignisse reagieren, ist für Anleger und Regulierer von grosser Bedeutung. Ein realistischer Marktsimulator kann Fragen zu potenziellen Ergebnissen beantworten und den Teilnehmern helfen, klügere Entscheidungen in volatilen Situationen zu treffen. Es gibt viele Studien darüber, wie man Marktverhalten simulieren kann, aber agentenbasierte Simulatoren sind besonders vielversprechend, weil sie in der Lage sind, echte Marktdynamiken nachzubilden.

Konventionelle Simulatoren nutzen feste Regeln für ihre Agenten, was sie unflexibel macht. Sie haben Probleme, sich an Veränderungen im Markt anzupassen, im Gegensatz zu echten Marktteilnehmern, die sich anpassen können. Lernende Agenten können ihre Strategie optimieren, indem sie ihre Umgebung und die Aktionen anderer beobachten, was sie realistischer macht.

#Die Rolle des Reinforcement Learnings

In letzter Zeit haben maschinelle Lerntechniken in verschiedenen finanziellen Anwendungen wie Portfoliomanagement, Kreditbewertungen und Auftragsausführungen Erfolg gezeigt. Reinforcement Learning (RL) ist eine Art des maschinellen Lernens, bei der Agenten lernen, wie sie die besten Entscheidungen treffen, ohne alle Details ihrer Umgebung zu kennen. Mehrere aktuelle Studien haben untersucht, wie man RL-Agenten in Finanzmarktsimulationen einsetzen kann. Einige haben versucht, Märkte mit vielen RL-Agenten zu schaffen, die jeweils ein vereinfachtes Investitionsproblem lösen. Echte Teilnehmer am Aktienmarkt haben jedoch verschiedene Ziele und Strategien. Daher macht es Sinn, diese Agenten in einer realistischeren Umgebung lernen zu lassen.

Das in dieser Studie diskutierte Simulationsframework schlägt eine kleine Gruppe von RL-Agenten vor, die sich anpassen und komplexe Handelsstrategien lernen können. Dieses Papier vergleicht die Leistung dieser RL-Agenten mit traditionellen regelbasierten Agenten und realen Marktdaten.

#Wichtige Konzepte

#Reinforcement Learning-Agenten

Ein RL-Agent arbeitet innerhalb eines Rahmens, der mehrere Schlüsselkomponenten umfasst. Jeder Agent interagiert mit einem Marktplatz, der durch eine Reihe von Marktzuständen dargestellt wird, welche die aktuelle Situation des Orderbuchs und die Kontoinformationen des Agenten beschreiben. Der Agent hat eine Reihe von Aktionen, die er ergreifen kann, wie z.B. Kauf- oder Verkaufsaufträge platzieren. Während er mit dem Markt interagiert, erhält der Agent Belohnungen basierend auf seinen Aktionen und dem aktuellen Zustand, was ihm ermöglicht, im Laufe der Zeit zu lernen.

Unsere Arbeit verwendet eine Methode, die als Proximal Policy Optimization (PPO) bekannt ist, um die Leistung dieser RL-Agenten zu verbessern.

#Marktstruktur

Die meisten Finanzbörsen verwenden heute ein Continuous Double Auction (CDA)-Modell, bei dem Händler jederzeit Kauf- und Verkaufsaufträge platzieren können. Der Markt führt zwei Limit Order Bücher (LOBs): eines für Kaufaufträge und eines für Verkaufsaufträge. Händler geben Anweisungen, um zu bestimmten Preisen zu kaufen oder zu verkaufen, die als Limitaufträge bekannt sind. Marktaufträge hingegen werden sofort zu den aktuellen Marktpreisen ausgeführt. Im Allgemeinen bleiben Limitaufträge im Orderbuch, bis sie mit einem Marktauftrag übereinstimmen.

#System und Agenten

#Systemüberblick

Das System umfasst eine Maschinenlaufwerk, das die LOBs organisiert und Trades ausführt. Es gibt auch ein Brokerage-Center, das jedes Agentenkonto verfolgt, einschliesslich verfügbarer Mittel und Vermögenswerte. Agenten senden ihre Aufträge über ihre Konten an eine Matching-Engine. Die Matching-Engine verwaltet das CDA-Marktmuster, aktualisiert die LOB-Informationen und teilt sie in Echtzeit mit jedem Handelsagenten.

In diesem System gibt es zwei Arten von Agenten: Liquidität nehmende (LT) Agenten und Markt machende (MM) Agenten. Jeder Agent beobachtet den Markt unabhängig, trifft Entscheidungen über Aktionen, erhält Feedback und optimiert seine Strategie. Sie lernen aus ihren Aktionen und dem Feedback, das sie erhalten. Das Belohnungssystem, das das Lernen jedes Agenten leitet, unterscheidet sich, wie in späteren Abschnitten detailliert beschrieben.

Diese Simulation verbessert vorherige Modelle auf zwei bedeutende Weisen. Erstens arbeiten alle Agenten in separaten Threads, was es ihnen ermöglicht, gleichzeitig zu arbeiten, ohne auf andere zu warten. Zweitens sind die Agenten vielfältig, selbst innerhalb derselben Kategorie, was zu unterschiedlichen Verhaltensweisen führt.

#Markt machender (MM) Agent

MM-Agenten sind dafür verantwortlich, Liquidität in den Markt zu bringen. Sie beobachten verschiedene Marktelemente, wie z.B. die jüngsten Preise, die obersten Ebenen des LOB, ihr Inventar und ihre Kaufkraft. In jedem Zeitschritt platzieren diese Agenten Limitaufträge auf beiden Seiten des LOB. Ihre Aktionen basieren auf ihren vorherigen Beobachtungen und einer Reihe von Hyperparametern, die leiten, wie sie auf Marktveränderungen reagieren.

Das Belohnungssystem für MM-Agenten ermutigt sie, die Rentabilität zu steigern, während sie die mit dem Inventar verbundenen Risiken managen. Sie zielen darauf ab, von Handels-Spreads zu profitieren, anstatt ihr Inventar zu lange zu halten.

#Liquidität nehmender (LT) Agent

LT-Agenten interagieren mit dem Markt, indem sie Aufträge platzieren. Sie haben ebenfalls einen ähnlichen Beobachtungsraum, müssen jedoch keine Liquiditätsbewertungsprozentsätze verfolgen. Bei jedem Schritt entscheiden sie, ob sie Kauf- oder Verkaufsaufträge platzieren oder keine Aktion unternehmen. Ihre Belohnung fördert einen Fokus auf Rentabilität sowie die Aufrechterhaltung eines Gleichgewichts in ihrer Auftragsfrequenz.

#Simulationsdetails

Wenn die Simulation startet, operieren alle Agenten mit unterschiedlichen Beträgen an verfügbaren Mitteln und Vermögenswerten. Ihre Hyperparameter werden zufällig ausgewählt. Während der Simulation beobachten sie den Markt und reichen ihre Aufträge ein. Jeder Agent sammelt Daten über seine Erfahrungen und trainiert unabhängig, nachdem er genügend Daten angesammelt hat. Für das Training verwenden wir die PPO-Methode.

Die Simulation läuft auf einer Hochfrequenzhandelsplattform, die die Live-Marktsituation realistisch nachahmt. Zufällige Verzögerungen im Netzwerk tragen ebenfalls dazu bei, die Simulation lebensechter zu machen.

#Experimentdesign

Um das Verhalten von RL-Agenten zu verstehen, muss die Simulation effektiv wie ein echter Markt aussehen. Wir identifizieren wichtige Eigenschaften, die in tatsächlichen Finanzmärkten üblich sind und beurteilen, ob unsere Simulation diese Eigenschaften aufweist.

Während RL-Agenten typischerweise stabile Marktbedingungen annehmen, gibt es in echten Situationen viele Variablen, die sich im Laufe der Zeit ändern können. Daher wollen wir herausfinden, ob das Training von RL-Agenten während der Simulation zu einer besseren Leistung unter sich ändernden Bedingungen führt.

#Gewünschte Marktmerkmale

Ein realistischer Simulator sollte die Verhaltensweisen und Merkmale echter Märkte nachbilden. Zwei Hauptfaktoren zur Bewertung sind statistische Eigenschaften und Marktverantwortlichkeit. Statistische Eigenschaften umfassen Muster in Preis- und Renditeverteilungen, während die Verantwortlichkeit misst, wie Marktvariablen auf grosse Handelsaktionen reagieren.

#Statistische Eigenschaften

Forschungen haben gezeigt, dass bestimmte statistische Eigenschaften für eine Reihe von Finanzanlagen gelten. Beispielsweise weisen Aktienrenditen oft fette Schwänze auf, was bedeutet, dass extreme Preisänderungen häufiger auftreten, als es die normale Verteilung vorhersagt. In dieser Studie konzentrieren wir uns auf mehrere bekannte Marktmerkmale, darunter:

1. Fette Schwänze und Kurtosisverfall
2. Abwesenheit von Autokorrelationen
3. Langsame Abnahme der Autokorrelation bei absoluten Renditen
4. Volatilitätsclustering

Neben der allgemeinen Marktentwicklung werden wir auch die individuelle Leistung von MM-Agenten analysieren, um ihr Inventar und ihre Rentabilität zu bewerten.

#Marktverantwortlichkeit

Ein Markt, in dem in einem geschlossenen Umfeld Handelsgeschäfte stattfinden, kann stabil bleiben. Es ist jedoch wertvoll zu analysieren, wie sich die Simulation verhält, wenn externe Faktoren eingeführt werden. Ein grosses Verkaufsangebot kann beispielsweise zu erheblichen Preisänderungen führen.

Um die Marktverantwortlichkeit zu bewerten, werden wir Experimente durchführen, die plötzliche grosse Verkaufsaufträge einführen und verfolgen, wie der Markt reagiert.

#Kontinuierliches Lernen

In unseren Experimenten werden drei Gruppen von Agenten uns helfen, die Auswirkungen des kontinuierlichen Lernens besser zu verstehen:

1. Gruppe A - Gruppe mit kontinuierlichem Training: Diese Agenten durchlaufen ein anfängliches Training und lernen während der gesamten Simulation weiter.
2. Gruppe B - Testgruppe: Diese Agenten sind ebenfalls vortrainiert, lernen jedoch während der Simulation nicht weiter.
3. Gruppe C - Untrainierte Gruppe: Diese Gruppe umfasst Agenten, die ohne Training starten und Simulationen durchführen, ohne neues Wissen zu erwerben.

Um faire Vergleiche sicherzustellen, teilen die Gruppen ähnliche anfängliche Trainingsbedingungen. Unser Ziel ist es, Zufälligkeiten zu minimieren, um die Auswirkungen des Lernens effektiv zu bewerten.

Um die von RL-Agenten generierten Ergebnisse zu vergleichen, werden wir auch ein Simulationsmodell mit Null-Intelligenz-Agenten einbeziehen. Dies ermöglicht es uns, stilisierte Fakten und das Verhalten von MM-Agenten in verschiedenen Szenarien zu bewerten.

#Experimentergebnisse

#Statistische Eigenschaften der beobachteten Asset-Preise

Anhand historischer Tick-Daten grosser Unternehmen analysieren wir die Leistung der Agenten in Gruppe A. Zentrale Erkenntnisse umfassen:

#Fette Schwänze und Kurtosisverfall

Bei der Untersuchung der Verteilungen stellen wir fest, dass sowohl RL- als auch Null-Intelligenz-Agenten fette Schwänze in den Preisrenditen aufweisen, was eng mit dem Verhalten echter Märkte übereinstimmt. Die durchschnittliche Kurtosis zeigt, dass die RL-Agenten einen ausgeprägten fetten Schwanz im Vergleich zu Null-Intelligenz-Agenten aufweisen.

#Abwesenheit von Autokorrelationen

Reale Marktdaten zeigen im Allgemeinen minimale Autokorrelationen in den Renditen. Unsere Ergebnisse zeigen, dass RL-Agentensimulationen ebenfalls unwesentliche Rückkehrkorrelationen über die Zeit aufweisen, was auf realistische Marktmerkmale hindeutet.

#Langsame Abnahme der Autokorrelation bei absoluten Renditen

Die absoluten Renditenserien aus unseren Simulationen weisen eine langsame Abnahme auf, was auf das Vorhandensein von langfristigen Abhängigkeiten hindeutet. Sowohl RL- als auch Null-Intelligenzmärkte zeigen dieses Verhalten, was die Vorstellung eines dynamischen und responsiven Marktes unterstützt.

#Volatilitätsclustering

Wir beobachten, dass die Simulationen Volatilitätscluster zeigen, bei denen Phasen hoher Volatilität von weiteren Phasen hoher Volatilität gefolgt werden und umgekehrt. Dieses Merkmal stimmt mit dem Verhalten von Vermögenswerten in der realen Welt überein.

#Markt- und Agentenverantwortlichkeit gegenüber externen Ereignissen

In unserem ersten Experiment führen wir Sequenzen von „Flash Sales“ ein, das sind grosse Verkaufsaufträge. Die Simulation verfolgt Preisänderungen während und nach diesen Ereignissen. Die Ergebnisse zeigen, dass kontinuierlich trainierte Agenten realistischere Preisbewegungen zeigen, wenn sie auf solche externen Schocks reagieren, verglichen mit untrainierten Agenten.

Im zweiten Experiment simulieren wir informierte Händler, deren Kauf- und Verkaufspräferenzen sich im Laufe der Zeit ändern. Durch die Analyse, wie sich die Preise in Reaktion auf diese Veränderungen verschieben, wollen wir herausfinden, wie die Agenten ihre Strategien basierend auf aktuellen Markttrends anpassen.

#Fazit

Diese Arbeit verändert die Struktur von RL-Agenten, um eine hochrealistische Marktsimulation zu erstellen. Der Vergleich der Ergebnisse mit echten Daten und einer Null-Intelligenz-Agentensimulation zeigt, dass RL-Agenten Marktverhalten erzeugen, das dem realen Marktdynamiken sehr nahekommt. Kontinuierliches Lernen ermöglicht es diesen Agenten, sich effektiv an wechselnde Marktbedingungen anzupassen und darauf zu reagieren.

Zukünftige Arbeiten werden sich darauf konzentrieren, Herausforderungen bei der Kalibrierung agentenbasierter Systeme zu adressieren, insbesondere bei solchen, die in Echtzeitumgebungen arbeiten. Weiterführende Verfeinerungen des Lernprozesses und die Erforschung neuer Methoden werden die Realitätsnähe und Anwendbarkeit dieser Simulationen in der finanziellen Analyse und Entscheidungsfindung verbessern.

#Zusätzliche Simulationsergebnisse

#Quantile-Quantile-Diagramm für Renditeverteilungen

Wir bieten eine vergleichende Analyse der Renditeverteilungen für verschiedene Gruppen und betonen, dass alle Gruppen fette Schwänze aufweisen, wobei RL-Agenten Verhaltensweisen zeigen, die am nächsten zu echten Märkten liegen.

#Autokorrelationsvergleich

Diagramme, die die Autokorrelationen innerhalb der Test- und untrainierten Agentengruppen illustrieren, heben bedeutende Unterschiede in der Leistung und im Marktverhalten hervor.

#Volatilitätsclustering-Analyse

Bewertungen des Volatilitätsclustering unterstreichen, wie sich verschiedene Gruppen auf Marktbedingungen reagieren und ob sie im Laufe der Zeit realistische Verhaltensweisen aufrechterhalten.

#Agenten-Setup für Gruppen

Wir skizzieren die Konfigurationen für jede Gruppe und erläutern die Parameter und Hyperparameter, die verwendet werden, um ihr Verhalten in verschiedenen Szenarien zu simulieren.

#Sondersetup für Flash Sale und informierte LTs

Detailierte Tabellen geben Einblick in die betrieblichen Setups, die für Flash Sale-Ereignisse verwendet werden, und umreissen die Parameter, die das Verhalten der Agenten und die Marktreaktionen während dieser Szenarien leiten.