Verstärkendes Lernen im Gaming und beim Aktienhandel

Reinforcement Learning ist 'ne Methode, um Computerprogramme zu trainieren, Entscheidungen zu treffen. Dieser Ansatz hat sich als nützlich erwiesen, um Programmen beizubringen, wie sie schwierige Probleme lösen können. In diesem Projekt konzentrieren wir uns darauf, Reinforcement Learning in Umgebungen zu nutzen, wo Informationen fehlen. Wir verwenden das Spiel Flappy Bird und eine Aktienhandelssimulation, um zu zeigen, wie diese Methode funktioniert.

Im ersten Teil unseres Projekts trainieren wir einen Computeragenten, um Flappy Bird zu spielen. Das Spiel erfordert, dass der Spieler einen Vogel steuert, der zwischen Rohren hindurchfliegen muss, während er Hindernissen ausweicht. Spieler bekommen Punkte, wenn sie erfolgreich durch die Rohre kommen. Unser Computeragent muss lernen, das Spiel effektiv zu spielen, mit einem Fokus darauf, aus seinen Erfahrungen zu lernen.

Im zweiten Teil passen wir das Flappy Bird-Spiel in eine Aktienhandelsumgebung an. Der gleiche Computeragent, der für Flappy Bird entwickelt wurde, wird lernen, wie man profitable Trades in diesem neuen Setting macht. Unser Ziel ist es, einen starken Agenten aufzubauen, der sich an verschiedene Szenarien anpassen kann, während er mit der Unsicherheit fehlender Daten umgeht.

#Flappy Bird Spiel

Flappy Bird ist ein einfaches, aber herausforderndes Spiel. Die Aufgabe des Spielers ist es, einen Vogel durch Lücken zwischen Hindernissen zu steuern, ohne dagegen zu knallen. Das Spiel hat einen Beobachtungsraum, der durch die Position des Vogels charakterisiert wird. Der Aktionsraum besteht aus zwei möglichen Aktionen: den Vogel nach oben oder unten zu bewegen. Der Agent erhält Belohnungen basierend auf seinen Aktionen; er bekommt Punkte, wenn er erfolgreich durch die Rohre fliegt und erhält nichts, wenn er abstürzt.

Den Computeragenten zu trainieren, um Flappy Bird zu spielen, ist nicht einfach. Der Agent muss lernen, nicht nur die Position des Vogels zu erkennen, sondern auch die Standorte der Rohre. Die Umgebung stellt Herausforderungen dar, die erfordern, dass der Agent sein Lernen verallgemeinert. Das bedeutet, dass er das, was er in einem Szenario gelernt hat, auf andere Szenarien anwenden muss, ähnlich wie Menschen lernen.

#Aktienhandelsumgebung

Im zweiten Teil unseres Projekts wechseln wir vom Spielen zum Aktienhandel. Hier schaffen wir eine neue Umgebung, um das Trading zu simulieren. In diesem Szenario beginnt der Agent mit einem Bargeldbestand. Er kann Aktien kaufen oder verkaufen, basierend auf dem, was er aus der Vergangenheit gelernt hat. Das Ziel bleibt dasselbe: profitable Trades zu machen.

Um die Handelsumgebung einzurichten, definieren wir die Ausgangsbedingungen. Der Agent beginnt mit einem bestimmten Geldbetrag und muss Entscheidungen zum Kauf oder Verkauf von Aktien treffen. Die Umgebung aktualisiert sich nach jeder Aktion, die der Agent ausführt, einschliesslich Änderungen im Bargeldbestand und Aktienwert. Der Agent lernt, sich im Laufe der Zeit in dieser Umgebung zurechtzufinden.

#Deep Q-Network (DQN)

Der Kern unseres Projekts dreht sich um den Deep Q-Network (DQN) Algorithmus. Dieser Algorithmus ist eine Möglichkeit für den Agenten, aus Erfahrungen zu lernen. Im Flappy Bird-Spiel haben wir ein neuronales Netzwerk implementiert, das die Informationen des Spiels verarbeitet und dem Agenten hilft, zu entscheiden, welche Aktionen er ausführen soll.

Unser DQN nutzt eine Struktur mit mehreren Schichten. Das neuronale Netzwerk erhält Eingaben wie die Position des Vogels und verwendet sie, um potenzielle zukünftige Belohnungen für jede Aktion vorherzusagen. Der Agent lernt, indem er seine Vorhersagen mit den tatsächlichen Ergebnissen vergleicht. Im Laufe der Zeit verbessert er seine Entscheidungsfähigkeit.

Um dem DQN zu helfen, effektiv zu lernen, implementieren wir Methoden wie die Kaiming-Initialisierung. Diese Technik hilft, die Anfangsgewichte des neuronalen Netzwerks zu setzen, was das Lernen beschleunigt und die Leistung verbessert. Wir verwenden auch Replay Memory, um Erfahrungen aus vorherigen Aktionen zu speichern. So kann der Agent aus verschiedenen Situationen lernen, anstatt nur aus den aktuellsten Erfahrungen.

#Trainingsprozess

Das Training des Agenten umfasst mehrere Schritte. Im Flappy Bird-Szenario erlebt der Agent das Spiel immer wieder. Jedes Mal, wenn er spielt, speichert er seine Aktionen, die resultierenden Belohnungen und die nächsten Zustände in einem Speicherpuffer. Dieser Speicher wird genutzt, um Erfahrungen zu sampeln, aus denen der Agent später lernt.

Der Trainingsprozess ist entscheidend. Wir optimieren das Modell, um sicherzustellen, dass es effektiv lernt. Der Agent entwickelt allmählich ein besseres Verständnis der Spielumgebung, was ihm ermöglicht, im Laufe der Zeit besser zu werden. Nach zahlreichen Trainingsepisoden erwarten wir, dass der Agent die Leistung menschlicher Spieler übertrifft.

#Ergebnisse aus Flappy Bird

Nachdem wir unseren DQN-Agenten in Flappy Bird trainiert haben, haben wir signifikante Ergebnisse beobachtet. Der Agent konnte sein Gameplay stetig verbessern. Durch die Verbesserung des DQN mit neuen Techniken wie Dropout-Schichten haben wir das Risiko reduziert, dass der Agent zu sehr von bestimmten Mustern abhängig wird.

Infolgedessen stieg die durchschnittliche Belohnung für den Agenten erheblich, was seine verbesserte Leistung zeigt. Der Agent lernte auch, mit den Herausforderungen des Belohnungssystems des Spiels umzugehen, das nur für bestimmte Aktionen Punkte vergibt.

Die Verwendung von Dropout-Schichten hilft, ein widerstandsfähigeres Netzwerk zu schaffen, das es dem Agenten ermöglicht, robuste Merkmale zu lernen. Diese Anpassung, zusammen mit geeigneten Techniken zur Gewichtinitialisierung, führt zu einer allgemeinen Verbesserung der Erfolgsquote des Agenten.

#Ergebnisse im Aktienhandel

Im Wechsel zur Aktienhandelsumgebung zeigte der DQN-Agent ebenfalls vielversprechende Ergebnisse. Nach einer gewissen Trainingszeit erzielte der Agent beeindruckende Ergebnisse und zeigte seine Fähigkeit, Trades effektiv zu verwalten. Der Trainingsprozess ermöglichte es ihm, zu lernen, wann er Aktien kaufen und verkaufen sollte, was dem Verhalten eines professionellen Traders ähnelt.

Es ist jedoch wichtig zu beachten, dass diese Ergebnisse aus Simulationen basieren, die auf historischen Daten beruhen. Während der Agent gut abschnitt, besteht das Risiko des Overfittings, was bedeutet, dass er möglicherweise nicht so gut mit Echtzeitdaten abschneidet. Die Bewertung der Leistung des Modells durch Backtesting ermöglichte es uns, Muster und Verbesserungsmöglichkeiten zu identifizieren.

Die Backtest-Klasse, die wir verwendet haben, analysiert die Leistung der Strategie über mehrere Handelsepisoden. Durch die Feinabstimmung der Risikotoleranz des Modells können wir die Handelsleistung weiter verbessern.

#Fazit

Unsere Arbeit in diesem Projekt zeigt, wie Reinforcement Learning in verschiedenen Bereichen, vom Gaming bis zum Aktienhandel, angewendet werden kann. Der in Flappy Bird trainierte DQN-Agent hat erfolgreich gelernt, auf hohem Niveau zu spielen. Er zeigt die Fähigkeit, sich anzupassen und seine Leistung im Laufe der Zeit zu verbessern.

Im Aktienhandel zeigt der Agent ebenfalls Potenzial und trifft profitable Entscheidungen basierend auf historischen Marktdaten. Während wir die Einschränkungen und Herausforderungen bei der Verwendung simulierten Daten anerkennen, heben die Ergebnisse die Effektivität von Reinforcement Learning im Umgang mit komplexen Umgebungen hervor.

Wenn wir in die Zukunft blicken, gibt es viele Möglichkeiten für weitere Forschungen. Die Priorisierung bedeutender Erfahrungen im Replay-Speicher könnte zu noch besseren Lernergebnissen führen. Insgesamt unterstützen unsere Erkenntnisse die fortwährende Erforschung von Reinforcement Learning in unsicheren Umgebungen, in denen Informationen nicht immer vollständig sein können.