Fortschritte im Multi-Agenten-Verstärkendes Lernen mit Lux AI v2

Multi-Agent Reinforcement Learning (MARL) schaut sich an, wie verschiedene Lernagenten sich verhalten, während sie in derselben Umgebung arbeiten. Das ist kniffliger als nur mit einem Agenten zu arbeiten, weil die Aktionen und Belohnungen jedes Agenten davon abhängen, was die anderen Agenten tun. Ein gutes Beispiel, wo MARL zum Einsatz kommt, sind Echtzeit-Strategiespiele (RTS). In diesen Spielen interagieren viele Spieler gleichzeitig, steuern verschiedene Einheiten und treffen schnelle Entscheidungen. Die Komplexität von RTS-Spielen macht sie schwierig für herkömmliche Methoden des Reinforcement Learning, weshalb sie interessant zu erforschen sind.

#Der Lux AI v2 Wettbewerb

Dieses Projekt bezieht sich auf den Lux AI v2 Wettbewerb, wo Teilnehmer Agenten erstellen, die Flotten von Einheiten in einem Eins-gegen-Eins-Szenario steuern. Sie stehen vor Herausforderungen wie Ressourcenmanagement, Optimierung von Aktionen und dem Wettbewerb gegen andere Agenten. In diesem Wettbewerb geht es darum, so viele Ressourcen wie möglich zu sammeln, was entscheidend für den Sieg ist. Wir trainieren die Agenten zentral und teilen die verschiedenen Designentscheidungen, die während des Prozesses getroffen wurden.

#Herausforderungen im Reinforcement Learning

Reinforcement Learning war in vielen Bereichen wie Gaming und Robotik erfolgreich. Dennoch konzentriert sich die meiste Forschung auf Umgebungen, in denen nur ein Agent vorhanden ist. Das Interesse an MARL, wo mehrere Agenten lernen, entweder zusammenzuarbeiten oder zu konkurrieren, hat in letzter Zeit zugenommen. Bekannte Beispiele sind Systeme, die Spiele wie Dota 2 und StarCraft II gespielt haben, wo Teams von KI-Agenten gegen menschliche Profis gewonnen haben.

Trotz dieser Erfolge ist das Training komplexer MA-Systeme schwierig, weil die benötigte Rechenleistung hoch ist. Viele Forscher finden es schwer, bedeutende Daten zu liefern. Glücklicherweise wurden neue Umgebungen geschaffen, die die Herausforderungen von Spielen wie StarCraft nachahmen. Diese Umgebungen ermöglichen es Forschern, neue Strategien in einem komplexen, aber zugänglicheren Setting auszuprobieren.

#Die Lux-Umgebung

Die Lux-Umgebung stellt einzigartige Herausforderungen dar. Jeder Spieler muss verschiedene Beobachtungen analysieren und schnell Entscheidungen treffen. Spieler geben Aktionen für ihre Flotten von Einheiten aus, die jeweils eigene Fähigkeiten und Einschränkungen haben. Ressourcen sind begrenzt, und die Spieler müssen sie gut verwalten. Die Umgebung ist dynamisch, was bedeutet, dass sich die Bedingungen basierend auf den Aktionen der Gegner ändern. All diese Faktoren schaffen ein kompliziertes Szenario für Techniken des Reinforcement Learning.

In der Lux-Umgebung kann der Zustand des Spiels mit einem Multi-Agent Markov Decision Process (MMDP) beschrieben werden. Das bedeutet, dass die Umgebung sich kontinuierlich basierend auf den Aktionen mehrerer Agenten verändert. Jeder Agent arbeitet zusammen, um eine Belohnungsfunktion zu maximieren, die misst, wie gut sie im Spiel abschneiden.

#Kreditvergabe und Wertfunktionen

Eine grosse Herausforderung ist herauszufinden, welcher Agent für bestimmte Belohnungen verantwortlich ist. Einige Techniken konzentrieren sich darauf, einfachere Wertfunktionen für jeden Agenten zu lernen. Andere erstellen spezialisierte Belohnungssysteme für jeden Agenten. Diese Methoden nehmen jedoch oft an, dass die Anzahl der Agenten konstant bleibt, was in Lux nicht der Fall ist, da Einheiten erstellt oder zerstört werden können.

Einige Ansätze richten die Umgebung so ein, dass sie wie ein Ein-Agenten-Problem funktioniert. In diesem Fall werden die Aktionen der Agenten miteinander verwoben, doch sie stehen immer noch vor Herausforderungen, die mit der Grösse des Aktionsraums und der Unvorhersehbarkeit der Umgebung zusammenhängen. In diesem Projekt verfolgen wir auch einen zentralen Ansatz, um unsere Agenten mit einem bekannten Algorithmus namens Proximal Policy Optimization (PPO) zu trainieren.

#Einen erfolgreichen Trainingsprozess erstellen

Das Training von Agenten in der Lux-Umgebung erfordert ein sorgfältiges Design verschiedener Komponenten. Wichtige Teile dieses Prozesses umfassen die Definition von Beobachtungs- und Aktionsräumen, die Erstellung eines Belohnungssystems und die Etablierung einer funktionalen Modellarchitektur. Mit der Zunahme der Komplexität der Umgebung steigen auch diese Anforderungen.

#Beobachtungsraum

Wir sammeln Beobachtungen, indem wir Merkmalskarten erstellen, die relevante Informationen über das Spiel enthalten. Diese Karten fassen wichtige Details zusammen, wie z. B. die Lage von Ressourcen und Einheiten auf dem Feld. Diese Informationen fliessen dann in ein Modell, das dem Agenten hilft, Entscheidungen zu treffen.

#Aktionsraum

In Lux sind die Aktionen zwischen Fabriken und Robotern aufgeteilt. Fabriken können Einheiten erstellen oder Ressourcen anbauen, während Roboter ein breiteres Spektrum an Aktionen haben, darunter Bewegen, Graben und Ressourcen übertragen. Der Aktionsraum ist so organisiert, dass jede Art von Einheit unabhängig funktioniert, während die Gesamtstrategie berücksichtigt wird. Ungültige Aktionen werden herausgefiltert, damit der Agent effektiv aus sinnvollen Erfahrungen lernen kann.

#Belohnungsverteilung

Um in Lux zu gewinnen, müssen Agenten lernen, Ressourcen effizient zu generieren. Eine Fabrik muss ihren Wasservorrat aufrechterhalten und gleichzeitig Ressourcen anbauen. Daher erstellen wir ein Belohnungssystem, das Aktionen fördert, die zur Ressourcengenerierung führen. Zunächst werden die Agenten für grundlegende Aktionen belohnt, und wenn sie sich verbessern, wechseln sie zu einem komplexeren Belohnungssystem, das sich auf die Endergebnisse des Spiels konzentriert.

#Selbstspiel

Selbstspiel hilft, den Lernprozess für Agenten zu verfeinern. In diesem Kontext tritt ein einzelner Agent gegen Versionen von sich selbst an, was ihm ermöglicht, aus seinen vorherigen Fehlern und Erfolgen zu lernen. Diese Strategie hilft, die Fähigkeiten des Agenten im Laufe der Zeit zu verbessern.

#Das Modell trainieren

Wir verwenden eine Actor-Critic-Architektur für das Training der Agenten. Diese Struktur teilt das Modell in zwei Hauptteile: einer sagt Aktionen basierend auf dem aktuellen Zustand vorher, und der andere bewertet, wie gut diese Aktionen sind. Das Modell nutzt einen Stapel von Merkmalskarten, um Informationen zu sammeln, verarbeitet sie durch ein tiefes Lernnetzwerk und gibt Vorhersagen für die Aktionen der Agenten aus.

Da Reinforcement Learning eine Menge Daten benötigt und MARL sogar noch mehr, ist das Training der Lux-Agenten ein zeitaufwändiger Prozess. Jede Trainingseinheit kann viele Stunden dauern und Daten sammeln, die den Agenten helfen, ihre Leistungen zu verbessern. Am Ende des Trainings sollten die Agenten in der Lage sein, Ressourcen effizient zu sammeln und ihre Einheiten zu verwalten.

#Ergebnisse und Beobachtungen

Der Trainingsprozess generiert wertvolle Daten, die zeigen, wie gut die Agenten abschneiden. Während des Trainings messen wir verschiedene Faktoren wie Belohnungspunkte und die Dauer der Episoden. Obwohl die Agenten im Laufe der Zeit besser darin werden, Ressourcen zu sammeln, gibt es immer noch eine hohe Variabilität in der Leistung. Diese Variabilität entsteht, weil jedes Spiel anders ist, was die Verallgemeinerung schwieriger macht.

#Fazit und zukünftige Arbeiten

Dieses Projekt legt das Fundament für die Entwicklung eines zentralen Trainingsrahmens für MARL in herausfordernden Umgebungen wie Lux. Wir gehen auf die Herausforderungen ein, die in RTS-Spielen auftreten, und rechtfertigen die während des Prozesses getroffenen Designentscheidungen. Indem wir unsere Arbeit in einem Open-Source-Format teilen, hoffen wir, weitere Forschung und Entwicklung in diesem Bereich zu inspirieren.

Es gibt viele Möglichkeiten, wie wir unser Modell in Zukunft verbessern können. Wir könnten die Definitionen von Beobachtungs- und Aktionsräumen verfeinern, verschiedene Modellarchitekturen ausprobieren, die besser für RTS-Spiele geeignet sind, und erkunden, wie wir Trainingsstrategien umsetzen können, die vielfältige Lernerfahrungen fördern. Das Hochskalieren unseres Modells könnte auch die Leistung verbessern, sodass mehrere Agenten gleichzeitig trainiert werden können.

Zusammenfassend bietet der Lux AI v2 Wettbewerb eine komplexe und spannende Umgebung, um Ansätze des Reinforcement Learning zu testen. Indem wir unsere Strategien verfeinern und Erfahrungen teilen, können wir weiterhin die Grenzen von Multi-Agenten-Systemen und deren Anwendungen in dynamischen Umgebungen erweitern.