Optimierung der Planung mit OPOF verbessern

Die richtigen internen Einstellungen für die Planung zu erkennen, ist der Schlüssel zu den besten Ergebnissen von einem Planer. Allerdings kann es ganz schön schwer sein, diese Einstellungen automatisch je nach Problem anzupassen. Neuere Studien haben Möglichkeiten untersucht, wie man diese Parameter setzen kann, aber oft fehlt es an einer klaren Definition des Problems und an einem gemeinsamen Software-Tool zur Anwendung der Lösungen. Diese Arbeit stellt eine neue Denkweise zur Optimierung von Planern (POP) und ein Software-Tool namens Open Planner Optimization Framework (OPOF) vor, das es den Leuten erleichtert, diese Probleme zu spezifizieren und zu lösen.

Planung ist entscheidend für die Entscheidungsfindung in der künstlichen Intelligenz. In diesem Zusammenhang bekommt ein Planer ein bestimmtes Problem und muss Berechnungen anstellen, um ein gewünschtes Ergebnis zu erzielen. Der Erfolg des Planers hängt oft von bestimmten internen Einstellungen ab. Um sicherzustellen, dass der Planer gut arbeitet, ist es wichtig, die besten Einstellungen zu finden.

In dieser Arbeit schauen wir uns die typische Situation an, in der es super schwierig ist, hochwertige Einstellungen durch Berechnungen abzuleiten, besonders in komplexen Szenarien. Stattdessen konzentrieren wir uns darauf, wie man die Einstellungen anhand einer ausgewählten Gruppe von Trainingsproblemen anpassen kann. Dieser Ansatz behandelt den Planer als eine Black Box, in der wir verschiedene Einstellungen ausprobieren, bis wir die Ergebnisse sehen, die wir wollen. Die Methoden, die dafür verwendet werden, sind ziemlich allgemein, weil sie nicht darauf angewiesen sind, die inneren Abläufe des Planers zu verstehen.

Um einen Planer automatisch anzupassen, zielen die aktuellen Methoden normalerweise darauf ab, ein Set von Einstellungen zu finden, die im Durchschnitt über eine Reihe von Trainingsproblemen am besten funktionieren. Wir glauben jedoch, dass die Einstellungen je nach Art des Problems angepasst werden sollten, um die besten Ergebnisse zu erzielen. Speziell brauchen wir eine Möglichkeit, jedes Problem mit hochwertigen Planungseinstellungen zu verknüpfen, was ziemlich schwierig ist, weil es viele mögliche Übereinstimmungen gibt, die berücksichtigt werden müssen und nicht vollständig verstanden sind. Ein paar neuere Arbeiten haben Aspekte dieses Problems angesprochen, wie das Lernen bestimmter Aktionen für spezifische Arten von Planern oder das Herausfinden der besten Möglichkeiten zur Datensampling für Planer. Obwohl die Ideen ähnlich sind, teilen sie keine gemeinsame Problembeschreibung und haben unterschiedliche Software-Basen.

Wir schlagen ein allgemeines Format für das Planer-Optimierungsproblem (POP) vor, das die Hauptideen dieser neueren Beiträge zur Anpassung von Einstellungen basierend auf spezifischen Problemen zusammenbringt. Dazu bieten wir ein flexibles Software-Tool, OPOF, für die Definition und Lösung dieser Probleme auf eine wiederverwendbare Weise an. Wir hoffen, das motiviert die Community, das Problem auf eine gezieltere und effizientere Weise anzugehen.

#Das Planer-Optimierungsproblem (POP) erklärt

Ein Planer-Optimierungsproblem (POP) besteht aus mehreren Teilen: dem Problemraum, dem Einstellungsraum, dem Ziel der Planung und der Art und Weise, wie Probleme verteilt sind. Ein Planer erhält ein Problem und Einstellungen als Eingabe und führt Berechnungen darauf basierend durch. Er gibt eine Bewertung zurück, die angibt, wie gut er abgeschnitten hat, was sich auf das Planungsziel bezieht.

Das Ziel ist es, einen Generator zu finden, der spezifische Probleme mit passenden Einstellungen verknüpft, sodass die Gesamtleistung verbessert wird. Dieser Generator kann entweder zufällig sein, wobei jedes Mal unterschiedliche Ergebnisse produziert werden, oder fest, wobei immer das gleiche Ergebnis für dasselbe Problem zurückgegeben wird. Ein Generator, der nicht auf der Eingabe basiert, wird als bedingungslos bezeichnet.

Die Herausforderung besteht darin, dass der Generator nur durch Interaktion mit dem Planer gelernt werden muss. Wir erwarten keine direkte mathematische Form für die Leistung oder die Ergebnisse.

#Verwandte Arbeiten

#Black-box Optimierung (BBO)

Bei der Black-box-Optimierung müssen wir Einstellungen finden, die die Ergebnisse aus einer versteckten Zielfunktion maximieren. Hier wissen wir nicht die spezifische Formel für diese Funktion und können nur ihre Ergebnisse bei verschiedenen Einstellungen bewerten. Es gibt verschiedene Strategien, um dies anzugehen:

1. Evolutionäre Algorithmen (EA): Diese verfolgen eine Gruppe von Punkten im Eingaberaum. Diese Gruppe wird mit Konzepten von Veränderung und Selektion durch wiederholtes Testen gegen die Zielfunktion modifiziert.

2. Bayesianische Optimierung (BO): In BO wird ein Modell der Zielfunktion basierend auf vergangenen Bewertungen aufgebaut. Dieses Modell wird dann verwendet, um weitere Punkte zur Bewertung auszuwählen und dabei die Notwendigkeit zu balancieren, neue Möglichkeiten zu erkunden und bekannte gute Bereiche auszunutzen.

#Algorithmuskonfiguration (AC)

Die Algorithmuskonfiguration ist eine Art der Black-box-Optimierung, bei der wir nach Einstellungen suchen, die im Durchschnitt über eine Reihe von Problemen gut abschneiden. Generalisierung ist hier wichtig, das bedeutet, die für einen Trainingssatz gefundenen Einstellungen sollten auch gut auf neuen, unbekannten Problemen funktionieren. Typischerweise betrachten wir das durchschnittliche Ergebnis als das Hauptziel und wenden standardisierte BBO-Techniken an.

#Planer-Optimierungsproblem (POP)

Unser POP-Format baut auf der Idee der Algorithmuskonfiguration auf, konzentriert sich jedoch darauf, einen Generator zu finden, der Einstellungen an spezifische Probleme anpasst. Dies unterscheidet sich von traditioneller AC, die ein einzelnes Set von Einstellungen sucht, das insgesamt gut funktioniert. Diese Art von bedingter Lösung ist besonders nützlich in AI-Planungsszenarien, wo die besten Einstellungen je nach Problem erheblich variieren können.

#Software-Frameworks

Das POP erfordert spezielle Werkzeuge zur Unterstützung des Generator-Konzepts und zur Integration moderner Lerntechniken, einschliesslich Deep Learning. Während einige bestehende Frameworks für BBO existieren, müssen sie erheblich angepasst werden, um mit Pops zu arbeiten, was sie weniger benutzerfreundlich macht. OPOF zielt darauf ab, ein intuitiveres Tool bereitzustellen, das einfach zu verwenden ist und Deep-Learning-Methoden integriert.

#OPOF: Open-Source Planer-Optimierungs-Framework

#Domänen: Strukturierung des Planer-Optimierungsproblems

Im Mittelpunkt von OPOF steht eine Domänenabstraktion zur Darstellung eines Planer-Optimierungsproblems. Diese Struktur umfasst Funktionen, die die Spezifika eines gegebenen Problems beschreiben – wie die Verteilung von Problemen, die verwendeten Einstellungen und den Planer selbst.

Um dies zu veranschaulichen, können wir eine einfache Domäneninstanz erstellen, eine Problemgruppe sampeln und den Planer verwenden, um verschiedene Probleme zu bewerten und dabei die Ergebnisse zu sammeln.

#Verfügbare Domänen

OPOF kommt mit mehreren Domänen, die im Laufe der Zeit erweitert werden können. Bei seiner Veröffentlichung haben wir:

• 2D Grid World: Einfache Testdomänen, die grundlegende Verhaltensweisen in der Planung zeigen.
• Sampling-Based Motion Planning (SBMP): Komplexere Szenarien, die sich auf die Optimierung von Einstellungen für die Bewegungsplanung konzentrieren.
• Online POMDP-Planung: Diese Domäne lernt Aktionen, um die Entscheidungsfindung in teilweise beobachtbaren Situationen zu verbessern.

#Eingebaute Algorithmen

OPOF enthält stabile Versionen von Algorithmen, die zur Bewältigung des Planer-Optimierungsproblems entwickelt wurden. Diese Liste wird voraussichtlich im Laufe der Zeit wachsen.

1. GC (Generator-Critic): Dieser Algorithmus verwendet zwei neuronale Netzwerke, die zusammenarbeiten. Eines ist der Generator, der mögliche Einstellungen basierend auf Problemen erstellt, und das andere ist der Kritiker, der bewertet, wie gut der Planer mit diesen Einstellungen abschneidet.

2. SMAC: Ein Wrapper um ein anderes Tool zur Algorithmuskonfiguration, das bayesianische Optimierungstechniken verwendet. Er lernt nur ein Set fester Einstellungen und ändert sich nicht basierend auf dem Problem, was ihn einfacher und stabiler macht, obwohl er normalerweise weniger effektiv ist als der bedingte Ansatz von GC.

#Designentscheidungen

OPOF ist mit Flexibilität im Hinterkopf gestaltet, was eine einfache Entwicklung sowohl von Domänen als auch von Algorithmen unabhängig voneinander ermöglicht. So können Nutzer bestehende Tools in neuen Domänen wiederverwenden oder neue Algorithmen gegen etablierte Domänen testen.

Die Verwendung von pip, einem Tool zum Installieren und Verwalten von Softwarepaketen in Python, erleichtert es, die Domänen und Algorithmen zusammen mit OPOF zu paketieren und zu verteilen.

#Zukünftige Richtungen

Es gibt viele Möglichkeiten, wie OPOF und das POP-Framework angewendet oder erweitert werden können.

• Interessante Anwendungsdomänen: Das Framework ist allgemein genug, um in vielen Bereichen der Planung anwendbar zu sein, was es Forschern erleichtert, ihre Tools zu optimieren.

• Entwicklung allgemeiner Algorithmen: Momentan ist der Generator-Kritiker-Algorithmus die primäre verfügbare Methode. Die Hoffnung ist, dass OPOF die Entwicklung besserer und effektiverer Ansätze fördert.

• Schwierigere Parameterklassen: Bisher haben die Domänen relativ kleine Parameter. Der nächste Schritt ist zu sehen, wie das Framework auf grössere Parameter skalierbar ist und wie nützlich es in komplexeren Domänen ist.

• Breitere Anwendungen: Das Framework könnte potenziell nicht nur die Planungsgeschwindigkeit verbessern, sondern auch andere Aspekte wie Sicherheit oder Erkundung. Es könnte auch in verschiedenen Bereichen, wie der Mensch-Roboter-Interaktion, Anwendung finden.

Diese Arbeit wurde durch die Unterstützung verschiedener Forschungs- und Universitätsmittel ermöglicht.