Drohnen und der Aufstieg von verworrenen Programmgraphen

In der Tech-Welt sind Drohnen total angesagt. Wir sehen sie rumflitzen, Fotos schiessen und Pakete ausliefern. Aber sie sicher und clever fliegen zu lassen, ist echt eine Herausforderung. Normalerweise setzen wir auf eine Methode namens Deep Reinforcement Learning (DRL). Stell dir vor, das ist wie einen Hund zu trainieren, der apportiert – du belohnst das gute Verhalten und hoffst, dass er die Regeln lernt. Das Problem ist, dass DRL zwar ganz gut funktioniert, aber einige grosse Macken hat. Lass uns mal ins Detail gehen.

#Das Problem mit DRL

Obwohl DRL beliebt ist, um Drohnen zu trainieren, hat es seine Probleme. Stell dir vor, du versuchst, einen Hund zu trainieren, aber es dauert ewig, bis er die Dinge versteht, und du hast keinen blassen Schimmer, was in seinem Kopf vor sich geht. So ist DRL. Es braucht eine Menge Rechenpower, um richtig zu funktionieren, was echt nervig sein kann, vor allem für Drohnen mit begrenzten Ressourcen. Ausserdem, wenn es Entscheidungen trifft, ist es wie ein Geheimcode zu entschlüsseln – es ist schwer nachzuvollziehen, wie es zu diesen Entscheidungen gekommen ist.

Diese Intransparenz ist ein grosses Thema, wenn Sicherheit wichtig ist. Du willst ja nicht, dass deine Drohne plötzlich in einen Baum fliegt, oder? Wegen dieser Probleme macht es Sinn, nach anderen Optionen zu suchen.

#Ein Neuer im Spiel: Verwirrte Programmgraphen

Hier kommen die Verwirrten Programmgraphen (TPGs) ins Spiel. Das ist unser cleverer Neuling, der die Regeln ändern will. Anstatt sich auf ein kompliziertes tiefes Lernnetzwerk zu verlassen, nutzen TPGs eine einfache Struktur, bei der einfache Programme sich wie ein Puzzle zusammensetzen, um die Aktionen der Drohne zu bestimmen. Es ist wie eine Gruppe von Freunden, die jeder eine andere Aufgabe hat, aber trotzdem gut zusammenarbeiten.

TPGs arbeiten weniger hart als DRL und überraschenderweise kann ihre Logik leicht zurückverfolgt werden. Man kann tatsächlich sehen, wie der Entscheidungsprozess abläuft, was eine Erleichterung ist, wenn Sicherheit an erster Stelle steht.

#Die Drohnen-Testphase

Jetzt schauen wir uns TPGs in Aktion an. Wir haben ein Testszenario entworfen, in dem eine Drohne, die mit einem LiDAR-Sensor ausgestattet ist (denk daran als ihre Augen), durch einen Wald fliegen musste, ohne gegen irgendwelche Bäume zu knallen.

Zuerst haben wir die Bühne bereitet: eine kontrollierte Waldumgebung, in der wir die Anzahl der Bäume und ihre Positionen anpassen konnten. Das Ziel? Die Drohne von Punkt A nach Punkt B zu bringen und dabei geschickt Hindernisse zu umfahren.

Wir hatten zwei Haupttests. Einen mit einer einfachen Einrichtung mit 50 Bäumen und einen anderen, der die Herausforderung mit 100 Bäumen erhöht hat.

#Die ersten Ergebnisse

Als wir unsere TPG- und DRL-Agenten getestet haben, waren die Ergebnisse ziemlich interessant. In der einfacheren Umgebung schaffte die TPG-Drohne im Durchschnitt 20,74 Meter, während die DRL-Drohne 21,10 Meter flog. Nicht schlecht, oder? Im schwierigeren Test hat der TPG-Agent sogar den DRL-Agenten übertroffen und flog 20,71 Meter im Vergleich zu 19,55 Metern. Ha, take that, DRL!

Dann haben wir versucht zu bewerten, wie gut diese Agenten sich anpassen, wenn sie die Umgebung wechseln. Stell dir vor, sie packen ihre Koffer für einen anderen Wald. In einem Beispiel haben beide Agenten gut abgeschnitten, als sie von einem schwierigeren Kurs zu einem einfacheren wechselten. Die TPG-Drohne hat sogar die Erwartungen übertroffen! Aber als wir den Spiess umdrehten und von dem einfacheren Kurs zum schwierigeren wechselten, hat DRL wieder die Krone geholt. Das lag hauptsächlich daran, dass der TPG-Agent eine Vorliebe hatte, sich mehr in eine Richtung zu bewegen als in die andere, was ihn in Schwierigkeiten mit mehr Hindernissen brachte.

#Auf die nächste Stufe mit beweglichen Hindernissen

Als Nächstes dachten wir: „Warum nicht die Sache ein bisschen spannender machen?“ Kommen wir zu dynamischen Hindernissen. Wir haben beschlossen, ein paar Bäume einzuführen, die sich im Wald bewegen, und damit eine aufregende Verfolgungsjagd für unsere Drohnen zu schaffen.

In diesem Szenario wurde es etwas kniffliger. Während beide Agenten mit denselben dynamischen Herausforderungen konfrontiert waren, schnitt DRL wieder besser ab. Warum? Das müssen wir noch herausfinden. Es könnte mit der Art und Weise zusammenhängen, wie das Belohnungssystem eingerichtet war. Wir müssen noch ein bisschen tiefer graben, um zu verstehen, was hier los war.

#TPGs besser verstehen

Lass uns ein bisschen mehr darüber reden, wie TPGs funktionieren. Stell dir einen grossen Baum mit verschiedenen Ästen vor, wobei jeder Ast ein einfaches Programm darstellt. Diese Programme geben Informationen über die Umgebung weiter, wie weit die Bäume entfernt sind, und entscheiden, was die Drohne als Nächstes tun soll.

Wir starten diesen Prozess an der Wurzel des Baumes und folgen den Ästen basierend auf ihren "Geboten", die im Grunde genommen zeigen, wie gut sie das aktuelle Problem lösen können. Es ist fast wie ein freundlicher Wettbewerb unter den Ästen, um zu sehen, welcher die Drohne am besten leiten kann.

Während wir TPGs weiter trainieren, durchlaufen sie einen Prozess, der nicht unähnlich zur Evolution ist. Die besten Äste überleben, während die schwächeren zurückgelassen werden. So können TPGs im Laufe der Zeit stärker werden und sich an Herausforderungen anpassen, wenn sie kommen.

#Vergleich DRL und TPG

Jetzt lass uns alles in einer Nebeneinander-Vergleich darstellen. In unseren statischen Umgebungen mit 50 und 100 Bäumen haben TPGs und DRL ähnlich abgeschnitten. TPGs waren in der dynamischen Umgebung ein bisschen hinten, aber ihre geringere Komplexität und der leichter verständliche Entscheidungsprozess machen sie trotzdem attraktiv.

TPGs zeigen echtes Potential. Sie verbrauchen nicht so viele Ressourcen wie DRL, und ihre Abläufe sind klarer. Aber wenn wir eins aus unserer Drohnenerfahrung gelernt haben, dann, dass es Raum für Verbesserungen gibt, besonders in dynamischen Szenarien.

#Der Weg nach vorne

Wir sind noch nicht fertig. Es gibt immer noch Fragen zu klären und Anpassungen vorzunehmen. Zuerst wollen wir tiefer eintauchen, wie die Belohnungen die TPG-Leistung beeinflussen. Es ist entscheidend, den sweet spot zu finden, der unseren TPG-Agenten hilft, ihr Bestes zu geben.

Wir haben auch ein Auge darauf, die Parameter für TPGs zu optimieren, was im Vergleich zu DRL einfacher sein sollte, da es weniger davon gibt. Ausserdem könnten wir in Betracht ziehen, noch komplexere Umgebungen zu schaffen. Wenn wir TPGs in anspruchsvollen Situationen reibungslos zum Laufen bringen können, könnten wir sie in der echten Welt tatsächlich in Drohnen einsetzen.

Durch das Verfeinern unserer Ansätze und das gründliche Testen können wir einen Schritt näher an sichereren, intelligenten Drohnenoperationen kommen, die problemlos durch Herausforderungen navigieren können – egal ob durch einen dichten Wald oder eine belebte Stadtlandschaft.

#Fazit

In der Gesamtansicht führt uns unsere Reise mit Drohnen durch eine Mischung aus Herausforderungen und Lösungen. Während Deep Reinforcement Learning uns gut gedient hat, ist klar, dass verwirrte Programmgraphen der nächste Schritt nach vorne sein könnten. Mit ihrem geringeren Ressourcenbedarf und klareren Entscheidungsprozessen könnten TPGs die Art und Weise revolutionieren, wie wir diese fliegenden Maschinen steuern.

Während wir weiterhin auf unserer Reise sind, erwarten wir weitere Entdeckungen, Verbesserungen und vielleicht ein paar Lacher unterwegs. Schliesslich ist es selbst in der Welt der Drohnen wichtig, die Dinge leicht und locker zu halten, während wir hart arbeiten. Also, auf ein besseres Navigieren am Himmel, ein cleverer Algorithmus nach dem anderen!