Einsatz von Drohnen mit Neuralen Strahlungsfeldern zur Zielverfolgung in Städten

In den letzten Jahren gab's ziemlich viel Interesse daran, Drohnen zu nutzen, um bewegliche Ziele in städtischen Umgebungen zu verfolgen. Dieser Ansatz ist besonders wichtig, wenn's hohe Gebäude oder andere Hindernisse gibt, die die Sicht behindern. Die Herausforderung besteht darin, einer Drohne oder einem Scout zu helfen, mehrere bewegliche Ziele effektiv zu finden und zu verfolgen, während sie sich durch eine komplexe Umgebung navigiert.

Dieser Artikel untersucht eine Methode, die es einer Drohne ermöglicht, mehrere Ziele mithilfe einer speziellen Darstellung der Stadt, bekannt als Neural Radiance Field (NeRF), zu verfolgen. Indem sie Bilder und Tiefendaten in Echtzeit sammelt, kann die Drohne ein Modell der Umgebung erstellen, das ihr hilft, bessere Entscheidungen darüber zu treffen, wo sie als Nächstes hinfliegen soll.

#Problemstellung

Stell dir ein Spiel vor, in dem eine Drohne einen Polizisten darstellt, der versucht, Räuber in einer Stadt zu fangen. Die Räuber versuchen, sich zu verstecken, was die Drohne daran hindert, sie leicht zu lokalisieren. Die Hauptfragen in diesem Szenario sind:

1. Wie kann die Drohne unbekannte Teile der Stadt erkunden und gleichzeitig eine Karte erstellen?
2. Wie sollte die Drohne das Lernen über ihre Umgebung und das Verfolgen der Räuber ausbalancieren?
3. Wie können die Räuber die blinden Flecken, die durch Gebäude entstehen, nutzen, um nicht von der Drohne gesehen zu werden?

Diese Fragen treiben die Forschung darüber voran, wie Drohnen ihre Such- und Verfolgungsstrategien in komplexen städtischen Umgebungen optimieren können.

#Wichtige Beiträge

Diese Arbeit führt mehrere wichtige Ideen ein.

1. Neural Radiance Fields: NeRFs können in Echtzeit trainiert werden, um die Farben und Tiefen von Bildern zu repräsentieren, die von der Drohne aufgenommen wurden. Das ermöglicht der Drohne, zukünftige Ansichten der Umgebung basierend auf vergangenen Beobachtungen zu erstellen.

2. Bayes-Filter: Diese statistische Methode hilft der Drohne, die Positionen der beweglichen Ziele im Blick zu behalten, sodass sie ihr Wissen über den wahrscheinlichen Standort jedes Ziels aktualisieren kann.

3. Informationsgewinn: Die Verwendung von gemeinsamer Information hilft dabei, die Exploration neuer Bereiche mit dem Ziel zu integrieren, die Ziele im Auge zu behalten. Das erleichtert es der Drohne, darüber zu entscheiden, wo sie als Nächstes hinfliegen soll.

4. Zielrichtlinien: Die Forschung bietet Strategien sowohl für die Drohne als auch für die Ziele. Die Drohne kann Wege wählen, die ihre Chancen maximieren, Ziele zu entdecken, während die Ziele aktiv Orte wählen können, die es der Drohne schwerer machen, sie zu sehen.

#Aufbau der Umgebungsdarstellung

Als die Drohne zum ersten Mal in einen Bereich hineinflog, hatte sie keine Karte der Stadt. Um dies zu lösen, nutzt sie den NeRF-Ansatz, um eine Darstellung der Szene zu erstellen.

NeRF nimmt Bilder und Tiefendaten von der Kamera der Drohne, um ein 3D-Modell der Umgebung zu erstellen. Dieses Modell ermöglicht der Drohne, Bilder aus neuen Blickwinkeln zu synthetisieren, die sie noch nicht gesehen hat. Während die Drohne durch die Stadt fliegt, aktualisiert sie dieses Modell kontinuierlich, wodurch es im Laufe der Zeit genauer wird.

Um das Modell zu trainieren, sammelt die Drohne Bilder, während sie herumfliegt. Sie nutzt diese Bilder, um ihre Darstellung der Umgebung anzupassen und zu verbessern. Je besser die Darstellung der Drohne ist, desto effektiver kann sie ihre Ziele verfolgen.

#Verfolgen von Zielen mit einem Bayes-Filter

Während die Drohne Daten sammelt, muss sie auch im Blick behalten, wo sich die Ziele befinden. Hier kommt der Bayes-Filter ins Spiel. Der Filter verwendet ein Gitter von Partikeln, um die möglichen Standorte jedes Ziels darzustellen.

Wenn die Drohne ein Ziel erkennt, aktualisiert sie den Filter und verfeinert ihre Schätzung, wo sich dieses Ziel befindet. Der Filter erlaubt es der Drohne, eine Historie darüber zu führen, wo sie die Ziele zuvor gesehen hat, was ihre Wahrscheinlichkeit verbessert, sie erfolgreich zu verfolgen.

Die Drohne verwendet ein Bewegungsmodell, um vorherzusagen, wo sich die Ziele wahrscheinlich hinbewegen. Dieses Modell hilft der Drohne zu verstehen, dass sich ein Ziel möglicherweise an einen nahegelegenen Ort bewegt, und aktualisiert den Partikelfilter entsprechend.

#Entscheidungsfindung

Wenn die Drohne entscheidet, wo sie als Nächstes hingehen soll, nutzt sie die Darstellungen, die sie mit ihrem NeRF erstellt hat. Das Ziel ist es, die Informationen, die sie sowohl über die Umgebung als auch über die Ziele gewinnt, zu maximieren.

Dazu bewertet die Drohne potenzielle zukünftige Beobachtungen und wählt Wege aus, die die meisten Informationen bieten. Dieser Prozess erfordert eine Balance zwischen der Erkundung neuer Bereiche und der Sicht auf bekannte Ziele.

#Simulationsversuche

Um die Effektivität der besprochenen Strategien zu testen, wurden Experimente in einer simulierten Umgebung durchgeführt. Die Simulation erstellt Stadtpläne mit Gebäuden, wodurch die Drohne fliegen und Daten sammeln kann.

Es wurden zwei Stadtpläne verwendet: einer von Center City, Philadelphia, und ein anderer von StuyTown in New York City. Ziel der Experimente war es zu sehen, wie gut die Drohne Ziele unter verschiedenen Bedingungen verfolgen konnte.

Die Drohne startete jedes Experiment von einem festen Ausgangspunkt und erhöhte ihre Höhe, um erste Daten zu sammeln. Dann führte sie eine Reihe geplanter Bewegungen basierend auf ihrer aktuellen Karte und ihrem Wissen darüber aus, wo sich die Ziele befanden.

#Bewertung der Scout-Politiken

Die Effektivität verschiedener Drohnenverfolgungsstrategien wurde durch mehrere Scout-Politiken bewertet. Das Experiment bestand darin, drei verschiedene Methoden zu testen:

1. Ground Truth Map with Maximum A Posteriori (GTmap+MAP): Diese Methode nutzt eine bekannte Karte und verlässt sich auf den Maximum-a-posteriori-Ansatz, um die Bewegungen der Drohne zu leiten.

2. Ground Truth Map with Mutual Information (GTmap+MI): Diese Version verwendet ebenfalls eine bekannte Karte, konzentriert sich aber darauf, die gemeinsame Information zu maximieren, um die Entscheidungen der Drohne zu informieren.

3. NeRF with Mutual Information (NeRF+MI): Diese Methode verlässt sich auf die in Echtzeit erstellte NeRF-Darstellung, um Ziele zu verfolgen, während sie die gemeinsame Information nutzt, um Entscheidungen zu lenken.

Das Ziel war es zu sehen, wie gut die NeRF-Darstellung im Vergleich zur bekannten Karte abschneidet. Die Experimente bewerteten die Genauigkeit bei der Verfolgung stationärer und beweglicher Ziele.

#Ergebnisse mit stationären Zielen

Im ersten Teil der Experimente verfolgte die Drohne stationäre Ziele. Alle Methoden hatten Erfolg dabei, die Ziele innerhalb eines angemessenen Zeitrahmens zu lokalisieren. Die GTmap+MAP-Strategie war die schnellste, da sie eine bekannte Karte verwendete, um alle Ziele schnell zu finden.

Die Methoden, die auf gemeinsamer Information basierten (GTmap+MI und NeRF+MI), benötigten länger, waren jedoch gründlicher beim Erkunden der Umgebung. Diese Gründlichkeit erlaubte es ihnen, Ziele zu identifizieren, die nicht sofort sichtbar waren, da sie die Erkundung nutzten, um über die Zeit mehr Informationen zu sammeln.

#Ergebnisse mit aktiven Zielen

Im nächsten Experiment versuchten die Ziele aktiv, sich vor der Drohne zu verstecken. Indem sie die Bewegungen der Drohne kannten, wählten sie Orte, die es der Drohne schwer machten, sie zu sehen.

Während der Versuche wurde festgestellt, dass die Drohne mit dem Greedy-MAP-Ansatz dazu neigte, diese Ziele über längere Zeiträume zu verfehlen, da sie sich auf Bereiche konzentrierte, von denen sie dachte, dass sie wahrscheinlich Ziele enthalten. Im Gegensatz dazu hielt der NeRF+MI-Ansatz, der die Erkundung und Ausnutzung optimierte, eine niedrigere Fehlerrate bei der Verfolgung von Zielen aufrecht.

Das zeigt, dass ein ganzheitlicherer Ansatz für Navigation und Verfolgung, der sowohl die Erkundung neuer Bereiche als auch das Verfolgen bekannter Ziele beinhaltet, zu einer besseren Gesamtleistung führt.

#Bedeutung der Szenenrekonstruktion

Die Experimente zeigten, dass die Qualität der NeRF-Darstellung die Verfolgungsleistung der Drohne direkt beeinflusst. Während die Drohne durch die Stadt flog, machte ein grösseres Datenset die Aufrechterhaltung hochqualitativer Rekonstruktionen zunehmend schwierig, was zu Variationen in der Genauigkeit der Zielverfolgung führte.

Es ist entscheidend, sicherzustellen, dass die NeRF-Darstellung genau bleibt, da ein gut trainiertes NeRF der Drohne hilft, Okklusionen in der Umgebung zu verstehen, was zu besseren Entscheidungen für die Verfolgung führt.

#Fazit

Diese Studie hat erfolgreich gezeigt, dass eine Drohne mehrere bewegliche Ziele in einer städtischen Umgebung effektiv verfolgen kann, indem sie ein neuronales Strahlungsfeld für ihre Darstellung verwendet. Durch das Training des NeRF in Echtzeit konnte die Drohne sich an die Umgebung anpassen und informierte Entscheidungen darüber treffen, wo sie als Nächstes erkunden sollte.

Die Kombination aus NeRF und Bayes-Filtern bot eine robuste Methode zur Verfolgung dynamischer Ziele, während sie kontinuierlich über die Umgebung lernten. Weitere Verbesserungen im Training und in den Darstellungskapazitäten des NeRF werden die Verfolgungsgenauigkeit und die Gesamtleistung in komplexen städtischen Umgebungen erhöhen.

Die Ergebnisse dieser Arbeit heben das Potenzial hervor, fortschrittliche Techniken des maschinellen Lernens beim Design intelligenter Verfolgungssysteme für Drohnen zu nutzen. Zukünftige Forschung könnte sich darauf konzentrieren, komplexere Zielverhalten einzuführen und die Methoden zur Szenenrekonstruktion und Zielverfolgung zu verfeinern.