Utiliser des drones avec des champs de radiation neurale pour le suivi de cibles en ville

Ces dernières années, y a eu un gros intérêt pour l'utilisation des drones pour suivre des cibles en mouvement dans des milieux urbains. C'est super important surtout quand il y a des grands immeubles ou d'autres obstacles qui gênent la visibilité. Le défi, c'est d'aider un drone, ou un éclaireur, à localiser et suivre efficacement plusieurs cibles en mouvement tout en naviguant dans un environnement complexe.

Cet article explore une méthode qui permet à un drone de suivre plusieurs cibles en utilisant une représentation spéciale de la ville connue sous le nom de champ de radiance neural (NeRF). En utilisant des images et des données de profondeur collectées en temps réel, le drone peut créer un modèle de l'environnement qui l'aide à prendre de meilleures décisions sur où aller ensuite.

#Énoncé du problème

Imagine un jeu où un drone représente un flic essayant de choper des voleurs dans une ville. Les voleurs essaient de se cacher, ce qui empêche le drone de les localiser facilement. Les principales questions dans ce scénario sont :

1. Comment le drone peut explorer les parties inconnues de la ville tout en construisant une carte en même temps ?
2. Comment le drone doit-il équilibrer l'apprentissage de son environnement et le suivi des voleurs ?
3. Comment les voleurs peuvent-ils utiliser les angles morts créés par les bâtiments pour éviter d'être vus par le drone ?

Ces questions poussent la recherche sur comment les drones peuvent optimiser leurs stratégies de recherche et de suivi dans des environnements urbains complexes.

#Contributions clés

Ce travail introduit plusieurs idées importantes.

1. Champs de Radiance Neurale : Les NeRF peuvent être entraînés en temps réel pour représenter les couleurs et les profondeurs des images capturées par le drone. Cela permet au drone de créer des vues futures de l'environnement basées sur des observations passées.

2. Filtre de Bayes : Cette méthode statistique aide le drone à garder une trace des positions des cibles en mouvement, ce qui lui permet de mettre à jour ses connaissances sur où chaque cible est susceptible d'être.

3. Gain d'information : L'utilisation de l'information mutuelle aide à intégrer l'exploration de nouvelles zones avec l'objectif de garder un œil sur les cibles. Ça facilite la prise de décision du drone sur où aller ensuite.

4. Politiques de cibles : La recherche fournit des stratégies pour le drone et les cibles. Le drone peut choisir des chemins qui maximisent ses chances de repérer les cibles, tandis que les cibles peuvent activement choisir des endroits qui rendent plus difficile leur détection par le drone.

#Construction de la représentation de l'environnement

Quand le drone entre dans une zone, il n'a pas de carte de la ville. Pour résoudre ça, il utilise l'approche NeRF pour construire une représentation de la scène.

Le NeRF prend des images et des données de profondeur de la caméra du drone pour créer un modèle 3D de l'environnement. Ce modèle permet au drone de synthétiser des images de nouveaux points de vue qu'il n'a pas encore vus. Au fur et à mesure que le drone se déplace dans la ville, il met continuellement à jour ce modèle, le rendant plus précis avec le temps.

Pour entraîner le modèle, le drone collecte des images en volant. Il utilise ces images pour ajuster et améliorer sa représentation de l'environnement. Plus la représentation du drone est précise, plus il peut efficacement suivre ses cibles.

#Suivi des cibles avec un filtre de Bayes

Alors que le drone collecte des données, il doit également suivre où se trouvent les cibles. C'est là que le filtre de Bayes entre en jeu. Le filtre utilise une grille de particules pour représenter les positions possibles de chaque cible.

Lorsque le drone détecte une cible, il met à jour le filtre, raffinant son estimation de l'emplacement de cette cible. Le filtre permet au drone de garder un historique des endroits où il a vu des cibles auparavant, améliorant ses chances de les suivre avec succès.

Le drone utilise un modèle de mouvement pour prédire où les cibles sont susceptibles de se déplacer. Ce modèle aide le drone à comprendre qu'une cible pourrait se déplacer vers un endroit proche et met à jour le filtre de particules en conséquence.

#Prise de décision

Quand il s'agit de décider où aller ensuite, le drone utilise les représentations qu'il a construites avec son NeRF. L'objectif est de maximiser l'information qu'il obtient sur l'environnement et les cibles.

Pour ça, le drone évalue les observations futures potentielles et sélectionne des chemins qui fourniront le plus d'informations. Ce processus nécessite un équilibre entre l'exploration de nouvelles zones et le maintien de la vue sur des cibles connues.

#Expériences de simulation

Pour tester l'efficacité des stratégies discutées, des expériences ont été menées dans un environnement simulé. La simulation rend des cartes de la ville avec des bâtiments, permettant au drone de voler et de collecter des données.

Deux cartes de ville ont été utilisées : une de Center City, Philadelphia, et une autre de StuyTown à New York. Les expériences visaient à voir à quel point le drone pouvait suivre des cibles dans diverses conditions.

Le drone commençait chaque expérience à un point de départ fixe et augmentait son altitude pour collecter les premières données. Il exécutait ensuite une série de mouvements planifiés en fonction de sa carte actuelle et de ses connaissances sur l'emplacement des cibles.

#Évaluation des politiques d'éclaireur

L'efficacité des différentes stratégies de suivi du drone a été évaluée à travers plusieurs politiques d'éclaireur. L'expérience a impliqué de tester trois méthodes différentes :

1. Carte de vérité terrain avec maximum a posteriori (GTmap+MAP) : Cette méthode utilise une carte connue et s'appuie sur l'approche maximum a posteriori pour guider les mouvements du drone.

2. Carte de vérité terrain avec l'information mutuelle (GTmap+MI) : Cette version utilise également une carte connue mais se concentre sur la maximisation de l'information mutuelle pour informer les décisions du drone.

3. NeRF avec information mutuelle (NeRF+MI) : Cette méthode repose sur la représentation NeRF créée en temps réel pour suivre les cibles tout en utilisant l'information mutuelle pour guider les décisions.

L'objectif était de voir à quel point la représentation NeRF performait par rapport à la carte connue. Les expériences ont évalué l'exactitude du suivi des cibles stationnaires et en mouvement.

#Résultats avec des cibles stationnaires

Dans la première partie des expériences, le drone a suivi des cibles stationnaires. Toutes les méthodes ont réussi à localiser les cibles dans un délai raisonnable. La stratégie GTmap+MAP a été la plus rapide, car elle utilisait une carte connue pour trouver toutes les cibles rapidement.

Les méthodes qui reposaient sur l'information mutuelle (GTmap+MI et NeRF+MI) ont pris plus de temps mais ont été plus complètes dans l'exploration de l'environnement. Cette exhaustivité leur a permis d'identifier des cibles non immédiatement visibles, car elles ont utilisé l'exploration pour rassembler plus d'informations avec le temps.

#Résultats avec des cibles actives

Dans l'expérience suivante, les cibles ont activement essayé de se cacher du drone. En connaissant les mouvements du drone, elles ont choisi des endroits qui rendaient difficile sa détection.

Au cours des essais, il a été constaté que le drone utilisant l'approche Greedy MAP avait tendance à manquer ces cibles pendant plus longtemps, car il se concentrait sur des zones qu'il pensait susceptibles de contenir des cibles. En revanche, l'approche NeRF+MI, qui optimisait l'exploration et l'exploitation, maintenait un taux d'erreur plus bas dans le suivi des cibles.

Cela montre qu'une approche plus holistique de la navigation et du suivi, qui inclut à la fois l'exploration de nouvelles zones et le suivi des cibles connues, mène à de meilleures performances globales.

#Importance de la Reconstruction de scène

Les expériences ont révélé que la qualité de la représentation NeRF affecte directement la performance de suivi du drone. À mesure que le drone volait à travers la ville, un plus grand ensemble de données rendait de plus en plus difficile le maintien de reconstructions de haute qualité, entraînant des variations dans l'exactitude du suivi des cibles.

Il est crucial de s'assurer que la représentation NeRF reste précise, car un NeRF bien entraîné aide le drone à comprendre les occlusions dans l'environnement, ce qui entraîne de meilleures décisions pour le suivi.

#Conclusion

Cette étude a démontré avec succès qu'un drone pouvait suivre efficacement plusieurs cibles en mouvement dans un environnement urbain en utilisant un champ de radiance neural pour sa représentation. En entraînant le NeRF en temps réel, le drone pouvait s'adapter à l'environnement et prendre des décisions éclairées sur où explorer ensuite.

La combinaison du NeRF et des filtres de Bayes a fourni une méthode robuste pour suivre des cibles dynamiques tout en apprenant continuellement sur l'environnement. De futures améliorations dans les capacités d'entraînement et de représentation du NeRF amélioreront la précision du suivi et la performance globale dans des milieux urbains complexes.

Les résultats de ce travail soulignent le potentiel d'utilisation de techniques avancées d'apprentissage automatique dans la conception de systèmes de suivi intelligents pour les drones. La recherche future pourrait se concentrer sur l'introduction de comportements cibles plus complexes et le perfectionnement des méthodes utilisées pour la reconstruction de scène et le suivi des cibles.