Avancées dans la technologie SLAM avec le jeu de données NTU4DRadLM
Le dataset NTU4DRadLM booste la recherche SLAM en intégrant des capteurs clés pour des environnements difficiles.
― 7 min lire
Table des matières
La localisation et la cartographie simultanées (SLAM) est une techno utilisée dans les robots mobiles autonomes et les véhicules sans pilote. Ça permet à ces machines de cartographier leur environnement tout en suivant leur position. Le SLAM a fait des progrès, mais y'a des défis quand ça devient pourri dehors, avec la pluie, la neige, la fumée, et le brouillard. Les systèmes traditionnels avec LiDAR et caméras peuvent galérer dans ces conditions.
Pour surmonter ces problèmes, un nouveau type de capteur appelé radar 4D a été introduit. Ce radar peut créer des images 3D détaillées, même dans des conditions difficiles. Quand on le combine avec une Caméra thermique et une unité de mesure inertielle (IMU), le système peut fonctionner de manière fiable. Malheureusement, il manque de datasets avec ces capteurs qui bossent ensemble pour la recherche SLAM.
Le besoin de meilleurs datasets
La recherche en SLAM est limitée par le manque de datasets appropriés. Même si certains datasets avec radar 4D existent, ils se concentrent généralement sur la détection d'objets plutôt que sur la cartographie ou la localisation. De plus, ces datasets n'incluent souvent pas de caméras thermiques, qui sont cruciales pour fonctionner dans des conditions de faible visibilité. Ce manque de datasets complets rend difficile pour les chercheurs de tester et d'améliorer les technologies SLAM avec des systèmes multi-capteurs.
Présentation du dataset NTU4DRadLM
Pour combler cette lacune, le dataset NTU4DRadLM a été créé. Il est unique parce qu'il combine plusieurs capteurs nécessaires pour une techno SLAM efficace, notamment :
- Radar 4D
- Caméra thermique
- IMU
- LiDAR 3D
- Caméra visuelle
- GPS RTK
Ce dataset a été spécialement conçu pour les tâches SLAM. Il offre des données d'odométrie précises et a été soigneusement construit pour inclure des fermetures de boucle, essentielles pour corriger les erreurs de position au fil du temps.
Caractéristiques clés du dataset
Le dataset NTU4DRadLM a plusieurs caractéristiques bénéfiques :
Variété de capteurs : C'est le seul dataset qui inclut tous les capteurs mentionnés, avec leurs paramètres de calibration.
Axé sur le SLAM : Il est conçu pour les tâches SLAM, fournissant des données de vérité terrain précises et des trajectoires qui se chevauchent pour optimiser le processus de cartographie.
Variabilité de vitesse : Le dataset inclut des données collectées à partir de plateformes lentes (comme des chariots) et rapides (comme des voitures).
Différents environnements : Le dataset couvre divers environnements, des zones structurées (comme des parkings) aux endroits non structurés ou semi-structurés (comme des jardins et des routes).
Différentes échelles : Il enregistre des environnements extérieurs de taille moyenne et grande, permettant une diversité de scénarios de test.
Évaluation d'algorithmes : Il a été testé avec trois types différents d'algorithmes SLAM pour valider les performances.
Processus de collecte de données
Le dataset NTU4DRadLM a été collecté sur le campus de l'Université Technologique de Nanyang à Singapour. Deux plateformes ont été utilisées pour la collecte de données :
Chariot : Cette plateforme a été poussée à la main et a collecté des données à des vitesses lentes, couvrant des environnements structurés, non structurés et semi-structurés.
Voiture : La voiture a été conduite doucement pour collecter des données à des vitesses plus élevées sur les routes principales.
La collecte de données a nécessité une planification soignée pour s'assurer que les capteurs pouvaient capturer avec précision les informations nécessaires. Des précautions ont été prises pour maintenir les plateformes stables et inclure des zones où les chemins se chevauchent, ce qui est important pour créer des fermetures de boucle efficaces dans le processus de cartographie.
Calibration des capteurs
Une bonne calibration des capteurs est cruciale pour garantir des données de haute qualité. Différentes méthodes ont été utilisées pour calibrer chaque type de capteur. Par exemple, une calibration intrinsèque a été effectuée sur les caméras visuelles et thermiques en utilisant une planche spéciale avec des trous pour obtenir des mesures précises. La calibration extrinsèque a impliqué l'alignement des capteurs LiDAR et thermiques, garantissant qu'ils fonctionnaient correctement ensemble.
La calibration a été faite pour tous les capteurs du dataset, permettant à ces données d'être alignées avec précision lors de l'analyse. Cette attention aux détails rend le dataset NTU4DRadLM fiable pour tester les algorithmes SLAM.
Évaluation des méthodes SLAM
Le dataset a été utilisé pour évaluer trois types de méthodes SLAM. Cela a inclus :
SLAM pur avec radar 4D : Cette approche utilise des données de nuage de points recueillies par le radar 4D pour la cartographie.
Fusion Radar 4D-IMU : Cette méthode combine les données radar avec des informations de l'IMU pour une meilleure précision.
SLAM Radar 4D-Caméra thermique : Cette approche intègre le nuage de points radar avec les données d'image thermique pour une meilleure perception de la profondeur.
En utilisant le dataset NTU4DRadLM, les chercheurs peuvent analyser la performance de ces différentes méthodes de SLAM. Le dataset permet des tests approfondis et des comparaisons de la manière dont chaque méthode fonctionne dans diverses conditions et environnements.
Résultats et observations
Les résultats de l'évaluation montrent à quel point chaque méthode SLAM performe par rapport aux données de vérité terrain. Par exemple, on a constaté que :
gicp (Generalized Iterative Closest Point) a surpassé la méthode Fast LIO dans la plupart des scénarios. Ça indique que l'approche d'enregistrement de nuages de points était plus efficace que les méthodes basées sur les caractéristiques en utilisant les données radar 4D.
Ajouter des fermetures de boucle au gicp a considérablement amélioré sa performance en aidant à réduire la dérive dans les trajectoires estimées.
La méthode Fast LIO a eu du mal dans certains environnements moins structurés, montrant qu'elle était moins fiable dans des zones où il y avait moins de caractéristiques à capturer.
La méthode 4DRT-SLAM, bien qu'elle soit prometteuse, a montré la nécessité d'améliorations, notamment dans le traitement des données brutes du radar 4D pour minimiser le bruit et les inexactitudes.
Grâce à ces évaluations, l'efficacité du dataset NTU4DRadLM a été démontrée, prouvant qu'il est une ressource précieuse pour la recherche en SLAM.
Conclusion et directions futures
Le dataset NTU4DRadLM représente un pas en avant significatif dans la recherche SLAM, surtout pour les applications qui doivent fonctionner de manière fiable dans des conditions difficiles. Il comble non seulement une lacune dans la disponibilité de datasets avec une combinaison de capteurs essentiels, mais offre aussi une plateforme pour étudier et améliorer les algorithmes SLAM.
Les travaux futurs se concentreront sur l'expansion de ce dataset pour inclure des données collectées dans des conditions météo difficiles. En faisant ça, les chercheurs pourront mieux comprendre comment les systèmes SLAM peuvent performer dans des scénarios réels où les facteurs environnementaux posent des défis.
À mesure que la techno SLAM continue d'évoluer, des datasets comme NTU4DRadLM joueront un rôle crucial pour favoriser l'innovation et l'amélioration dans les robots mobiles autonomes et les véhicules sans pilote. Les efforts continus pour améliorer les méthodes de collecte de données garantissent que les chercheurs ont les outils nécessaires pour repousser les limites de ce que ces systèmes peuvent accomplir.
Titre: NTU4DRadLM: 4D Radar-centric Multi-Modal Dataset for Localization and Mapping
Résumé: Simultaneous Localization and Mapping (SLAM) is moving towards a robust perception age. However, LiDAR- and visual- SLAM may easily fail in adverse conditions (rain, snow, smoke and fog, etc.). In comparison, SLAM based on 4D Radar, thermal camera and IMU can work robustly. But only a few literature can be found. A major reason is the lack of related datasets, which seriously hinders the research. Even though some datasets are proposed based on 4D radar in past four years, they are mainly designed for object detection, rather than SLAM. Furthermore, they normally do not include thermal camera. Therefore, in this paper, NTU4DRadLM is presented to meet this requirement. The main characteristics are: 1) It is the only dataset that simultaneously includes all 6 sensors: 4D radar, thermal camera, IMU, 3D LiDAR, visual camera and RTK GPS. 2) Specifically designed for SLAM tasks, which provides fine-tuned ground truth odometry and intentionally formulated loop closures. 3) Considered both low-speed robot platform and fast-speed unmanned vehicle platform. 4) Covered structured, unstructured and semi-structured environments. 5) Considered both middle- and large- scale outdoor environments, i.e., the 6 trajectories range from 246m to 6.95km. 6) Comprehensively evaluated three types of SLAM algorithms. Totally, the dataset is around 17.6km, 85mins, 50GB and it will be accessible from this link: https://github.com/junzhang2016/NTU4DRadLM
Auteurs: Jun Zhang, Huayang Zhuge, Yiyao Liu, Guohao Peng, Zhenyu Wu, Haoyuan Zhang, Qiyang Lyu, Heshan Li, Chunyang Zhao, Dogan Kircali, Sanat Mharolkar, Xun Yang, Su Yi, Yuanzhe Wang, Danwei Wang
Dernière mise à jour: 2023-09-02 00:00:00
Langue: English
Source URL: https://arxiv.org/abs/2309.00962
Source PDF: https://arxiv.org/pdf/2309.00962
Licence: https://creativecommons.org/licenses/by/4.0/
Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.
Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.
Liens de référence
- https://ctan.org/pkg/enumerate
- https://ctan.org/pkg/hyperref
- https://github.com/junzhang2016/NTU4DRadLM
- https://github.com/zhuge2333/4DRadarSLAM
- https://item.taobao.com/item.htm?spm=a230r.1.14.37.53516febmvgC3B&id=632095609993&ns=1&abbucket=0#detail
- https://tiny.cc/8je5wy
- https://goo.gl/maps/Rdm4iEDasNMJ1wBY9
- https://velodynelidar.com/products/hdl-32e/
- https://www.livoxtech.com/horizon
- https://goo.gl/maps/rwfNr9wiG7dChP1z8
- https://goo.gl/maps/CqY7FUXTugchx8Yw9