Nuevo filtro mejora la percepción del terreno por parte de los robots
Un nuevo método ayuda a los robots a entender mejor las superficies en entornos naturales.
― 7 minilectura
Tabla de contenidos
Los robots móviles necesitan ver y entender las superficies que tienen a su alrededor para moverse de manera segura por sí solos. Normalmente, usan sensores de profundidad, como LiDAR, para recoger información sobre su entorno. Sin embargo, estos sensores pueden tener problemas al lidiar con hierba alta u otras plantas que se pueden mover. Este artículo habla de un nuevo método llamado el Filtro de Nube de Puntos Semántico (SPF) que ayuda a los robots a ajustar su percepción de las superficies, incluso cuando están obstruidas por vegetación.
El Desafío
Cuando los robots navegan por entornos naturales, suelen asumir que todo lo que encuentran es firme e inmutable. Pueden pensar que la hierba es suelo sólido o que un arbusto es una pared. Esto puede llevar a errores, como intentar pisar algo que en realidad no está ahí. Los humanos, por otro lado, pueden mirar la hierba alta y decir que es suave y se puede caminar sobre ella. Usan lo que ven para ajustar sus pasos.
Los robots necesitan aprender a hacer lo mismo para moverse más eficazmente en entornos al aire libre.
¿Qué es SPF?
El Filtro de Nube de Puntos Semántico es una herramienta diseñada para mejorar cómo los robots perciben las superficies. En lugar de usar datos crudos de los sensores, SPF utiliza una combinación de información de LiDAR e imágenes de cámara para entender mejor dónde está el suelo. El filtro utiliza un tipo de red neuronal para analizar y modificar los datos, permitiéndole crear una imagen más precisa de la superficie que hay abajo.
Cómo Funciona SPF
El SPF toma dos entradas: una nube de puntos de LiDAR y una imagen de una cámara. La nube de puntos es una colección de puntos 3D que representan el entorno. Estos datos pueden ser desordenados, especialmente en áreas con plantas altas. La imagen de la cámara proporciona detalles visuales adicionales que pueden ayudar al filtro a identificar mejor las superficies.
SPF utiliza un proceso llamado aprendizaje semi-autosupervisado. Esto significa que parte del entrenamiento utiliza datos etiquetados (donde los humanos han identificado diferentes superficies) y parte utiliza datos generados de la experiencia del robot.
Entrenando el Filtro
Para entrenar el SPF, el equipo recogió imágenes y datos de nube de puntos en diferentes entornos al aire libre, como campos y bosques. Algunas imágenes fueron etiquetadas manualmente para indicar obstáculos rígidos (sólidos) y superficies de soporte (lugares donde el robot puede caminar). El SPF aprendió a identificar estas superficies mirando la relación entre los datos de LiDAR y la cámara.
El filtro está diseñado para predecir una máscara binaria, que es una vista simplificada que muestra qué partes de la nube de puntos necesitan ser ajustadas para obtener información de profundidad precisa. El filtro también predice cuán lejos están las superficies, permitiendo una vista más realista del terreno.
Ventajas de SPF
Usando el SPF, los robots pueden tomar mejores decisiones al navegar por terrenos desafiantes. El filtro ha demostrado ser efectivo en mejorar la capacidad del robot para crear Mapas de elevación y evaluar qué áreas son seguras para tranzar.
Pruebas en el Mundo Real
La efectividad del SPF se probó en un robot con patas llamado ANYmal. El robot fue llevado a través de varios entornos al aire libre donde tuvo que moverse sobre hierba, a través de bosques y por terrenos montañosos. Los resultados mostraron que los datos filtrados por SPF mejoraron significativamente la precisión del mapeo de elevación del robot y las evaluaciones de transitabilidad.
Cuando el robot usó los datos brutos de la nube de puntos, tuvo problemas para determinar dónde estaba el suelo, especialmente en áreas con hierba. Sin embargo, después de aplicar el SPF, el robot obtuvo una comprensión mucho más clara del terreno.
Mapeo de Elevación
El mapeo de elevación es importante para los robots porque les permite saber cuán alto o bajo está el suelo en diferentes áreas. Esta información es crucial para planear movimientos seguros.
Con el SPF, los mapas de elevación producidos fueron mucho más precisos que los creados con datos no filtrados. Por ejemplo, en un prado, el mapa de elevación creado usando SPF resultó en tasas de error significativamente más bajas en comparación con el uso de datos de sensores en bruto o técnicas de suavizado básicas. Esto significa que la comprensión del robot sobre el terreno fue mucho mejor con el SPF en uso.
Estimación de Transitabilidad
La estimación de transitabilidad se refiere a cómo un robot determina si una superficie es segura para cruzar. Al usar la nube de puntos en bruto o incluso una versión suavizada, el robot a menudo hacía suposiciones incorrectas sobre lo que podía y no podía cruzar. El SPF mejoró enormemente la capacidad del robot para predecir la transitabilidad con precisión.
En las pruebas, cuando el robot estaba en un área con hierba, el SPF filtró el ruido creado por la vegetación, permitiendo al robot ver el verdadero suelo que había debajo. Esto llevó a mapas de transitabilidad más precisos, que son críticos para la navegación y planificación de movimientos.
Importancia del Enfoque Multi-Modal
El SPF utiliza tanto entradas de LiDAR como de cámara para mejorar su rendimiento. Este Enfoque multimodal permite al robot fusionar datos geométricos de LiDAR con información visual de la cámara. Tal fusión es crucial para mejorar la comprensión del robot sobre su entorno.
Usar solo una fuente de datos, como solo LiDAR o solo imágenes de la cámara, a menudo lleva a problemas en entornos más complejos. Al combinar ambas fuentes, SPF aprovecha las fortalezas de cada una y mejora el rendimiento general.
Direcciones Futuras
Aunque el SPF ha mostrado grandes mejoras, aún hay desafíos por abordar. Por ejemplo, el filtro puede tener dificultades en situaciones con mala iluminación o cuando los tipos de vegetación cambian drásticamente.
De cara al futuro, los investigadores están buscando formas de incorporar detección de anomalías en el proceso de entrenamiento. Esto podría significar menos dependencia de la etiquetación manual, haciendo que el sistema sea más fácil de entrenar y aplicar en varios entornos.
Además, integrar el SPF con otras funciones del robot, como locomoción y planificación de caminos, podría mejorar aún más su utilidad. Al trabajar juntos, estos sistemas podrían proporcionar una solución más integral para los robots que operan en entornos al aire libre.
Conclusión
El Filtro de Nube de Puntos Semántico representa un paso importante en cómo los robots perciben sus entornos. Al mejorar la forma en que los robots entienden las superficies, SPF puede ayudar a mejorar sus capacidades de navegación. Con pruebas exitosas en robots del mundo real, esta tecnología tiene el potencial de aumentar la autonomía de los robots que operan en entornos naturales, haciéndolos más seguros y eficientes.
A medida que la investigación avanza, podemos esperar más progresos en la forma en que los robots interactúan con su entorno, llevando eventualmente a máquinas más inteligentes y capaces que puedan navegar escenarios complejos al aire libre con facilidad.
Título: Seeing Through the Grass: Semantic Pointcloud Filter for Support Surface Learning
Resumen: Mobile ground robots require perceiving and understanding their surrounding support surface to move around autonomously and safely. The support surface is commonly estimated based on exteroceptive depth measurements, e.g., from LiDARs. However, the measured depth fails to align with the true support surface in the presence of high grass or other penetrable vegetation. In this work, we present the Semantic Pointcloud Filter (SPF), a Convolutional Neural Network (CNN) that learns to adjust LiDAR measurements to align with the underlying support surface. The SPF is trained in a semi-self-supervised manner and takes as an input a LiDAR pointcloud and RGB image. The network predicts a binary segmentation mask that identifies the specific points requiring adjustment, along with estimating their corresponding depth values. To train the segmentation task, 300 distinct images are manually labeled into rigid and non-rigid terrain. The depth estimation task is trained in a self-supervised manner by utilizing the future footholds of the robot to estimate the support surface based on a Gaussian process. Our method can correctly adjust the support surface prior to interacting with the terrain and is extensively tested on the quadruped robot ANYmal. We show the qualitative benefits of SPF in natural environments for elevation mapping and traversability estimation compared to using raw sensor measurements and existing smoothing methods. Quantitative analysis is performed in various natural environments, and an improvement by 48% RMSE is achieved within a meadow terrain.
Autores: Anqiao Li, Chenyu Yang, Jonas Frey, Joonho Lee, Cesar Cadena, Marco Hutter
Última actualización: 2023-05-13 00:00:00
Idioma: English
Fuente URL: https://arxiv.org/abs/2305.07995
Fuente PDF: https://arxiv.org/pdf/2305.07995
Licencia: https://creativecommons.org/licenses/by/4.0/
Cambios: Este resumen se ha elaborado con la ayuda de AI y puede contener imprecisiones. Para obtener información precisa, consulte los documentos originales enlazados aquí.
Gracias a arxiv por el uso de su interoperabilidad de acceso abierto.
Enlaces de referencia
- https://drive.google.com/file/d/1Hxd52z5fx7Mu6K14wOBXvPx04B9OAbpa/view?usp=sharing
- https://drive.google.com/file/d/18WJk6h4ABe5-sv6QunS-tz01Z7Wbh4Jp/view?usp=sharing
- https://drive.google.com/file/d/1lhFLxE_ABADJqhxA-HVb-KuUqfHD1mP2/view?usp=sharing
- https://drive.google.com/file/d/12uCdCL1UcYQYO8mQCam1G3DMwk7adK2p/view?usp=sharing
- https://drive.google.com/file/d/1AvcLOm4T_qGmkGFFuyiCrq49zavDlKRT/view?usp=sharing