GEVO: Un nuevo enfoque para el mapeo 3D eficiente
GEVO mejora la mapeo 3D mientras minimiza el uso de memoria en dispositivos móviles.
Dasong Gao, Peter Zhi Xuan Li, Vivienne Sze, Sertac Karaman
― 6 minilectura
Tabla de contenidos
Crear una vista 3D detallada del entorno usando solo una cámara puede ser muy útil para dispositivos como smartphones, drones y visores de realidad virtual. Sin embargo, estos dispositivos suelen tener memoria limitada, y acceder a esta memoria puede consumir mucha energía.
Un método llamado Gaussian Splatting ayuda a crear escenas 3D detalladas, pero puede ser intensivo en memoria porque guarda muchas Imágenes pasadas para ayudar a mantener la precisión. Este uso de almacenamiento puede terminar requiriendo mucha más memoria que el mapa en sí, lo cual no es ideal para dispositivos móviles.
En este artículo, presentamos GEVO, un nuevo enfoque que usa Gaussian Splatting para mapeo 3D, pero que es mucho mejor gestionando la memoria. GEVO crea representaciones 3D que son tan buenas como los métodos anteriores, pero lo hace renderizando imágenes según se necesiten, ahorrando así mucha memoria.
La Necesidad de Eficiencia en la Memoria
Los dispositivos móviles a menudo enfrentan restricciones cuando se trata de la duración de la batería y la capacidad de memoria. Acceder a datos almacenados puede agotar la batería más rápido que realizar cálculos. Por ejemplo, acceder a una pequeña caché de memoria puede consumir más energía que hacer una operación. Esto resalta la importancia de crear sistemas que usen menos memoria manteniendo buenos resultados.
En muchas situaciones, los dispositivos necesitan interactuar de manera segura y efectiva con su entorno durante largos períodos. Para que esto suceda, necesitan tener una representación clara del espacio 3D a su alrededor, generalmente construida a partir de imágenes de la cámara. Por lo tanto, encontrar una forma de hacerlo de manera eficiente es crucial para la tecnología móvil.
Desafíos en los Sistemas SLAM Actuales
Para hacer un mapa 3D detallado mientras se mueve, los sistemas actuales suelen rastrear la posición de la cámara y optimizar el mapa usando un conjunto limitado de imágenes tomadas recientemente. Sin embargo, a medida que el sistema sigue procesando imágenes, puede comenzar a olvidar los detalles de imágenes anteriores, lo que lleva a un mapa menos preciso con el tiempo. Esta olvidanza a menudo se debe a dos problemas:
- Nuevas imágenes pueden bloquear detalles capturados previamente (oclusiones retrospectivas).
- El sistema puede centrarse demasiado en las imágenes más recientes, descuidando las anteriores (obstrucción de rayos incompleta).
Los métodos actuales intentan resolver estos problemas almacenando muchas imágenes pasadas. Lamentablemente, este enfoque puede llevar a un consumo de memoria aún mayor, lo cual no es adecuado para dispositivos con recursos limitados.
Visión General de GEVO
GEVO busca abordar estos problemas de manera eficiente en memoria. Evita almacenar imágenes pasadas renderizándolas a partir del mapa existente cuando es necesario. Esto no solo ahorra memoria, sino que también mantiene buena calidad en el mapa 3D.
Para asegurar que las imágenes renderizadas sean claras y precisas, GEVO introduce dos técnicas principales:
Inicialización que Preserva la Ocupación: Esta técnica se centra en identificar y mantener la visibilidad en la escena sin cubrir detalles importantes por error.
Optimización Consciente de la Consistencia: Este paso asegura que solo se ajusten los detalles más relevantes durante el proceso, evitando sobreajustarse a las imágenes más recientes.
Al combinar estas técnicas, GEVO proporciona con éxito un mapa 3D preciso con un consumo de memoria significativamente menor.
Cómo Funciona GEVO
El proceso de cómo funciona GEVO se puede desglosar en varios pasos clave:
Configuración Inicial: Al recoger imágenes, GEVO usa un método que rastrea tanto obstáculos como espacios libres. Esto ayuda a reducir oclusiones incorrectas.
Optimización Local: GEVO primero trabaja en las imágenes recién capturadas para mejorar su calidad. Este enfoque local permite que el sistema mejore rápidamente la vista actual sin depender de imágenes pasadas.
Optimización Global: Después de mejorar el mapa local, GEVO integra estos cambios en un mapa global más amplio. Esto ayuda a asegurar que la representación general del entorno siga siendo consistente y precisa.
Renderizado para Orientación: En lugar de necesitar imágenes pasadas, GEVO utiliza imágenes renderizadas del mapa global para seguir mejorando la vista actual. Esto ayuda a reducir el uso de memoria mientras se conservan los detalles necesarios para un mapeo preciso.
Beneficios de GEVO
La introducción de GEVO trae varios beneficios notables:
Uso Reducido de Memoria: GEVO requiere significativamente menos memoria en comparación con otros métodos. Esta reducción le permite funcionar efectivamente en dispositivos que luchan con limitaciones de memoria.
Precisión Mantenida: Incluso con menos memoria, GEVO puede producir un mapa 3D que es comparable en calidad a otros métodos que requieren más almacenamiento.
Eficiencia: Al no guardar cada imagen, GEVO opera con un menor consumo de energía, haciéndolo más adecuado para dispositivos a batería.
Resultados Experimentales
Para evaluar GEVO, se realizaron diversas pruebas en diferentes entornos. Estas pruebas compararon el rendimiento de GEVO con el de otros métodos.
Los resultados indicaron que GEVO no solo mantuvo una precisión similar en el renderizado de mapas, sino que también redujo significativamente la cantidad de memoria utilizada. Esta efectividad fue particularmente notable en entornos más detallados donde los ahorros de memoria pudieron alcanzar niveles impresionantes.
Conclusión
En general, GEVO ofrece una solución prometedora para el mapeo 3D eficiente usando solo una cámara. Al centrarse en la eficiencia de la memoria sin sacrificar calidad, abre nuevas posibilidades para dispositivos móviles en varias aplicaciones, desde juegos hasta navegación autónoma.
Con mejoras y investigaciones continuas, métodos como GEVO pueden mejorar enormemente la forma en que los dispositivos interactúan con su entorno, creando mapas claros y precisos sin las grandes demandas de memoria de los enfoques tradicionales. A medida que más usuarios dependen de la tecnología móvil, sistemas como GEVO serán esenciales para hacer que los dispositivos sean más inteligentes y capaces de entender su ambiente.
Al abordar los desafíos de memoria en los procesos de mapeo, GEVO representa un avance en el campo de la odometría visual y la localización y mapeo simultáneos, convirtiéndose en una herramienta valiosa para futuros avances en tecnología móvil.
Título: GEVO: Memory-Efficient Monocular Visual Odometry Using Gaussians
Resumen: Constructing a high-fidelity representation of the 3D scene using a monocular camera can enable a wide range of applications on mobile devices, such as micro-robots, smartphones, and AR/VR headsets. On these devices, memory is often limited in capacity and its access often dominates the consumption of compute energy. Although Gaussian Splatting (GS) allows for high-fidelity reconstruction of 3D scenes, current GS-based SLAM is not memory efficient as a large number of past images is stored to retrain Gaussians for reducing catastrophic forgetting. These images often require two-orders-of-magnitude higher memory than the map itself and thus dominate the total memory usage. In this work, we present GEVO, a GS-based monocular SLAM framework that achieves comparable fidelity as prior methods by rendering (instead of storing) them from the existing map. Novel Gaussian initialization and optimization techniques are proposed to remove artifacts from the map and delay the degradation of the rendered images over time. Across a variety of environments, GEVO achieves comparable map fidelity while reducing the memory overhead to around 58 MBs, which is up to 94x lower than prior works.
Autores: Dasong Gao, Peter Zhi Xuan Li, Vivienne Sze, Sertac Karaman
Última actualización: 2024-09-14 00:00:00
Idioma: English
Fuente URL: https://arxiv.org/abs/2409.09295
Fuente PDF: https://arxiv.org/pdf/2409.09295
Licencia: https://creativecommons.org/licenses/by/4.0/
Cambios: Este resumen se ha elaborado con la ayuda de AI y puede contener imprecisiones. Para obtener información precisa, consulte los documentos originales enlazados aquí.
Gracias a arxiv por el uso de su interoperabilidad de acceso abierto.