Simple Science

Ciencia de vanguardia explicada de forma sencilla

# Informática# Visión por Computador y Reconocimiento de Patrones

Presentamos el conjunto de datos SLOPER4D para el análisis de movimiento urbano

Un nuevo conjunto de datos captura el movimiento humano en las ciudades para diversas aplicaciones.

― 6 minilectura


SLOPER4D: Nuevo ConjuntoSLOPER4D: Nuevo Conjuntode Datos de MovimientoUrbanohumano para la investigación urbana.Captura datos detallados del movimiento
Tabla de contenidos

La detección de Movimiento Humano en las ciudades está ganando interés. Este área se centra en capturar cómo se mueven las personas en diferentes lugares, como parques, calles y edificios. Tener datos precisos sobre los movimientos humanos es importante para muchas aplicaciones, como mejorar la tecnología para realidad virtual, ciudades inteligentes y más.

Crear registros detallados del movimiento humano, teniendo en cuenta el entorno, es un desafío. Los esfuerzos pasados han producido varios Conjuntos de datos, ayudando a los investigadores a entender mejor el movimiento humano en 3D. Sin embargo, muchos de estos conjuntos tienen limitaciones, como ser utilizables solo en espacios pequeños o interiores. Les cuesta tener en cuenta diversas actividades humanas en entornos más grandes y dinámicos.

La Necesidad de un Nuevo Conjunto de Datos

Para abordar estas limitaciones, hemos creado SLOPER4D, un conjunto de datos completo que captura el movimiento humano en áreas urbanas. Este conjunto permite un análisis más detallado de cómo las personas interactúan con su entorno mientras se mueven. Está diseñado para ayudar a investigadores y desarrolladores al ofrecer una visión más completa del movimiento humano en situaciones del mundo real.

Usando tecnología moderna, recopilamos datos de personas realizando diferentes actividades. Nuestro enfoque combina varios tipos de sensores, incluidas cámaras y LiDAR, creando un conjunto de datos más rico. Captura no solo el movimiento humano, sino también el entorno físico a su alrededor.

Proceso de Recolección de Datos

Nuestro proceso de recolección de datos implicó que una persona usara un auricular especial que contenía tanto una cámara como un sensor LiDAR. Esta configuración nos permitió capturar actividades desde el punto de vista de la persona. Grabamos cómo 12 personas diferentes se movieron a través de 10 escenas urbanas distintas, recopilando datos detallados sobre sus acciones.

Cada actividad grabada resultó en una gran cantidad de información, incluidos puntos clave en 2D y 3D que proporcionan una imagen clara de los movimientos humanos. Para cada escena, también creamos nubes de puntos 3D, que ayudan a visualizar el entorno circundante.

Importancia de Datos Precisos

Obtener datos precisos en entornos Urbanos concurridos puede ser difícil. Los métodos tradicionales a menudo fracasaban debido a problemas como la iluminación, las condiciones exteriores y la oclusión humana. Así que, desarrollamos nuevas técnicas para mejorar la precisión de nuestros datos.

Un aspecto importante en el que nos centramos fue asegurarnos de que los movimientos grabados fueran precisos y naturales. Para lograr esto, utilizamos un método que alinea nuestros datos grabados con el entorno reconstruido, ajustándolo cuadro por cuadro. Esto creó una representación más creíble de cómo las personas se mueven junto con su entorno.

Características del Conjunto de Datos

SLOPER4D se destaca porque combina diferentes fuentes de datos, convirtiéndolo en uno de los primeros conjuntos de datos urbanos de su tipo. Incluye anotaciones detalladas, que permiten un análisis fácil de los datos. Nuestro conjunto de datos consta de 15 secuencias de movimientos humanos que cubren distancias de hasta 1,300 metros y abarcan áreas de más de 13,000 metros cuadrados.

En total, SLOPER4D recopila más de 100k cuadros de LiDAR y alrededor de 300k cuadros de video emparejados con 500k cuadros de movimiento capturados usando IMUs. Este volumen de datos ofrece muchas posibilidades para que los investigadores estudien los movimientos humanos en entornos urbanos.

Ventajas Sobre Conjuntos de Datos Anteriores

Muchos de los conjuntos de datos disponibles hoy se centran en entornos específicos y carecen de la flexibilidad necesaria para aplicaciones más amplias. Algunos conjuntos de datos, como H3.6M o PROX, solo funcionan bien en entornos interiores, lo que limita su utilidad para aplicaciones exteriores. Otros, a pesar de usar sensores avanzados, no brindan el contexto necesario sobre las interacciones humanas con su entorno.

SLOPER4D supera estos desafíos al proporcionar anotaciones detalladas e integrar múltiples tipos de datos. Esto permite una comprensión más profunda de los movimientos humanos dentro del contexto de una ciudad.

Aplicaciones y Casos de Uso

Los datos en SLOPER4D son valiosos para muchas aplicaciones. Pueden mejorar la tecnología en realidad aumentada y virtual, proporcionando a los usuarios una experiencia más realista. El conjunto de datos también puede ayudar en el desarrollo de entornos urbanos más inteligentes, contribuyendo a avances en áreas como vehículos autónomos y análisis del comportamiento social.

Al capturar cómo actúan las personas en las ciudades, SLOPER4D apoya varios proyectos e investigaciones en sociología, planificación urbana y desarrollo tecnológico. Permite una mejor comprensión del comportamiento humano en espacios públicos, lo que puede influir en la toma de decisiones para diseñar ciudades mejores.

Desafíos en la Recolección de Datos

Si bien el conjunto de datos es extenso y valioso, la recolección de datos no estuvo exenta de desafíos. Un problema clave fue mantener la sincronización entre los datos de la cámara y LiDAR. Para asegurar que todos los flujos de datos estuvieran alineados, tuvimos que realizar verificaciones de tiempo cuidadosas, que podían ser laboriosas.

Además, dado que nuestro conjunto de datos incluye muchas actividades diversas, asegurar que todos los escenarios fueran capturados con precisión requirió una planificación y ejecución significativas. Cada actividad tenía patrones de movimiento únicos, lo que hacía crucial contar con tecnología confiable para registrar estas diferencias de manera efectiva.

Direcciones Futuras

Aunque SLOPER4D proporciona una base sólida para la investigación, hay áreas que se pueden mejorar. Un objetivo es desarrollar métodos para capturar múltiples personas simultáneamente, lo que permitiría interacciones más ricas dentro del conjunto de datos. Un algoritmo de sincronización en línea también podría agilizar aún más el proceso de recolección de datos, reduciendo el trabajo tedioso necesario para ajustes fuera de línea.

La investigación en curso tiene como objetivo combinar la información de textura de la cámara con los datos de LiDAR. Esto ayudaría a generar representaciones visuales más completas tanto del entorno como de las personas capturadas, mejorando aplicaciones futuras.

Conclusión

SLOPER4D representa un avance significativo en la recolección de datos sobre el movimiento humano urbano. Al integrar múltiples fuentes de datos, proporciona una visión detallada de cómo los individuos interactúan con su entorno. Este conjunto de datos permite a los investigadores abordar desafíos complejos en el análisis del movimiento humano y el desarrollo urbano.

A medida que los investigadores sigan explorando su potencial, SLOPER4D está posicionado para mejorar nuestra comprensión del comportamiento humano en las ciudades. Las ideas obtenidas de este conjunto de datos probablemente tendrán un impacto duradero en la tecnología y la planificación urbana, haciendo que las ciudades sean más inteligentes y amigables para todos.

Fuente original

Título: SLOPER4D: A Scene-Aware Dataset for Global 4D Human Pose Estimation in Urban Environments

Resumen: We present SLOPER4D, a novel scene-aware dataset collected in large urban environments to facilitate the research of global human pose estimation (GHPE) with human-scene interaction in the wild. Employing a head-mounted device integrated with a LiDAR and camera, we record 12 human subjects' activities over 10 diverse urban scenes from an egocentric view. Frame-wise annotations for 2D key points, 3D pose parameters, and global translations are provided, together with reconstructed scene point clouds. To obtain accurate 3D ground truth in such large dynamic scenes, we propose a joint optimization method to fit local SMPL meshes to the scene and fine-tune the camera calibration during dynamic motions frame by frame, resulting in plausible and scene-natural 3D human poses. Eventually, SLOPER4D consists of 15 sequences of human motions, each of which has a trajectory length of more than 200 meters (up to 1,300 meters) and covers an area of more than 2,000 $m^2$ (up to 13,000 $m^2$), including more than 100K LiDAR frames, 300k video frames, and 500K IMU-based motion frames. With SLOPER4D, we provide a detailed and thorough analysis of two critical tasks, including camera-based 3D HPE and LiDAR-based 3D HPE in urban environments, and benchmark a new task, GHPE. The in-depth analysis demonstrates SLOPER4D poses significant challenges to existing methods and produces great research opportunities. The dataset and code are released at \url{http://www.lidarhumanmotion.net/sloper4d/}

Autores: Yudi Dai, Yitai Lin, Xiping Lin, Chenglu Wen, Lan Xu, Hongwei Yi, Siqi Shen, Yuexin Ma, Cheng Wang

Última actualización: 2023-03-18 00:00:00

Idioma: English

Fuente URL: https://arxiv.org/abs/2303.09095

Fuente PDF: https://arxiv.org/pdf/2303.09095

Licencia: https://creativecommons.org/licenses/by-nc-sa/4.0/

Cambios: Este resumen se ha elaborado con la ayuda de AI y puede contener imprecisiones. Para obtener información precisa, consulte los documentos originales enlazados aquí.

Gracias a arxiv por el uso de su interoperabilidad de acceso abierto.

Más de autores

Artículos similares