Presentamos SANPO: Un Nuevo Conjunto de Datos para Entender Escenas

SANPO es una gran colección de videos centrados en cómo los humanos entienden las escenas desde su perspectiva. Este conjunto de datos está diseñado para ayudar a los investigadores a desarrollar mejores sistemas de navegación, especialmente para tareas como ayudar a personas con discapacidad visual. Incluye grabaciones de entornos del mundo real y entornos sintéticos diseñados para parecerse a condiciones de la vida real.

#¿Qué hace a SANPO único?

SANPO se destaca porque combina datos de video reales y generados por computadora. Los datos reales provienen de dos cámaras que usan voluntarios, proporcionando diferentes puntos de vista de varias escenas al aire libre. Los datos sintéticos se crean en un espacio virtual, pero están diseñados para ser lo más cercanos posible a escenarios de la vida real. Esta combinación permite a los investigadores estudiar cómo los humanos perciben y navegan en entornos de manera efectiva.

#Proceso de recolección de datos

Los datos de SANPO fueron recogidos por voluntarios que llevaban cámaras especiales. Estas cámaras capturaron material de video mientras los individuos se movían a través de diferentes entornos, como calles de la ciudad, parques y otros espacios al aire libre. Los voluntarios también pasaron por diversas condiciones climáticas y momentos del día para garantizar una amplia gama de escenas. El objetivo fue reunir datos diversos, incluyendo áreas con mucho tráfico humano y vehicular, así como obstáculos que pudieran afectar la navegación.

#Tipos de datos incluidos

El conjunto de datos SANPO incluye varios tipos de información:

1. Video Estéreo: El conjunto de datos consiste en videos capturados desde dos cámaras a la vez, proporcionando una vista tridimensional.

2. Anotaciones de profundidad: Cada video viene acompañado de datos sobre qué tan lejos están diferentes objetos de la cámara, ayudando a entender las distancias en las escenas.

3. Segmentación Semántica: Esto implica descomponer los fotogramas del video en diferentes partes según lo que es visible (por ejemplo, personas, vehículos, obstáculos) y marcar estas partes.

4. Información de odometría: Esto indica dónde se encuentra la cámara y el individuo en el tiempo, añadiendo más contexto a los datos.

SANPO comprende tanto escenas del mundo real como sintéticas. Las escenas reales están llenas de detalles, pero pueden tener imperfecciones debido a factores como el movimiento de la cámara o la iluminación. Por otro lado, las escenas sintéticas ofrecen datos perfectos, lo que puede ayudar en el entrenamiento de modelos de manera efectiva.

#Casos de uso para SANPO

Este conjunto de datos tiene numerosas aplicaciones. Puede ayudar en el desarrollo de tecnologías para:

• Robótica: Mejorar cómo los robots entienden y navegan en entornos humanos.

• Vehículos autónomos: Ayudar a los coches a tomar mejores decisiones cuando detectan humanos y obstáculos.

• Realidad aumentada: Permitir que los dispositivos interpreten mejor el mundo circundante para los usuarios.

• Accesibilidad: Crear sistemas que ayuden a personas con discapacidad visual proporcionando retroalimentación en tiempo real sobre su entorno.

Al centrarse en la recolección y anotación de datos centrados en humanos, SANPO aborda una brecha que ha existido en los conjuntos de datos utilizados para la comprensión de escenas.

#Desafíos en datos egocéntricos

Los videos capturados desde una perspectiva humana presentan desafíos únicos. Los puntos de vista pueden ser poco convencionales, lo que puede llevar a dificultades en la interpretación de la información. Además, las escenas pueden cambiar rápidamente debido a interacciones con otras personas y objetos. Estos factores hacen que sea necesario contar con un conjunto de datos robusto como SANPO para entrenar modelos que puedan manejar tal variabilidad.

#La composición del conjunto de datos

SANPO contiene un total de más de 700 sesiones de videos grabados. Cada sesión dura aproximadamente 30 segundos y representa varias condiciones. El conjunto de datos tiene un número significativo de mapas de profundidad y máscaras de segmentación, lo que lo convierte en uno de los recursos más grandes y detallados para la comprensión de escenas egocéntricas.

Para las sesiones reales, hay más de 975,000 máscaras de segmentación, y para las sesiones sintéticas, hay más de 113,000. La segmentación cubre diferentes categorías como humanos, vehículos, obstáculos y varios elementos del entorno.

#Técnicas de anotación

Para asegurar datos de alta calidad, las anotaciones del conjunto de datos se realizan utilizando un enfoque sistemático. Los humanos anotan fotogramas específicos, y estas anotaciones se utilizan para inferir información para otros fotogramas en el mismo video. Esto significa que cada fotograma anotado ayuda a mejorar la calidad de los datos y facilita su análisis.

El conjunto de datos está estructurado para identificar diferentes elementos en la escena como "cosas" (como peatones y vehículos) y "cosas" (como el cielo y las carreteras). Esta distinción es esencial para tareas como la detección de objetos y la clasificación de escenas.

#Comparando SANPO con otros conjuntos de datos

Se han creado varios otros conjuntos de datos para tareas como la conducción autónoma y la detección de objetos. Sin embargo, la mayoría de estos no incluyen el nivel de detalle presente en SANPO, especialmente en cuanto a perspectivas humanas. Muchos conjuntos de datos existentes se centran principalmente en vehículos o entornos estructurados, mientras que SANPO enfatiza la imprevisibilidad y complejidad de las interacciones humanas cotidianas.

Si bien conjuntos de datos como SCAND y Ego4D capturan perspectivas egocéntricas, a menudo carecen de las anotaciones completas necesarias para la segmentación semántica. SANPO aborda esto proporcionando tanto datos de profundidad como de segmentación, convirtiéndose en un recurso valioso para diversas aplicaciones de investigación.

#Referencias y evaluaciones

Para ayudar a los investigadores a evaluar la efectividad de diferentes modelos utilizando el conjunto de datos SANPO, se han establecido benchmarks. Estas referencias les permiten evaluar qué tan bien funcionan los modelos existentes al enfrentar los desafíos que presenta SANPO. La evaluación incluye pruebas de estimación de profundidad y segmentación semántica, con métricas utilizadas para cuantificar el rendimiento.

Los resultados muestran que muchos modelos existentes tienen dificultades con tareas usando SANPO, lo que indica su naturaleza desafiante. Esto es beneficioso ya que fomenta avances en tecnologías que pueden manejar las complejidades de la navegación humana.

#Direcciones futuras

Se espera que la introducción de SANPO inspire más investigaciones en diversas aplicaciones. Los investigadores pueden utilizar este conjunto de datos para perfeccionar sus modelos para navegar por escenarios del mundo real de manera más efectiva. Esto ayudará a abordar los desafíos únicos que plantea la navegación egocéntrica.

Al resaltar la importancia de las perspectivas humanas en la comprensión de entornos, SANPO busca ampliar los límites de las tecnologías destinadas a mejorar la vida humana. Ya sea a través de la robótica, la realidad aumentada o los esfuerzos de accesibilidad, este conjunto de datos tiene el potencial de hacer un impacto significativo en múltiples campos.

#Conclusión

En resumen, SANPO es un conjunto de datos innovador diseñado para mejorar nuestra comprensión de cómo los humanos perciben e interactúan con su entorno. Combina videos del mundo real con datos sintéticos para crear un recurso rico para la comunidad de investigación. Al centrarse en la experiencia humana, SANPO está en posición de avanzar en el desarrollo de sistemas de navegación más efectivos y mejorar nuestra comprensión general de la comprensión de escenas.