Avances en el Reconocimiento de Acciones Usando Datos RGB y de Profundidad
Combinar datos RGB y de profundidad mejora el reconocimiento de acciones en sistemas robóticos.
― 8 minilectura
Tabla de contenidos
Reconocer acciones desde el punto de vista de una persona es clave en la robótica. Ayuda a los robots a entender cómo interactuar con los humanos y completar tareas. La mayoría de los estudios se centran en usar cámaras RGB, que capturan imágenes a color. Sin embargo, las cámaras de Profundidad, que miden qué tan lejos están los objetos, no se usan tanto en esta investigación. Las cámaras de profundidad pueden ayudar a ver detalles sobre acciones que una cámara RGB podría pasar por alto.
En nuestro trabajo, analizamos cómo reconocer acciones usando tanto cámaras RGB como de profundidad en un entorno similar a una fábrica. Usamos un conjunto de datos llamado MECCANO, que incluye diferentes acciones de ensamblaje, como armar una moto de juguete. Nuestro método se basa en una tecnología llamada el 3D Video Swin Transformer, que usa información RGB y de profundidad para entender mejor las acciones.
También notamos que al trabajar con datos del mundo real, algunas acciones se ven más a menudo que otras, lo que dificulta el aprendizaje. Para solucionar esto, creamos un método de entrenamiento que ayuda al modelo a enfocarse primero en las acciones más difíciles de reconocer. Después de eso, aprende las acciones más comunes. Así, el modelo puede aprender tanto de ejemplos fáciles como difíciles.
Probamos nuestro enfoque usando el conjunto de datos MECCANO, y los resultados fueron mejores que los métodos anteriores. Incluso logramos el primer lugar en un desafío de reconocimiento de acciones celebrado en 2023.
Importancia del Reconocimiento de Acciones
El reconocimiento de acciones tiene muchas aplicaciones prácticas. Puede ayudar en estudios de comportamiento, análisis deportivo, sistemas de seguridad e incluso en la atención médica al detectar cuándo caen las personas mayores. En robótica, poder ver y entender las acciones humanas es esencial, especialmente cuando los robots necesitan trabajar junto a personas en diferentes entornos, como fábricas u hospitales.
Acciones como señalar, alcanzar o agarrar pueden decirnos mucho sobre lo que alguien necesita. Mientras que el análisis de video tradicional mira el comportamiento humano general, puede pasar por alto detalles importantes. Aquí es donde las cámaras egocéntricas son útiles. Al capturar lo que una persona ve, estas cámaras ofrecen una imagen más clara de cómo las personas interactúan con los objetos. Esta vista detallada es crucial cuando los robots necesitan entender las acciones humanas de cerca.
Conjunto de Datos MECCANO
El conjunto de datos MECCANO proporciona varias acciones relacionadas con el ensamblaje de una moto de juguete en un entorno similar a una fábrica. En el conjunto de datos, podemos ver fotogramas de video de cámaras RGB y de profundidad. Por ejemplo, acciones como "colocar la llave" o "tomar la barra perforada roja" se pueden observar desde diferentes ángulos.
Un desafío en reconocer acciones desde una perspectiva de primera persona es el uso intensivo de datos RGB. Aunque RGB puede mostrar colores y detalles, no proporciona información sobre la distancia de los objetos o cómo se relacionan entre sí. Los datos de profundidad llenan este vacío al agregar contexto valioso a las acciones que se realizan.
El conjunto de datos MECCANO captura cómo estos dos tipos de datos pueden mejorar el reconocimiento de acciones en entornos del mundo real. Nuestra investigación tuvo como objetivo mostrar cómo usar tanto RGB como profundidad puede llevar a una mejor comprensión y reconocimiento de las acciones.
Desafíos en el Reconocimiento de Acciones
La mayoría de los estudios anteriores sobre reconocimiento de acciones se han centrado mucho en los datos RGB, que tienen limitaciones. Aunque RGB puede capturar detalles complejos, a menudo pasa por alto la profundidad y las relaciones espaciales. Combinar profundidad con RGB proporciona una imagen más completa y mejora la comprensión de las acciones.
Para nuestro estudio, nos concentramos en los desafíos que presenta el conjunto de datos MECCANO. Este conjunto de datos muestra una variedad de acciones de ensamblaje complejas, y nuestro objetivo era ver qué tan bien podíamos identificarlas usando nuestro método propuesto.
Algunos métodos existentes intentaron abordar el desafío de reconocer acciones con RGB y profundidad al mejorar los datos de video mediante aumento. Sin embargo, estos métodos tienden a tener problemas cuando se aplican a situaciones del mundo real, donde el equilibrio en la representación de clases de acciones es esencial.
Nuestro Enfoque
Para abordar estos desafíos, empleamos el SWIN Transformer, que está diseñado para capturar características a lo largo del tiempo a partir de entradas RGB y de profundidad. Reconocimos que en los datos del mundo real, algunas acciones ocurren con más frecuencia que otras, lo que lleva a un conjunto de datos desbalanceado. Para resolver este problema, introdujimos una versión modificada de la Pérdida Focal, que ajusta el enfoque en acciones difíciles de clasificar durante el entrenamiento. Esto ayuda al modelo a aprender gradualmente de una gama más amplia de ejemplos.
Además, combinamos las predicciones de los datos RGB y de profundidad para lograr clasificaciones de acciones más precisas a través de un proceso conocido como fusión tardía.
Resultados
Nuestro método fue evaluado en el conjunto de datos MECCANO, donde logramos resultados impresionantes en comparación con métodos anteriores. Demostramos que nuestro enfoque no solo mejoró la precisión, sino que también estableció un nuevo estándar para el reconocimiento de acciones en este conjunto de datos. Esto incluye ser reconocidos como los mejores en un desafío celebrado en 2023.
Las principales contribuciones de nuestra investigación incluyen:
- Desarrollamos un marco de entrenamiento que integra efectivamente datos RGB y de profundidad para el reconocimiento de acciones desde una cámara egocéntrica.
- Introdujimos una nueva pérdida focal con un enfoque que decae exponencialmente para manejar los desafíos de datos desbalanceados.
- Nuestro método ha establecido un nuevo hito de rendimiento en el conjunto de datos MECCANO.
Trabajos Relacionados
El campo de la comprensión de video busca extraer características útiles de los videos. Esto incluye una amplia gama de tareas como el reconocimiento de acciones, donde se han observado desarrollos rápidos en tecnología y estrategias de entrenamiento.
A lo largo de los años han surgido diversas arquitecturas, desde modelos basados en convoluciones hasta diseños más nuevos basados en transformadores. Estos avances han contribuido significativamente al progreso del reconocimiento de acciones. Además, diversos conjuntos de datos también han jugado un papel crucial en la mejora de este campo, aunque muchos de ellos se centran en vistas en tercera persona.
Recientemente, ha habido un interés en conjuntos de datos egocéntricos que ofrecen una perspectiva más personal. Conjuntos de datos como EPIC-KITCHENS y Ego4D se centran en actividades diarias desde un punto de vista de primera persona, lo que es valioso para entender las interacciones humanas de manera más profunda.
La mayoría del trabajo se ha centrado en datos RGB, pero la investigación que combina RGB y profundidad está creciendo. Usar cámaras de profundidad puede mejorar el reconocimiento espacial y descubrir interacciones sutiles que el RGB solo podría pasar por alto.
Direcciones Futuras
Aún hay mucho por explorar en el campo del reconocimiento de acciones. Una dirección prometedora es incorporar información de la mirada junto con datos RGB y de profundidad. Esto podría proporcionar una comprensión aún más rica del comportamiento humano.
Al combinar datos de la mirada con otros tipos de datos, podríamos mejorar aún más los sistemas de reconocimiento de acciones. Esta integración puede ayudar a captar las intenciones detrás de las acciones, ofreciendo una comprensión más matizada de las interacciones humano-robot.
Conclusión
En resumen, nuestra investigación se centra en mejorar el reconocimiento de acciones desde un punto de vista egocéntrico combinando datos RGB y de profundidad. Introdujimos una estrategia de entrenamiento efectiva para manejar los desafíos que presentan los conjuntos de datos desbalanceados y establecimos un nuevo estándar para el reconocimiento de acciones. Nuestros logros destacan el potencial de usar enfoques multimodales en robótica y abren nuevas avenidas para la investigación en la comprensión de acciones humanas en diversos entornos.
Título: Egocentric RGB+Depth Action Recognition in Industry-Like Settings
Resumen: Action recognition from an egocentric viewpoint is a crucial perception task in robotics and enables a wide range of human-robot interactions. While most computer vision approaches prioritize the RGB camera, the Depth modality - which can further amplify the subtleties of actions from an egocentric perspective - remains underexplored. Our work focuses on recognizing actions from egocentric RGB and Depth modalities in an industry-like environment. To study this problem, we consider the recent MECCANO dataset, which provides a wide range of assembling actions. Our framework is based on the 3D Video SWIN Transformer to encode both RGB and Depth modalities effectively. To address the inherent skewness in real-world multimodal action occurrences, we propose a training strategy using an exponentially decaying variant of the focal loss modulating factor. Additionally, to leverage the information in both RGB and Depth modalities, we opt for late fusion to combine the predictions from each modality. We thoroughly evaluate our method on the action recognition task of the MECCANO dataset, and it significantly outperforms the prior work. Notably, our method also secured first place at the multimodal action recognition challenge at ICIAP 2023.
Autores: Jyoti Kini, Sarah Fleischer, Ishan Dave, Mubarak Shah
Última actualización: 2023-09-25 00:00:00
Idioma: English
Fuente URL: https://arxiv.org/abs/2309.13962
Fuente PDF: https://arxiv.org/pdf/2309.13962
Licencia: https://creativecommons.org/licenses/by-nc-sa/4.0/
Cambios: Este resumen se ha elaborado con la ayuda de AI y puede contener imprecisiones. Para obtener información precisa, consulte los documentos originales enlazados aquí.
Gracias a arxiv por el uso de su interoperabilidad de acceso abierto.