Avanzando en el reconocimiento de acciones en videos egocéntricos

Ha habido un aumento en el interés por usar modelos que combinan visión y lenguaje para identificar acciones en videos. Estos modelos han mostrado buenos resultados cuando se prueban con imágenes y videos estándar, pero su rendimiento baja significativamente cuando se trata de videos grabados desde una perspectiva en primera persona. Los videos en primera persona, también conocidos como videos egocéntricos, capturan acciones tal como las ve el usuario, lo que añade una capa de complejidad que los modelos tradicionales no saben manejar.

#El Problema con los Modelos Actuales

Los modelos tradicionales han funcionado bien con videos en tercera persona, pero la brecha entre cómo estos modelos trabajan con Conjuntos de datos estándar y los desafíos únicos que presentan los videos egocéntricos es significativa. Por ejemplo, los modelos entrenados en conjuntos de datos en tercera persona pueden reconocer objetos y acciones bien, pero cuando se aplican a videos egocéntricos, su precisión se reduce. Esto se debe en parte a que los videos egocéntricos a menudo incluyen diferentes entornos, diferentes usuarios y varios objetos y acciones en los que los modelos no han sido entrenados.

#Nuestra Solución: Marco X-MIC

Para abordar estos problemas, presentamos un nuevo marco llamado X-MIC. Este marco entrena una parte especial llamada adaptador de video, que ayuda al modelo a aprender cómo conectar descripciones de texto con videos egocéntricos. Al hacer esto, pretendemos mejorar la forma en que los modelos reconocen acciones en videos tomados desde una perspectiva en primera persona.

#Cómo Funciona X-MIC

X-MIC utiliza un espacio compartido donde tanto la información visual como la textual pueden existir juntas. Esta técnica permite que el modelo alinee la información textual congelada directamente con el contenido del Video egocéntrico. Hemos construido una nueva estructura que separa la forma en que el modelo procesa el tiempo en un video (Modelado Temporal) y la forma en que entiende las imágenes (codificación visual). Esta separación ayuda al modelo a generalizar mejor a través de diferentes tipos de datos.

#Importancia del Reconocimiento de Acciones Egocéntricas

A medida que la realidad aumentada y la robótica se vuelven más populares, reconocer acciones en videos en primera persona es vital. Recientes grandes conjuntos de datos como Epic-Kitchens y Ego4D se han creado para capturar actividades cotidianas desde un punto de vista en primera persona. Sin embargo, gran parte del trabajo existente se ha centrado solo en evaluar acciones dentro del mismo conjunto de datos, lo que limita el rendimiento del modelo en aplicaciones del mundo real. Es esencial probar modelos en conjuntos de datos diversos para ver qué tan bien se adaptan a nuevas situaciones.

#Desafíos en Entrenamiento y Pruebas

Uno de los principales desafíos en el entrenamiento de estos modelos es la inconsistencia en los entornos y objetos presentes en diferentes conjuntos de datos. Los modelos entrenados en un conjunto de datos pueden no desempeñarse bien cuando se prueban en otro debido a estas diferencias. El rendimiento baja aún más cuando el modelo se encuentra con acciones y elementos que nunca ha visto antes. Por lo tanto, hay una necesidad significativa de sistemas que puedan adaptarse y generalizar bien a través de conjuntos de datos variados.

#Resumen de Técnicas Actuales

Las técnicas actuales incluyen métodos que modifican las entradas de texto para adaptarse a las tareas visuales. Algunas técnicas utilizan componentes adicionales entrenables que conectan datos textuales y visuales. Sin embargo, estos enfoques a menudo no tienen en cuenta las necesidades específicas del contenido de video egocéntrico. Esto lleva a ineficiencias y un menor rendimiento en el reconocimiento preciso de acciones.

#Nuestro Enfoque para Adaptar Modelos de Visión-Lenguaje

El marco X-MIC permite una adaptación sencilla de los modelos de visión-lenguaje para funcionar mejor con videos egocéntricos. Al introducir conocimientos específicos para videos en primera persona en la arquitectura del modelo existente, posibilitamos una mejor reconocimiento de acciones. El método transforma cada video en un vector que apoya la alineación de datos de texto y video de manera eficiente.

#Evaluación en Varios Conjuntos de Datos

Probamos rigurosamente nuestro método en varios conjuntos de datos, incluyendo Epic-Kitchens, Ego4D y EGTEA. Las evaluaciones muestran que nuestro enfoque supera significativamente a otras técnicas de vanguardia en el reconocimiento de acciones a través de diferentes conjuntos de datos.

#Abordando la Generalización Intra-Dataset e Inter-Dataset

Uno de los principales objetivos de nuestra investigación es asegurar que el reconocimiento de acciones no esté limitado al conjunto de datos con el que se entrenó el modelo. Abordamos tanto la generalización intra-dataset (dentro del mismo conjunto de datos) como la generalización inter-dataset (a través de diferentes conjuntos de datos). Este enfoque dual es crucial para el uso práctico en aplicaciones del mundo real donde el modelo se encuentra con nuevos datos no vistos.

#El Papel del Aprendizaje de Prompt y Adaptadores

El aprendizaje de prompt ha demostrado ser útil para ajustar modelos de texto congelados. Hemos extendido esta idea a las imágenes al crear componentes adaptativos que aprenden de datos de video y texto simultáneamente. Mientras que métodos anteriores han explorado diferentes variantes de adaptación, nuestro enfoque se dirige específicamente a los aspectos únicos del contenido de video egocéntrico.

#Modelado Temporal y Atención Espacial

Para captar las sutilezas en videos egocéntricos, desarrollamos un mecanismo de atención que se centra en áreas críticas alrededor de las manos, donde ocurren la mayoría de las interacciones. Aplicamos técnicas de autoatención para asegurarnos de que el modelo resalte efectivamente estas interacciones mientras también considera las relaciones entre fotogramas a lo largo del tiempo.

#Mejoras en el Rendimiento con X-MIC

El marco X-MIC muestra mejoras significativas en el reconocimiento de acciones detalladas cuando se prueba a través de conjuntos de datos. Al centrarse en la atención espacial y temporal, nuestro modelo superó de manera consistente a otros en el reconocimiento preciso de acciones, lo que lleva a mejores aplicaciones en el mundo real.

#Detalles de Implementación

Nuestro enfoque utiliza el modelo CLIP preentrenado. Durante el entrenamiento, implementamos técnicas específicas que incluyen ajustar tasas de aprendizaje y usar diferentes métodos de aumento. También empleamos un segundo codificador visual para captar mejor las sutilezas de los videos egocéntricos.

#Generalización Cero-Shot

Una de las características destacadas de nuestro enfoque es su capacidad para realizar generalización cero-shot. Esto significa que los modelos pueden hacer predicciones basadas en clases que nunca han encontrado antes, una característica crítica para aplicaciones del mundo real donde nuevas acciones surgen frecuentemente.

#Evaluación Detallada en Conjuntos de Datos

En nuestras evaluaciones, categorizamos clases en compartidas y novedosas según su presencia en diferentes conjuntos de datos. Los resultados mostraron un fuerte rendimiento en el reconocimiento de acciones compartidas mientras mantenían una buena generalización hacia clases novedosas. Estos hallazgos destacan la robustez del modelo para manejar nuevas situaciones.

#Comparación con Métodos de Vanguardia

Cuando comparamos nuestro enfoque con métodos existentes, se hace evidente que tenemos una ventaja clara. Las métricas de rendimiento en clases de sustantivos y verbos mostraron mejoras consistentes, particularmente en el reconocimiento de acciones que no se habían encontrado previamente durante el entrenamiento del modelo.

#Limitaciones y Direcciones Futuras

Aunque nuestro marco exhibe un rendimiento sólido, no cubre tareas de recuperación de texto a video. Los desarrollos futuros buscarán explorar estas áreas para crear modelos más completos que puedan abordar una mayor variedad de aplicaciones.

#Conclusión

El marco X-MIC representa un avance significativo en la adaptación de modelos de visión-lenguaje para el reconocimiento de acciones egocéntricas. Al inyectar directamente información de videos en primera persona en la estructura del modelo, logramos mejoras notables en el rendimiento a través de varios conjuntos de datos. La flexibilidad de nuestro enfoque permite ajustes sencillos en las bases visuales y asegura que el modelo generalice mejor a nuevas acciones, sentando las bases para futuros avances en aplicaciones del mundo real.