Mejorando el Reconocimiento de Acciones con Campos Receptivos Temporales Más Pequeños

Reconocer acciones en videos largos es clave, especialmente porque los videos suelen tener una serie de acciones más pequeñas llamadas sub-acciones. El enfoque tradicional usa modelos complejos que pueden captar mucho tiempo a la vez, conocidos como grandes campos receptivos temporales. Sin embargo, estos modelos pueden tener problemas cuando el orden de las sub-acciones cambia, lo que lleva a errores en el Reconocimiento de Acciones.

El objetivo de este trabajo es investigar si usar campos receptivos temporales más pequeños puede ayudar a mejorar la precisión del reconocimiento de acciones en videos. Al enfocarse en marcos de tiempo más cortos, el modelo puede manejar mejor diferentes órdenes de sub-acciones, lo que podría llevar a un mejor rendimiento general.

#El problema con los grandes campos receptivos temporales

Cuando los modelos tienen grandes campos receptivos temporales, pueden reconocer el orden exacto de las sub-acciones dentro de un video. Aunque esto es útil, se convierte en un problema cuando el orden de las acciones en los videos de prueba es diferente de lo que el modelo aprendió durante el entrenamiento. Por ejemplo, si durante el entrenamiento se presentan las acciones "agregar azúcar" seguido de "agregar leche", un modelo puede tener dificultades para reconocer las mismas acciones cuando aparecen en un orden diferente, como "agregar leche" seguido de "agregar azúcar".

Cuando los modelos dependen en gran medida de órdenes específicos vistos durante el entrenamiento, pueden fallar en clasificar las acciones correctamente durante las pruebas porque no tienen en cuenta la variabilidad natural de cómo pueden ocurrir las acciones en situaciones reales.

#Un enfoque alternativo: campos receptivos temporales más pequeños

Para abordar el problema de la sensibilidad al orden de las sub-acciones, proponemos usar un modelo llamado Video BagNet. Este modelo se basa en un modelo popular llamado 3D ResNet-50, pero restringe el campo receptivo temporal a tamaños más pequeños, específicamente 1, 9, 17 o 33 fotogramas. Al limitar el campo receptivo temporal, Video BagNet puede captar sub-acciones individuales sin depender de su orden específico.

En esta configuración, el modelo se vuelve más robusto frente a diferentes arreglos de las mismas acciones. Por ejemplo, al reconocer un video que muestra a alguien haciendo café, el modelo puede identificar acciones sin necesitar saber la secuencia exacta en que ocurren.

#Cómo funciona Video BagNet

Video BagNet opera mirando principalmente fragmentos cortos de video. Procesa secciones de fotogramas individuales en lugar de analizar todo el video de una vez. Al enfocarse en secciones más pequeñas, el modelo puede entender mejor las acciones que ocurren sin confundirse por el orden de esas acciones.

Este enfoque es similar a la idea de bolsa de palabras en el procesamiento de texto, donde el enfoque está en las palabras individuales en lugar de su orden en las oraciones. En resumen, Video BagNet permite el reconocimiento de acciones importantes sin las complicaciones que surgen de secuencias de acciones variadas.

#Importancia del orden de sub-acciones

Entender el orden de las sub-acciones es crucial en el reconocimiento de acciones. Cuando se entrena un modelo, a menudo ve ciertas secuencias de acciones más que otras. Si un modelo aprende a predecir basándose en esas secuencias específicas, podría tener dificultades con ordenaciones inesperadas. Por ejemplo, si el modelo se ha entrenado principalmente en videos donde las personas primero vierten agua y luego agregan té, puede fallar cuando se enfrenta a una situación que comienza con agregar té antes de verter agua.

Para medir qué tan bien un modelo reconoce acciones a través de diferentes órdenes de Sub-acción, podemos comparar su rendimiento en videos con secuencias coincidentes versus secuencias descoordinadas. La idea es ver si los modelos con campos receptivos temporales más pequeños son menos sensibles a los cambios de orden.

#Configuración del experimento

Para probar la efectividad de Video BagNet, lo evaluamos junto con 3D ResNet-50 en conjuntos de datos de video sintéticos y del mundo real. Nuestros experimentos están diseñados para incluir escenarios donde hay diferentes órdenes de sub-acciones presentes. Creamos un conjunto de datos llamado Directional Moving MNIST, que consiste en videos simples que implican traducir un dígito en varias direcciones.

En este conjunto de datos, un video puede mostrar el dígito moviéndose vertical y horizontalmente o en otras combinaciones. El propósito es ver si los modelos funcionan bien cuando el orden de sub-acción es consistente con el entrenamiento o cuando se altera en el momento de la prueba.

#Resultados y discusión

Nuestros hallazgos muestran que los modelos con campos receptivos temporales pequeños, como Video BagNet, tienen un buen rendimiento en ambos escenarios de prueba. Cuando el orden de las acciones en la prueba coincide con el de entrenamiento, ambos tipos de modelos funcionan bien. Sin embargo, cuando el orden cambia, los campos receptivos temporales más grandes, como los de 3D ResNet-50, tienen dificultades mientras que Video BagNet mantiene su precisión.

Esto sugiere que los campos receptivos temporales más pequeños ofrecen una ventaja al enfocarse en acciones individuales en lugar de sus secuencias. Como resultado, los modelos pueden reconocer acciones de manera efectiva incluso cuando el orden de sub-acciones varía.

#Perspectivas del conjunto de datos MultiTHUMOS

Además de nuestro conjunto de datos sintético, también probamos los modelos en el conjunto de datos MultiTHUMOS, que contiene videos deportivos reales donde las acciones pueden ocurrir en varios órdenes. Los resultados son consistentes con nuestros hallazgos anteriores. Video BagNet superó a 3D ResNet-50, demostrando un claro beneficio de usar campos receptivos más pequeños.

El conjunto de datos MultiTHUMOS presenta un desafío porque incluye muchas sub-acciones diferentes, y el modelo necesita reconocer todas las acciones relevantes sin importar el orden. Nuestros resultados indican que los campos receptivos temporales más pequeños son más adecuados para este tipo de tarea.

#Conclusión

En resumen, hemos mostrado que los campos receptivos temporales más pequeños, aplicados en Video BagNet, llevan a un mejor rendimiento en tareas de reconocimiento de acciones a largo plazo. Al enfocarse en acciones individuales en lugar de sus secuencias específicas, estos modelos ofrecen un enfoque más flexible para lidiar con la variabilidad natural de cómo ocurren las acciones en la vida real.

Las implicaciones de esta investigación sugieren nuevas vías para desarrollar modelos que sean robustos a cambios y secuencias de acción diversas, lo cual es esencial para muchas aplicaciones del mundo real. A futuro, creemos que seguir explorando cómo los modelos de reconocimiento de acciones pueden incorporar este entendimiento será beneficioso para diseñar sistemas que funcionen de manera efectiva en entornos variados.