Mejorando los métodos de predicción del progreso de actividades

La predicción del progreso de actividades se trata de averiguar cuánto se ha completado de una actividad. Esto se puede aplicar a muchas situaciones del día a día, como cocinar, donde quieres saber cuánto falta para que la comida esté lista, o en el cuidado de la salud, donde predecir el tiempo que queda para una cirugía podría ayudar a organizarse mejor. El objetivo es estimar el progreso sin conocer la duración del video que muestra la actividad.

Actualmente, los investigadores utilizan Métodos de Aprendizaje automático para abordar este problema, entrenándolos en Conjuntos de datos de video complejos que muestran varias actividades. Sin embargo, estos videos son muy diferentes en longitud y apariencia. Algunas actividades también pueden tener cambios inesperados, lo que dificulta aún más predecir cuánto progreso se ha hecho.

En este trabajo, examinamos más de cerca qué tan bien funcionan los métodos actuales en estos conjuntos de datos complicados. Encontramos que muchos de estos métodos no logran extraer Información Visual útil de manera efectiva, lo que hace que no funcionen mejor que métodos simples de conteo que solo llevan la cuenta de los fotogramas.

Para mejorar las predicciones, creamos un conjunto de datos cuidadosamente diseñado para la predicción del progreso de actividades. En este nuevo conjunto de datos, demostramos que los métodos pueden utilizar eficazmente la información visual cuando está vinculada directamente a la predicción del progreso. Nuestros hallazgos sugieren que los conjuntos de datos existentes en el mundo real no son adecuados para esta tarea y enfatizan el valor de usar métodos de conteo simples como base para medir el progreso.

#La Importancia de la Predicción del Progreso de Actividades

La predicción del progreso de actividades es esencial en varios aspectos de la vida. Por ejemplo, en la cocina, saber qué tan avanzado está una receta puede hacer una gran diferencia en el tiempo. En la atención médica, estimar cuánto tiempo tomará una cirugía puede ayudar a gestionar recursos y reducir los tiempos de espera. En la edición de video, poder identificar automáticamente dónde comienza y termina una acción simplifica el proceso.

Definimos la predicción del progreso de actividades como averiguar qué tan completa está una actividad en un video, todo en tiempo real. Cada video muestra solo una actividad que ocupa toda la duración y puede tener diferentes partes, pero no tenemos anotaciones que indiquen estas partes, ya que esta es a menudo la situación en la vida real.

El principal desafío en la predicción del progreso radica en extraer un significado útil de los datos visuales del video. Idealmente, estos datos se relacionarían con diferentes fases de la actividad, lo que facilitaría predecir el progreso. Para abordar esto, muchos métodos actuales utilizan redes de aprendizaje profundo para extraer detalles visuales.

Estos métodos también emplean bloques de memoria y conexiones que ayudan a retener información a lo largo del tiempo. Si bien estas herramientas pueden ayudar a descubrir información visual y rastrear el progreso, también pueden centrarse en características irrelevantes. Nuestro objetivo es ver si estos patrones de aprendizaje indeseables ocurren en tareas de predicción de progreso.

#Métodos Existentes y Sus Limitaciones

Revisamos varios métodos actuales de predicción de progreso y alternativas más simples. Evaluamos estos métodos utilizando tres conjuntos de datos de video: UCF101-24, Breakfast y Cholec80. Queremos ver qué tan bien funcionan estos métodos cuando se les dan videos completos frente a segmentos más cortos seleccionados aleatoriamente.

Los conjuntos de datos utilizados para entrenar tienen longitudes y apariencias de video variadas. UCF101-24 y Breakfast, en particular, tienen una distribución de cola larga, lo que significa que la mayoría de los videos son relativamente cortos, con solo unos pocos más largos. Esta variación añade un desafío adicional a la predicción del progreso, ya que a menudo conduce a situaciones donde la actividad real podría dar un giro inesperado.

#El Desafío de la Predicción del Progreso

La predicción del progreso es difícil principalmente porque las actividades en los videos pueden verse muy diferentes. Dado que algunas actividades, como pasear un perro o esquiar, no tienen finales claros, predecir qué tan avanzadas están se vuelve complicado. Tenemos dos preguntas principales que queremos responder:

1. ¿Qué tan bien pueden los métodos existentes predecir el progreso de actividades utilizando los conjuntos de datos actuales?
2. ¿Podemos predecir el progreso utilizando solo información visual?

#Investigación Relacionada

El concepto de predicción del progreso de actividades comenzó como una forma fácil de auto-supervisión, a menudo utilizada junto con otras tareas para mejorar el rendimiento general en áreas relacionadas. El objetivo no es solo predecir el progreso, sino también categorizar actividades y crear representaciones de datos útiles.

Un área relacionada es la predicción de Duración Restante (RD), que se centra en estimar cuánto tiempo queda en una actividad. Esto a menudo se aborda en entornos quirúrgicos para informar a los equipos médicos sobre cuánto más podría durar un procedimiento. Mientras que RD busca predecir el tiempo restante, la predicción del progreso de actividades tiene como objetivo expresar esto como un porcentaje de finalización.

Otro enfoque es la predicción de fases, que implica identificar partes específicas de una actividad. Si una acción consiste en fases distintas y repetitivas, saber qué fase está ocurriendo actualmente puede ayudar a aproximar el progreso.

#Métodos para la Predicción del Progreso de Actividades

Nosotros abordamos la predicción del progreso de actividades definiéndola como predecir un valor de progreso en diferentes fotogramas de un video. Cada video contiene solo una actividad, sin anotaciones para fases. Nuestro objetivo es predecir porcentajes de progreso en cada fotograma durante la prueba.

Durante el proceso de entrenamiento, los videos se pueden presentar de dos maneras: usando videos completos o segmentos más cortos. Para imitar situaciones del mundo real, aplicamos dos estrategias de muestreo aleatorio durante el entrenamiento. Primero, seleccionamos aleatoriamente un punto de inicio y de final en cada video para crear segmentos. Segundo, seleccionamos aleatoriamente fotogramas dentro de estos segmentos para variar la velocidad de la actividad.

Para nuestra evaluación, consideramos tres métodos que se han propuesto para la predicción de progreso: ProgressNet, RSDNet y UTE. Estos métodos destacan ya que no necesitan anotaciones adicionales. También incluimos métodos de aprendizaje básicos como un modelo ResNet-2D espacial y un modelo ResNet-LSTM, que combina características espaciales y temporales.

Adicionalmente, consideramos métodos de referencia ingenuos que no utilizan ningún aprendizaje. Estas bases sirven para proporcionar un punto de referencia de cuán bien funcionan los métodos de aprendizaje. La base ingenua más sencilla predice un valor constante para todos los fotogramas, mientras que otra predice valores aleatorios. Por último, también incluimos una estrategia de conteo de fotogramas que promedia las predicciones en función de las estadísticas del conjunto de entrenamiento.

#Descripción del Conjunto de Datos

Evaluamos los métodos de predicción del progreso en diferentes conjuntos de datos. El conjunto de datos Cholec80 contiene videos de cirugías, mientras que el conjunto de datos UCF101-24 presenta un conjunto más diverso de actividades. El conjunto de datos Breakfast muestra actividades de cocina, proporcionando varios escenarios y apariencias.

Los conjuntos de datos difieren significativamente en términos de longitud y contenido visual. Para nuestros experimentos, tuvimos que modificar algunos videos para evitar problemas de memoria durante el entrenamiento, lo que podría afectar los resultados.

#Análisis Empírico

#Resultados en Videos Completos

Analizamos qué tan bien funcionan los métodos de aprendizaje cuando se entrenan en videos completos en comparación con el uso de ruido aleatorio como entrada. Nuestra expectativa es que los métodos de aprendizaje deberían poder extraer información visual útil para hacer mejores predicciones que el ruido aleatorio.

Sin embargo, los resultados muestran que para la mayoría de los métodos, usar videos completos no proporciona mejores predicciones que usar ruido aleatorio. En muchos casos, los métodos de aprendizaje no funcionaron mejor que las bases ingenuas, lo que indica que tuvieron dificultades para utilizar la información visual de manera efectiva.

#Resultados en Segmentos de Video

Luego, evaluamos cómo funcionan estos métodos cuando se entrenan en segmentos de video. Aquí, anticipamos que los métodos necesitarán confiar más en la información visual, ya que los índices de fotogramas no brindarán orientación sobre el progreso.

Cuando miramos los resultados, queda claro que depender únicamente de los datos visuales conduce a un rendimiento deficiente para la mayoría de los métodos. Sorprendentemente, el uso de índices de fotogramas mejora significativamente los resultados, lo que sugiere que los modelos encuentran más fácil aprender de los índices de fotogramas que del contenido visual real.

#¿Es Posible Predecir el Progreso a Partir de Datos Visuales?

Para determinar si se puede lograr la predicción del progreso utilizando solo datos visuales, creamos un conjunto de datos sintético diseñado para que la información visual sea un indicador claro del progreso. Este nuevo conjunto de datos presenta una barra de progreso que se llena con el tiempo, lo que nos permite probar los métodos de aprendizaje en un entorno más controlado.

Los resultados muestran que los métodos de aprendizaje pueden superar las bases ingenuas en este conjunto de datos sintético. UTE, en particular, se destacó aprovechando la información temporal presente en las incrustaciones de convoluciones 3D.

#Conclusión

A través del análisis de los métodos y conjuntos de datos actuales para la predicción del progreso de actividades, encontramos que muchos enfoques existentes luchan por extraer información útil de los datos visuales. Su rendimiento a menudo coincide o es inferior a las bases simples de no aprendizaje.

También demostramos que es posible para los métodos de aprendizaje utilizar eficazmente la información visual cuando los datos son claramente indicativos de progreso, como se mostró en nuestro conjunto de datos sintético.

Sin embargo, nuestros hallazgos sugieren que la tarea de predicción del progreso no está bien definida en su forma actual. Los conjuntos de datos que se utilizan actualmente no proporcionan suficientes pistas visuales para un aprendizaje efectivo. La investigación futura debería centrarse en desarrollar conjuntos de datos más adecuados que puedan reflejar con precisión el progreso de la actividad de una manera que sea fácil de entender para los modelos de aprendizaje.