Evaluando la calidad del video en contenido generado por usuarios

El Desafío AIS 2024 se centra en encontrar maneras de evaluar la calidad de los videos que hacen los usuarios. Estos videos vienen de varias plataformas como YouTube y se crean usando dispositivos personales como teléfonos y cámaras. El objetivo es ver cómo el aprendizaje profundo puede ayudar a determinar qué tan buenos son estos videos en términos de lo que los espectadores pueden ver y experimentar.

#Antecedentes

En los últimos años, más gente ha estado viendo videos en línea gracias a plataformas como Netflix y YouTube. Esto ha ocurrido por mejores velocidades de internet y dispositivos más potentes. Sin embargo, para asegurarse de que los espectadores disfruten estos videos, las empresas necesitan verificar qué tan buena es la calidad del video.

La calidad se puede verificar de dos maneras: a través de las opiniones de la gente o usando máquinas. Cuando las personas juzgan la calidad, puede tomar mucho tiempo y dinero. Usar aprendizaje automático puede ayudar a predecir la calidad del video mucho más rápido. Este desafío busca crear Modelos que puedan evaluar la calidad del video sin necesidad de un video de referencia para comparar con medidas de calidad típicas.

#Contenido Generado por Usuarios

El contenido generado por usuarios se refiere a videos hechos por individuos, no por profesionales. Estos videos pueden ser sobre cualquier cosa: deportes, música, cocina o simplemente la vida diaria. A menudo tienen fallas, como mala iluminación o tomas temblorosas. Esto es diferente de los videos hechos por profesionales, donde todo está típicamente planeado y grabado con equipos de alta calidad.

El desafío se centra en videos que tienen varios problemas de calidad, como desenfoque, imágenes pixeladas y ruido. Para abordar esto, los participantes utilizan un conjunto de datos específico llamado el conjunto de datos de Contenido Generado por Usuarios de YouTube (YT-UGC), que contiene diferentes tipos de videos con calidades y resoluciones variadas.

#Estructura del Desafío

El desafío reunió a participantes que tuvieron que presentar sus métodos y soluciones para evaluar la calidad del video. Un total de 102 personas se inscribieron, y 15 equipos realmente enviaron sus modelos funcionales. Estas presentaciones de modelos fueron evaluadas según qué tan bien evaluaban la calidad del video en comparación con las calificaciones humanas.

El proceso de evaluación se centra en qué tan bien estos modelos pueden procesar videos rápidamente. Específicamente, los modelos deben analizar 30 cuadros de Full HD en un segundo.

#Descripción del Conjunto de Datos

El conjunto de datos YT-UGC utilizado en el desafío consiste en alrededor de 1,000 clips de video cortos, cada uno con una duración aproximada de 20 segundos. Estos clips incluyen una variedad de estilos y resoluciones, que varían desde baja calidad (360p) hasta alta calidad (4K). Cada video es calificado por muchos espectadores para determinar su calidad general, lo que permite una comprensión completa de qué tan bueno es cada video desde la perspectiva de un espectador.

#Requisitos del Modelo

Para los modelos creados para este desafío, se deben cumplir ciertos requisitos:

• Los modelos deben procesar clips de Full HD (FHD) y HD en un tiempo específico.
• Se permite el muestreo de cuadros, lo que significa que los modelos pueden ver menos cuadros si aún pueden obtener buenos resultados.
• Los participantes pueden usar cualquier solución existente o modelos preentrenados al crear sus soluciones.
• Las predicciones de los modelos deben compararse con las calificaciones humanas para verificar su precisión.

#Métricas de Rendimiento

Para ver qué tan bien funciona cada modelo, se utilizan ciertas métricas. Estas métricas miden qué tan cerca están las predicciones de las calificaciones subjetivas proporcionadas por los espectadores humanos. Esto proporciona una manera clara de comparar la efectividad de diferentes modelos.

#Soluciones Destacadas

Varios equipos produjeron soluciones destacadas. Aquí hay algunos enfoques interesantes que tomaron varios equipos:

#COVER por el Equipo FudanVIP

COVER está diseñado para evaluar la calidad del video desde múltiples puntos de vista: técnico, estético y semántico. El modelo usa tres ramas para analizar el video. Cada rama se enfoca en diferentes aspectos del video para crear una puntuación comprensiva. Este método permite una evaluación en profundidad de la calidad del video.

#TVQE por el Equipo Tencent

Este equipo desarrolló el modelo TVQE, que considera factores globales y locales al juzgar la calidad del video. Usando tres redes separadas, combina información visual y semántica para predecir la calidad. Este enfoque híbrido ayuda a proporcionar una evaluación completa.

#Q-Align por el Equipo Q-Align

Q-Align transforma las puntuaciones de calidad del video en pares de preguntas y respuestas. Este método único ayuda a los modelos a aprender a juzgar la calidad relacionándolo con la retroalimentación de los usuarios de una manera más estructurada. El modelo utiliza grandes marcos multimodales para proporcionar predicciones basadas en cómo los espectadores responden a preguntas específicas.

#SimpleVQA+ por el Equipo SJTU MMLab

El modelo SimpleVQA+ utiliza dos caminos principales para procesar datos de video: uno para detalles espaciales y otro para rastrear cambios a lo largo del tiempo. Este enfoque dual ayuda a crear una imagen completa de la calidad del video. El equipo entrenó su modelo para mejorar sus predicciones utilizando diferentes Conjuntos de datos.

#Frankenstone por el Equipo AVT

Frankenstone combina características de varios modelos utilizando un enfoque de regresión de bosque aleatorio. Reúne datos de múltiples métodos para evaluar la calidad general del video. Este modelo está diseñado para ser adaptable y eficiente.

#Consideraciones de Eficiencia

La eficiencia es un factor esencial en la evaluación de la calidad del video. El modelo ideal puede analizar videos rápidamente mientras sigue proporcionando retroalimentación precisa. Cada solución propuesta busca equilibrar velocidad y precisión, asegurando que los usuarios reciban evaluaciones de calidad casi en tiempo real.

#Conclusión

El Desafío AIS 2024 destaca las innovaciones en la evaluación de la calidad del video, especialmente para el contenido generado por usuarios. A medida que la demanda de videos en línea sigue creciendo, la necesidad de métodos efectivos de evaluación de calidad se vuelve cada vez más vital. El trabajo de los participantes en el desarrollo de nuevos modelos muestra los avances en aprendizaje profundo y análisis de video, allanando el camino para mejorar la experiencia del espectador.

#Direcciones Futuras

De cara al futuro, el enfoque probablemente se centrará en refinar estos modelos para evaluaciones aún más rápidas y precisas. Además, integrar estas soluciones dentro de las plataformas de streaming puede asegurar que los espectadores siempre reciban contenido que cumpla con sus estándares de calidad. A medida que la tecnología avanza, también podríamos ver evaluaciones más personalizadas basadas en las preferencias individuales de los espectadores.