NU-Class Net: Mejorando la Calidad de Video Después de la Compresión

El contenido en video se ha vuelto una gran parte de lo que hacemos en línea. Representa una cantidad enorme de tráfico en internet y es esencial para muchos dispositivos del Internet de las Cosas (IoT). Sin embargo, este aumento en el uso de video trae consigo desafíos, especialmente en comprimir videos para que ocupen menos espacio y usen menos ancho de banda. La Compresión de Video ayuda a hacer que los archivos de video sean más pequeños sin perder mucha calidad, lo cual puede ahorrar tanto almacenamiento como energía.

Sin embargo, comprimir videos puede requerir mucha potencia de procesamiento. Esto es particularmente difícil para dispositivos que tienen recursos limitados, como las cámaras utilizadas en aplicaciones de IoT. Para abordar esto, se ha diseñado un nuevo sistema llamado NU-Class Net. Este modelo de aprendizaje profundo ayuda a mejorar la calidad de los videos que han sido comprimidos en exceso. El objetivo es reducir los problemas visibles causados por la compresión mientras se mantienen los tamaños de archivo manejables.

#Por qué la calidad del video importa

El aumento en el uso de video ha llevado a una mayor demanda de espacio de almacenamiento y capacidad de red. Por ejemplo, un estudio indicó que el video representa más del 80% del tráfico global de internet, una tendencia que aumentó durante la pandemia de COVID-19 cuando muchas actividades se trasladaron en línea. Con los dispositivos IoT también utilizando video, gestionar este tráfico es ahora más crítico que nunca.

El alto tráfico de video también conlleva un mayor uso de energía, lo que contribuye a las emisiones de CO2. Encontrar formas de hacer que los videos sean más pequeños y más fáciles de transmitir es importante tanto para reducir el consumo de energía como para mejorar el medio ambiente. La compresión de video funciona eliminando datos innecesarios de los archivos de video para hacerlos más pequeños mientras se intenta mantener la calidad aceptable para los espectadores.

#El desafío de la compresión

Cuando comprimimos videos, reducimos su tamaño eliminando patrones repetitivos y detalles no esenciales. Sin embargo, aumentar la calidad de un video generalmente requiere más datos, lo que puede llevar a un mayor bitrate y, a su vez, a un mayor uso de ancho de banda. Muchos métodos avanzados de compresión de video utilizan algoritmos complejos para encontrar el equilibrio correcto entre calidad y tamaño de archivo. Sin embargo, lograr una buena calidad con un tamaño de archivo bajo puede aumentar enormemente las demandas en el codificador (el dispositivo que comprime el video) y en el decodificador (el dispositivo que reproduce el video).

Un buen ejemplo es el estándar de Codificación de Video Versátil (VVC), que puede reducir el bitrate entre un 25% y un 50% mientras mantiene alta la calidad. Sin embargo, esto viene con un costo de mayor complejidad para los dispositivos que manejan los procesos de codificación y decodificación. Para dispositivos como cámaras o drones que funcionan con batería, mantener este equilibrio es crítico debido a su limitada potencia y capacidad de procesamiento.

#Presentando NU-Class Net

NU-Class Net es un nuevo enfoque diseñado para mejorar la calidad del video después de que ha sido comprimido. En lugar de intentar cambiar el códec (el software que maneja la compresión de video), este modelo trabaja después de que el video ha sido decodificado, haciéndolo compatible con cualquier códec de video existente.

El sistema permite a los codificadores de video bajar la calidad aún más, resultando en archivos más pequeños, mientras que el decodificador usa NU-Class Net para realzar la calidad de nuevo hacia un nivel más cercano al original. Este método reduce la cantidad de uso de recursos en el lado de la codificación, lo cual es beneficioso para dispositivos con capacidades limitadas.

#Cómo funciona NU-Class Net

La arquitectura de NU-Class Net se basa en U-Net, que es bien conocida en el ámbito del aprendizaje profundo por su uso en tareas como el procesamiento de imágenes. NU-Class Net toma los fotogramas de video comprimidos y predice las diferencias entre estos fotogramas y sus versiones de alta calidad. Luego añade estas diferencias de nuevo al video comprimido, ayudando a restaurar la calidad perdida.

Si bien ha habido algunos esfuerzos para mejorar imágenes estáticas usando redes neuronales, NU-Class Net se centra específicamente en video, aprovechando las conexiones entre fotogramas consecutivos para mejorar el rendimiento. Al enfocarse en las diferencias (llamadas residuales) entre los fotogramas en lugar de intentar recrear fotogramas de alta calidad enteros, acelera el procesamiento y el entrenamiento.

#Trabajo relacionado

Existen varios métodos para mejorar el video a través de enfoques de aprendizaje profundo, divididos principalmente en tres categorías:

1. Aprendizaje profundo en códecs: Algunos métodos intentan mejorar códecs existentes integrando modelos de aprendizaje profundo en sus procesos. Esto requiere que tanto el emisor como el receptor tengan códecs compatibles, lo que puede limitar la usabilidad.

2. Mejora de imágenes: Otros enfoques trabajan en la mejora de imágenes, pero no se centran en el video en su conjunto. A menudo se quedan cortos cuando se trata de capturar el movimiento y los elementos temporales de los videos.

3. Modelos generativos: Algunas técnicas utilizan modelos generativos para crear nuevos videos desde cero en lugar de mejorar grabaciones existentes. Esto contrasta con el objetivo de NU-Class Net de mejorar videos ya comprimidos.

#Diseño del sistema

A diferencia de los métodos convencionales que se centran principalmente en modificar el códec, NU-Class Net enfatiza mejorar la calidad de los fotogramas de video después de que han sido procesados por el códec. Esto permite que se use con cualquier códec, haciéndolo muy versátil.

#Características clave de NU-Class Net

1. Estructura de codificador-decodificador: NU-Class Net está construido con un diseño de codificador-decodificador. Incluye dos componentes principales que trabajan juntos para mejorar la calidad del video.

2. Conexiones de salto: Estas conexiones vinculan los componentes del codificador y del decodificador, permitiendo que el modelo retenga detalles importantes durante el procesamiento.

3. Bloques residuales: Estos bloques ayudan a la red a aprender de manera efectiva, abordando problemas como los gradientes que desaparecen que pueden ocurrir al entrenar redes profundas.

4. Normalización por instancia: Este método normaliza cada canal para una mejor precisión durante el proceso de mejora.

5. Bloques de mapa de características: Estos bloques ayudan a ajustar el número de canales en la entrada y salida, asegurando que el modelo se adapte a diferentes tipos de entradas de video sin esfuerzo.

#Experimentos y resultados

Para evaluar NU-Class Net, se utilizaron diversas métricas para medir su rendimiento, enfocándose en qué tan bien podía mejorar la calidad de videos de bajo bitrate. Los resultados muestran mejoras significativas en la calidad del video, con una notable reducción de errores medidos por la Pérdida de Distancia de Píxeles.

Las comparaciones muestran que NU-Class Net puede mejorar efectivamente videos, acercándolos a la calidad de los originales de alto bitrate. El sistema no solo funciona bien en videos con los que fue entrenado, sino que también se adapta a nuevos videos no vistos, demostrando su versatilidad.

#Métricas de rendimiento

La efectividad de NU-Class Net se evaluó utilizando:

1. Pérdida de Distancia de Píxeles: Esta métrica rastrea las diferencias en los valores de píxeles entre los fotogramas originales y mejorados.
2. Relación Señal-Ruido de Pico (PSNR): Esto mide la calidad del video reconstruido; valores más altos indican mejor calidad.
3. Índice de Similitud Estructural (SSIM): Esto mide cuán similares son dos imágenes, específicamente mirando la información estructural.

Los resultados indican que NU-Class Net cumple con los umbrales de calidad aceptables para las tres métricas, mostrando su capacidad para restaurar videos comprimidos de manera efectiva.

#Tiempo de ejecución y eficiencia

Un aspecto crítico de este trabajo es qué tan rápido puede procesar el modelo los fotogramas de video. A medida que cambian las configuraciones de calidad de video, el tiempo de ejecución puede variar. Por ejemplo, aumentar las configuraciones de compresión puede disminuir drásticamente el tiempo necesario para que el codificador procese un fotograma.

NU-Class Net fue probado en GPUs potentes, logrando un tiempo de procesamiento que permite una reproducción fluida de video a 24 fotogramas por segundo. Además, se exploraron técnicas de optimización para reducir aún más el tiempo de ejecución, asegurando que el modelo pueda aplicarse en escenarios del mundo real, incluso en dispositivos que operan bajo restricciones más estrictas de energía y rendimiento.

#Conclusión

NU-Class Net representa un avance significativo en el campo del procesamiento de video, centrándose en mejorar la calidad de videos de bajo bitrate mientras minimiza los requisitos computacionales en el lado de la codificación. Al trabajar post-decodificación, añade una capa de flexibilidad a los marcos de video existentes, permitiendo una mejor restauración de calidad sin necesidad de cambios complejos en los códecs.

Este enfoque no solo mejora la calidad general del contenido en video, sino que también promueve la eficiencia en sistemas que tienen límites en la potencia de procesamiento y energía. Los hallazgos muestran que incluso mejoras modestas en la calidad del video pueden llevar a una mejor experiencia para los usuarios, especialmente en contextos como IoT, donde la transmisión de video es crucial.

Los esfuerzos futuros se centrarán en optimizar aún más el modelo, expandiendo sus capacidades y asegurando que pueda implementarse en una gama más amplia de dispositivos con disponibilidad de recursos variables. Esta investigación demuestra que el aprendizaje profundo puede abordar efectivamente los desafíos de la calidad del video en entornos restringidos, allanando el camino para mejores experiencias de video en aplicaciones cotidianas.