Mejorando el procesamiento de audio con capas SFI

El deep learning se ha usado en un montón de tareas relacionadas con el audio, como separar fuentes de música, mejorar la calidad del habla y traducir música en notas. Un problema común es que estos sistemas generalmente esperan que la tasa de muestreo del audio de entrada sea la misma durante el entrenamiento y cuando se usan. Si la tasa de muestreo cambia, se necesita procesamiento adicional, como cambiar la velocidad del audio, lo cual puede ser complicado.

Para solucionar esto, los investigadores desarrollaron capas especiales en los modelos de deep learning llamadas capas independientes de frecuencia de muestreo (SFI). Estas capas permiten que el modelo funcione con diferentes tasas de muestreo sin necesidad de cambiar el audio primero. Pueden reemplazar capas tradicionales en muchos diseños de redes diferentes, lo que les da flexibilidad. Sin embargo, combinar estas capas SFI con otras ha mostrado que hay algunas limitaciones. Por ejemplo, un modelo bien conocido usado para separar fuentes de audio, llamado Conv-TasNet, tiene problemas cuando los cambios de tasa de muestreo no son números enteros, lo que lleva a un rendimiento más pobre.

#El Problema de los Strides No Enteros

En operaciones típicas, las redes neuronales esperan ciertos valores, como el stride y el tamaño del kernel, que sean números enteros. Cuando se trabaja con valores no enteros, estos sistemas no pueden funcionar correctamente. Por ejemplo, si un modelo se entrena usando strides de 5 ms y 2.5 ms a una tasa de muestreo de 32 kHz, tiene problemas si necesita trabajar a una tasa de muestreo diferente, como 22.05 kHz, donde los valores cambian y se convierten en fracciones.

Redondear estos valores al número entero más cercano parece una solución sencilla, pero causa problemas. Este redondeo puede cambiar la resolución temporal de la entrada, llevando a un peor rendimiento en tareas como la separación de audio. Además, otro método que involucra sistemas complejos también ha demostrado limitar la flexibilidad en el diseño. Como resultado, es necesario un nuevo enfoque para manejar estos valores no enteros de manera efectiva.

#La Solución Propuesta

Sugerimos usar la interpolación sinc en ventana como solución. Este método nos permite crear una versión continua de una señal de audio discreta. Al aplicar esto antes de reducir los datos en el modelo, podemos crear muestras de entrada en los intervalos necesarios sin perder calidad.

Para lograr esto, diseñamos algoritmos tanto para las capas de convolución SFI como para las capas de convolución transpuesta. Estos algoritmos usarán la interpolación sinc en ventana para manejar los valores de stride no enteros, con el objetivo de asegurar que el sistema mantenga precisión en la representación de las señales de audio.

#Cómo Funcionan las Capas de Convolución SFI

La capa de convolución SFI está diseñada para procesar audio trabajando con varios canales. Usa filtros analógicos para adaptarse a diferentes tasas de muestreo. Cuando se introduce audio, el sistema procesa la señal calculando una correlación cruzada con pesos y luego reduce los datos en intervalos establecidos. Sin embargo, si esos intervalos no son números enteros, el sistema tiene dificultades.

Al aplicar la interpolación sinc en ventana, podemos superar estos problemas con strides no enteros. La interpolación suaviza los cambios, permitiendo que el modelo funcione sin verse afectado negativamente por valores no enteros. Esto crea una transición más fluida, asegurando mejores resultados en tareas como la separación de audio.

#La Capa de Convolución Transpuesta SFI

Similar a la capa de convolución, la versión transpuesta también se modifica para usar el método de interpolación sinc. Este tipo alternativo de capa trabaja inicialmente agregando ceros entre los valores de entrada antes de procesar la señal más. Para los strides no enteros, nuevamente necesitamos la versión de tiempo continuo de la señal de entrada.

Al tratar la señal como una con un período de muestreo, podemos reunir los puntos de datos necesarios para el procesamiento. La misma técnica de interpolación se aplica aquí, permitiendo un manejo adecuado de las señales de audio sin perder detalle.

#Experimentando con la Separación de Fuentes Musicales

Para probar la efectividad de nuestros métodos propuestos, realizamos experimentos de separación de fuentes musicales utilizando un conjunto de datos bien conocido. Este conjunto de datos consiste en varias pistas musicales que presentan diferentes instrumentos. Para las pruebas, entrenamos los modelos usando una combinación de configuraciones y utilizamos medidas como la Relación Señal-Distorsión para evaluar el rendimiento.

Nuestro enfoque estuvo en comparar diferentes métodos para manejar los strides no enteros. Los métodos incluyeron redondeo simple, volver a muestrear audio a una tasa de muestreo compatible y nuestro método propuesto utilizando interpolación sinc.

#Resultados y Observaciones

Los resultados de los experimentos mostraron que los métodos propuestos utilizando interpolación sinc proporcionaron un rendimiento consistente y confiable a través de diferentes tasas de muestreo. En contraste, el método de redondeo simple llevó a caídas significativas en el rendimiento, especialmente a tasas de muestreo más bajas.

Cuando usamos redondeo, vimos que la calidad de separación disminuyó a medida que la tasa de muestreo bajaba, destacando cómo este método compromete la calidad del audio. Los métodos de re-muestreo tuvieron un mejor rendimiento que el redondeo simple, pero aún no pudieron igualar los resultados estables logrados con nuestros algoritmos propuestos.

Nuestros hallazgos también indicaron que ciertos tipos de instrumentos, particularmente sonidos afinados, se vieron más afectados por los strides no enteros que los sonidos no afinados como los tambores. Esta observación sugiere que manejar la resolución temporal de una manera consistente y clara es crucial, especialmente en el manejo de tipos de audio más complejos.

#Conclusión

Presentamos nuevos algoritmos para capas SFI para gestionar de manera efectiva los strides no enteros en tareas de procesamiento de audio. Al usar la interpolación sinc en ventana, nuestros métodos cierran las brechas causadas por las tasas de muestreo variables, llevando a un rendimiento consistentemente mejor en la Separación de Fuentes de Audio en comparación con métodos más antiguos.

Los resultados de nuestros experimentos subrayan la importancia de manejar estos desafíos técnicos de una manera que preserve la calidad del audio y funcione en diferentes contextos. Nuestro trabajo abre posibilidades para sistemas de procesamiento de audio más robustos que puedan adaptarse a una gama de condiciones sin perder efectividad.

Estos avances indican una dirección prometedora para la investigación futura en procesamiento de audio y deep learning, allanando el camino para modelos que puedan operar de manera más flexible y precisa en aplicaciones del mundo real.