Mejorando la recuperación de distorsión en grabaciones de guitarra

Eliminar efectos no deseados de grabaciones de guitarra eléctrica facilita la edición y producción de música. Los modelos de recuperación de Distorsión ayudan a que los sonidos de la guitarra sean más claros y ofrecen más opciones para mezclar. Aunque se ha avanzado, muchos modelos previos se centraron en distorsiones simples, que pueden no captar las complejidades reales que se encuentran en grabaciones auténticas.

#Problema con la Distorsión

Los efectos de guitarra, como la distorsión, son cruciales en muchos estilos musicales. Pueden moldear el ambiente y el carácter de una canción. Sin embargo, estos efectos también complican tareas como la transcripción musical, ya que enredan los sonidos. Por ejemplo, estudios han mostrado que usar diferentes efectos de pedales de guitarra puede afectar la precisión de la transcripción. Esto muestra que recuperar el sonido original al eliminar los efectos podría mejorar el rendimiento en tareas de análisis musical.

#Enfoques Previos

Investigaciones anteriores han abordado la recuperación de distorsión principalmente como un tipo de separación de fuentes, asumiendo que la señal distorsionada es una mezcla de las señales limpias y de efecto. Estos métodos usaron varias técnicas para separar el sonido limpio del distorsionado. Aunque algunos de estos métodos muestran promesa, se enfocan en gran medida en efectos sintéticos, que pueden no representar los sonidos del mundo real con precisión. Las diversas características de los efectos de guitarra reales y diferentes estilos de interpretación hacen que esta tarea sea aún más compleja.

#Nuevas Contribuciones

Este trabajo presenta un nuevo enfoque para la recuperación de distorsión, que consiste en dos etapas. La primera etapa procesa el audio en un formato de espectrograma Mel, y la segunda utiliza un vocoder neuronal para recrear el sonido limpio original de la guitarra. Comparando nuestro método con enfoques existentes, podemos demostrar que nuestro método preserva más detalles de las grabaciones originales.

Para probar nuestros modelos, usamos dos tipos de conjuntos de datos: uno creado con sonidos de guitarra simulados y otro de grabaciones del mundo real utilizando software comercial. Entrenar en ambos conjuntos de datos nos ayuda a ver qué tan bien rinden los modelos en entornos controlados y de la vida real.

#El Proceso de Recuperación de Distorsión

Las técnicas de vanguardia para recuperar audio de distorsiones generalmente asumen que la señal mezclada puede ser representada como una mezcla de las señales húmedas (distorsionadas) y secas (limpias). Sin embargo, en lugar de ver la distorsión solo como ruido, entendemos que cambia la señal limpia de maneras complejas. Nuestro nuevo enfoque reconoce que la distorsión altera el sonido de manera dramática y propone un proceso de recuperación en dos pasos.

En la primera etapa, buscamos recuperar una aproximación de la señal limpia a partir de la distorsionada. La segunda etapa se centra en restaurar los detalles más finos a la señal limpia estimada para lograr resultados de alta calidad.

#Mel Denoiser: La Primera Etapa

Para comenzar el proceso, convertimos la señal de audio húmeda en un espectrograma Mel. Tratamos cada cuadro del espectrograma Mel como un embedding, adecuado para modelos basados en Transformer que procesan secuencias de manera efectiva. En lugar de utilizar métodos convencionales que pueden ser pesados computacionalmente, modificamos la arquitectura para mejorar la eficiencia y efectividad del proceso de desruido.

#Neural Vocoder: La Segunda Etapa

En la segunda etapa, convertimos el espectrograma Mel de nuevo en una forma de onda de audio limpia utilizando un vocoder neuronal llamado HiFi-GAN. Esta herramienta ayuda a generar audio de alta calidad a partir del espectrograma Mel construyendo gradualmente la forma de onda para que coincida con el sonido original.

#Configuración Experimental

Para los experimentos, usamos señales de audio muestreadas a una tasa estándar de 44.1 kHz, con 128 bins en el espectrograma Mel. Nuestro Mel Denoiser consta de múltiples bloques diseñados para mejorar el proceso de desruido. Entrenamos tanto el Mel Denoiser como el vocoder neuronal y afinamos este último para garantizar salidas de alta calidad.

#Modelos de Línea Base para Comparación

Para ver qué tan bien funciona nuestro modelo, lo comparamos con tres modelos notables: Demucs V3, DCUnet y HiFi-GAN Denoiser. Cada uno de estos modelos ha mostrado éxito en tareas relacionadas con el procesamiento de audio, como eliminar ruido y mejorar la calidad del sonido.

Demucs V3 está diseñado para separar diversas fuentes musicales, mientras que DCUnet destaca en manejar señales de audio complejas. HiFi-GAN Denoiser se enfoca en eliminar distintos tipos de ruido y distorsiones de grabaciones. También probamos una versión simplificada de nuestro modelo para entender cómo afectan menos parámetros al rendimiento.

#Conjuntos de Datos Utilizados en Experimentos

Usamos dos conjuntos de datos diferentes para nuestros experimentos. El primero es una colección de señales emparejadas creadas en un entorno controlado. Este conjunto incluye más de 80 horas de señales secas y húmedas de guitarristas profesionales, reunidas asegurando privacidad y consentimiento.

El segundo conjunto incluye efectos de distorsión sintética creados usando software de guitarra. Esto ayuda a comparar el rendimiento de nuestro modelo con investigaciones previas que en su mayoría dependieron de datos sintéticos.

#Métricas de Evaluación

Para evaluar qué tan bien funcionaron nuestros modelos, utilizamos tanto métricas objetivas como subjetivas. Las métricas objetivas incluyen la Distancia de Fréchet de Audio (FAD), la Relación Error-Senal (ESR), la Relación Señal-Distorsión Invariante a Escala (SI-SDR), y otras que miden qué tan cerca está el audio reconstruido del sonido original.

Las evaluaciones subjetivas involucraron a músicos profesionales calificando la calidad del audio y la efectividad de la eliminación de distorsión. Esto ayuda a capturar la calidad sonora percibida, ya que la percepción humana puede diferir mucho de las métricas numéricas.

#Resultados y Discusión

Al comparar los modelos, nuestro enfoque mostró resultados prometedores. Logró la puntuación FAD más baja, indicando que nuestra salida era más similar al sonido limpio objetivo. Nuestro modelo también aseguró el valor SI-SDR más alto, mostrando su capacidad para preservar la claridad de la señal original.

Aunque Demucs V3 tuvo la puntuación ESR más baja, no rindió tan bien como nuestro modelo en otras áreas. DCUnet proporcionó un procesamiento eficiente pero se quedó atrás en términos de rendimiento general. Los resultados de nuestro modelo base mostraron un rendimiento fuerte debido a menos parámetros entrenables sin sacrificar demasiada calidad.

#Comparación de Datos de Entrenamiento

Analizar el rendimiento en diferentes conjuntos de datos reveló que los modelos entrenados con datos sintéticos lucharon con grabaciones del mundo real. En contraste, los modelos entrenados con datos derivados de VST mostraron una mejora notable en varias métricas de evaluación, confirmando que la calidad de los datos de entrenamiento afecta significativamente el rendimiento del modelo.

#Evaluaciones de Calidad Subjetivas

Al evaluar la calidad del audio y la extensión de la eliminación de distorsiones, nuestro modelo recibió altas calificaciones de los oyentes. La mayoría calificó la calidad del audio alrededor de 4 puntos, indicando una percepción favorable de la salida. De manera similar, las calificaciones para los niveles de sequedad sugirieron que nuestro modelo restauró efectivamente el sonido natural de la guitarra.

El análisis posterior mostró diferencias significativas en las calificaciones entre los modelos, reafirmando que nuestro modelo funcionó mejor que los demás en términos de Calidad de audio.

#Estudio de Ablación de Arquitectura del Modelo

Se realizó un estudio de ablación para explorar cómo el tamaño del modelo afecta las salidas y cómo ajustar el vocoder influye en el rendimiento. El modelo más grande generalmente produjo sonidos de mejor calidad, especialmente en audio complejo. Mientras que afinar el vocoder redujo ciertos artefactos, no superó al modelo base en todas las métricas.

#Conclusión

Desarrollamos un método en dos etapas para eliminar efectos de audio de pistas de guitarra, mejorando cómo se recupera la distorsión. Nuestro enfoque combina la limpieza del espectrograma Mel con la reconstrucción de audio de alta fidelidad. A través de una evaluación exhaustiva con varios plugins, demostramos la efectividad de nuestro modelo para eliminar distorsiones complejas con las que los métodos previos tuvieron problemas.

El trabajo futuro podría involucrar probar nuestro modelo con grabaciones desafiantes del mundo real y aplicarlo a tareas relacionadas, como la transcripción automática de música. Nuestros hallazgos destacan los beneficios de usar datos de alta calidad para entrenar modelos para un mejor rendimiento en aplicaciones prácticas.