Midiendo la Adherencia en Modelos de Música Generativa

A medida que la tecnología avanza, más sistemas de creación musical utilizan pistas de audio como guía para generar música. Una pista de audio es básicamente una pieza musical que sirve de referencia para cómo debería sonar una nueva pieza de música. Este método permite tener más control sobre cómo se crea la música, similar a dar instrucciones a un músico.

A pesar del auge de estos sistemas, no hay una forma estándar de medir qué tan bien se alinea la música generada con la pista de audio original. Esto crea desafíos al desarrollar nuevos modelos y al comparar su rendimiento. En este artículo, exploramos un método potencial para medir qué tan de cerca la música generada sigue las pistas de audio.

#La necesidad de una medición estándar

Evaluar qué tan bien los modelos se ajustan a las pistas de audio se hace a menudo de varias maneras específicas para cada situación. Sin embargo, un método universal sería beneficioso tanto para crear y entrenar nuevos modelos como para comparar el rendimiento de diferentes modelos.

Muchos de los métodos actuales se enfocan en factores como la calidad de audio, utilizando herramientas y métricas específicas. Sin embargo, estas pueden no reflejar con precisión qué tan bien una pieza musical se adhiere a la pista de audio guía.

Este artículo analiza si los métodos estadísticos comúnmente utilizados pueden ayudar a medir qué tan bien la música generada coincide con su pista de audio. Proponemos un enfoque sencillo que se basa en un número limitado de componentes para evaluar sistemáticamente la medición de adherencia.

#Metodología propuesta

Para evaluar la adherencia a las pistas de audio, optamos por una selección de medidas Estadísticas ampliamente aceptadas. El procedimiento incluye el uso de un Modelo de incrustación que transforma el audio en un formato adecuado para el análisis, seguido de la comparación de estos formatos usando varias métricas de distancia. Estas comparaciones cuantifican qué tan similar es la música generada a la pista de audio.

En nuestras pruebas iniciales, exploramos qué tan sensible es este enfoque a cambios comunes en el audio, como cambios en el tono o el tiempo. Los resultados indicaron que nuestro método podría detectar estos cambios incluso al comparar diferentes colecciones musicales.

Si bien se necesitan pruebas adicionales para abordar preguntas sobre la fiabilidad de la medida en medio de otros problemas de audio, los resultados sugieren que usar distancias estadísticas podría proporcionar un medio razonable para medir qué tan bien la música generada se adhiere a su pista de audio.

#El auge de los modelos musicales generativos

Los modelos de música generativa se han vuelto cada vez más populares. Tecnologías como las redes generativas adversariales (GANs) y los modelos de difusión permiten que las computadoras creen música. Estos sistemas pueden producir mezclas completas, partes individuales o simplemente el sonido de un instrumento.

Tradicionalmente, los usuarios controlan el proceso de generación musical a través de indicaciones de texto. Sin embargo, condicionar el modelo a una pista de audio otorga un control aún más preciso. La pista de audio se puede utilizar de dos maneras principales: como guía para la transferencia de estilo o como base para crear música complementaria.

En las tareas de transferencia de estilo, el objetivo es reproducir elementos de la pista de audio, como melodía o ritmo. En las tareas de acompañamiento, el objetivo del sistema es generar música que se complemente bien con el audio original.

#Evaluando la música generada

La evaluación de la música generativa a menudo se basa en varios criterios dependiendo de la tarea en cuestión. Una de las medidas más comunes utilizadas es la calidad del audio, que suele evaluarse utilizando herramientas como la Distancia de Audio de Fréchet (FAD). Esta métrica evalúa la distancia entre el audio real y las representaciones de audio generadas en un formato específico conocido como espacio de incrustación.

Además, las evaluaciones humanas a menudo juegan un papel, donde las personas califican la calidad de la música generada. Estas calificaciones pueden abarcar varios aspectos, incluida la adherencia a las indicaciones. Sin embargo, este método no es tan confiable ni tan fácilmente disponible como las evaluaciones computacionales.

Para la música generada con indicaciones de texto, medir qué tan bien se alinea la salida con la indicación se puede lograr comparando los vectores de incrustación que representan ambos elementos. Esto a menudo involucra diferentes modelos para evaluar la relación entre la música generada a partir de pistas de audio o indicaciones simbólicas.

Actualmente, no hay medidas cuantitativas universales que sean específicas para pistas de audio y adaptables a diferentes tipos de instrumentos musicales. Nuestro objetivo es desarrollar un método que pueda proporcionar una evaluación significativa de la adherencia a las pistas de audio.

#Enfoque basado en la distribución

Para abordar la falta de medidas estándar, proponemos un método basado en la distribución. Esto significa que nos enfocaremos en cómo las pistas de audio se relacionan con las salidas generadas, en lugar de solo analizar instrumentos musicales individuales.

Nuestro enfoque utiliza métricas establecidas como FAD y otra medida estadística conocida como Discrepancia Media Máxima (MMD). Validamos nuestra medida propuesta a través de evaluaciones de referencia para determinar qué tan eficazmente distingue entre pares de pistas de audio coincidentes y no coincidentes.

En estas evaluaciones, compararemos qué tan bien funciona nuestro método propuesto cuando el audio de referencia y el candidato provienen de la misma colección frente a diferentes colecciones. Nuestro objetivo es identificar configuraciones prometedoras que puedan ayudar en la medición de la adherencia a las pistas de audio.

#Proceso de evaluación de referencia

Dado que no tenemos una referencia clara de cómo debería verse la "verdad fundamental" con respecto a la adherencia a las pistas de audio, establecemos una evaluación de referencia. Utilizamos colecciones de audio multicanal que contienen varios proyectos musicales, cada uno con diferentes pistas instrumentales.

Asumimos que cuando una selección de pistas instrumentales de un proyecto se mezcla y se utiliza como pista de audio, las pistas restantes del mismo proyecto deberían alinearse con esa pista. Por el contrario, se asume que las pistas de otros proyectos no coinciden con la pista.

Este entendimiento nos lleva a crear un proceso de evaluación sencillo. El objetivo es maximizar las diferencias entre pares de audio que coinciden y no coinciden, lo que nos ayudará a identificar métricas efectivas para medir la adherencia.

#Colecciones de datos y métricas utilizadas

Para llevar a cabo nuestra investigación, seleccionamos colecciones de audio multicanal específicas. Una colección notable contiene canciones de pop y rock que son accesibles públicamente, mientras que otras colecciones tienen licencias internas con varios géneros.

Usaremos tanto las métricas FAD como MMD para medir las distancias entre las distribuciones de audio representadas en el espacio de incrustación. En este trabajo, implementamos un núcleo polinómico para la métrica MMD y confiamos en modelos de incrustación bien conocidos para calcular las incrustaciones.

Elegir los modelos de incrustación adecuados es crucial porque transforman el audio en un formato adecuado para el análisis estadístico. Diferentes modelos pueden ofrecer resultados variados en cuanto a las mediciones de adherencia, por lo que también analizamos el impacto de procesar estas incrustaciones de audio para optimizar nuestras evaluaciones.

#Experimentando con métricas

En nuestro primer experimento, evaluamos si las métricas de distancia pueden distinguir eficazmente entre pares de pistas de audio que coinciden y que no coinciden. Para mantener nuestro análisis enfocado, limitamos nuestras comparaciones a segmentos cortos de audio, por ejemplo, cinco segundos, que son más manejables y relevantes para evaluar la adherencia.

Muestreamos segmentos de nuestras colecciones de audio para crear pares que coinciden y que no coinciden. Usando este método, podemos calcular las distancias entre pares e identificar si las métricas pueden diferenciar eficazmente entre las que se adhieren a las indicaciones y las que no.

Los resultados de nuestros experimentos indicaron que, si bien nuestras métricas elegidas a menudo podían discernir diferencias en pares de audio, tuvieron dificultades al comparar pistas de diferentes colecciones. Esta limitación sirve como un aviso para refinar nuestro enfoque y hacerlo más sensible en diversos contextos.

#Refinando la medida de adherencia

Basándonos en nuestros hallazgos, proponemos una medida alternativa de adherencia que compara un conjunto de salidas de audio contra tanto el conjunto de referencia original como una versión no coincidente creada por emparejamientos aleatorios. Este ajuste ayuda a enfocarse menos en las puntuaciones de distancia absolutas y más en la diferencia relativa entre conjuntos que coinciden y no coinciden.

Al aplicar este nuevo método, podemos evaluar mejor qué tan bien la música generada se adhiere a la pista de audio. Realizamos pruebas adicionales para verificar la capacidad de esta medida para discriminar entre pares que coinciden y no coinciden en diferentes contextos.

#Probando la sensibilidad a los cambios de audio

Para asegurarnos de que nuestra medida es práctica, también examinamos su sensibilidad a cambios comunes en el audio que podrían afectar la adherencia. Esto incluye cambios en el tiempo y el tono, que pueden alterar qué tan de cerca el audio generado coincide con la pista. Nuestra hipótesis es que las puntuaciones de adherencia a la pista de audio deberían disminuir significativamente cuando se aplican estos cambios.

Realizamos varias pruebas aplicando cambios de tono y ajustes de tiempo aleatorios a las pistas de audio y evaluamos cómo nuestra medida de adherencia varía en respuesta. Los resultados subrayan la efectividad potencial de nuestro enfoque al tratar con estas variaciones comunes de audio.

#Conclusión y trabajo futuro

Con el avance continuo de los sistemas de generación musical basados en IA, establecer un método de evaluación común para la adherencia a las pistas de audio es esencial. Juntos, nuestros experimentos muestran que podemos medir la adherencia de las pistas de audio de manera confiable, aunque se necesitan refinamientos continuos.

De cara al futuro, es crucial expandir nuestras pruebas para incluir otros factores que puedan afectar las puntuaciones de adherencia, como cambios en la calidad del audio que no impacten en qué tan de cerca la música generada sigue la pista de audio.

Además, el trabajo futuro se centrará en determinar cómo los diferentes niveles de volumen entre las pistas y las salidas afectan las mediciones de adherencia. Nuestro objetivo final es crear una medida robusta y universalmente aplicable que mejore el rendimiento de los modelos de música generativa mientras proporciona información valiosa sobre sus salidas.