CUE-DETR: Automatizando la detección de puntos de referencia en EDM

Los puntos de referencia en la música son marcadores que los DJs usan para indicar momentos importantes en una pista. Estos puntos ayudan a los DJs a mezclar una pieza musical con otra, haciendo las transiciones más suaves. Son especialmente importantes para DJs que actúan en vivo o crean sistemas de mezcla automática que funcionan sin intervención humana. Este artículo habla de un nuevo método para identificar automáticamente estos puntos de referencia en pistas de música electrónica de baile (EDM) usando una tecnología llamada detección de objetos.

#Importancia de los Puntos de Referencia

Los puntos de referencia son cruciales para los DJs ya que proporcionan una referencia rápida para los momentos destacados musicales, momentos adecuados para mezclar pistas y la estructura general de una canción. En el pasado, los DJs marcaban estos puntos en discos de vinilo físicos con pegatinas. En la era digital de hoy, los puntos de referencia cumplen el mismo propósito pero de una manera más conveniente, permitiendo a los DJs repetir pistas o saltar entre secciones rápidamente durante las presentaciones en vivo. Sin embargo, establecer puntos de referencia puede ser una tarea lenta y tediosa que requiere un profundo conocimiento de la música que se está tocando.

La colocación de los puntos de referencia puede ser complicada debido a cambios en el tempo, secciones musicales adicionales o diferentes estructuras de canciones. Esto plantea la pregunta: ¿podemos automatizar el proceso de colocar puntos de referencia entrenando un modelo con datos existentes?

#Introduciendo CUE-DETR

Para abordar este desafío, desarrollamos un sistema llamado CUE-DETR, que utiliza un modelo de visión por computadora originalmente diseñado para la detección de imágenes. Al afinarlo, lo adaptamos para identificar puntos de referencia en pistas de EDM. Este sistema fue entrenado con un gran conjunto de datos que incluye más de 21,000 puntos de referencia marcados manualmente por DJs expertos en casi 5,000 pistas. Este conjunto de datos es significativamente más grande que los anteriores disponibles, lo que ayuda a mejorar la Precisión.

Nuestro enfoque es único porque no se basa en un análisis musical complicado. En su lugar, entrena al modelo para reconocer dónde suelen colocarse los puntos de referencia según los datos proporcionados. Esta flexibilidad permite que CUE-DETR funcione bien con las estructuras de fraseo comunes en la música electrónica de baile.

#El Conjunto de Datos: EDM-CUE

La colección de datos utilizada para entrenar a CUE-DETR se llama EDM-CUE. Este conjunto de datos es el resultado de recopilar información de cuatro DJs profesionales. Incluye detalles como nombres de pistas, artistas, tempo y puntos de referencia para cada canción. Los puntos de referencia indican dónde los DJs creen que ocurren secciones importantes. El conjunto de datos está estandarizado alrededor de una firma de tiempo de 4/4, que es común en la música electrónica, e incluye solo pistas que mantienen un tempo constante.

En total, el conjunto de datos consiste en 4,710 pistas de EDM, abarcando aproximadamente 380 horas de música. La duración promedio de las pistas es de unos 4 minutos y 50 segundos, con un tempo que varía de 95 a 190 beats por minuto. Cada pista tiene típicamente alrededor de 4.6 puntos de referencia.

#Cómo Funciona CUE-DETR

CUE-DETR opera convirtiendo la pista de audio en representaciones visuales llamadas espectrogramas de Mel. Estos espectrogramas muestran el contenido de frecuencia del audio a lo largo del tiempo y son similares a imágenes que el modelo de visión por computadora puede analizar. El modelo está entrenado para reconocer los puntos de referencia buscando patrones en estas representaciones visuales.

Durante el entrenamiento, se utilizan secciones de espectrogramas que contienen puntos de referencia como entrada. El modelo predice dónde es probable que ocurran estos puntos de referencia. Para las pruebas, el modelo analiza pistas completas utilizando un enfoque de ventana deslizante para encontrar las mejores ubicaciones posibles de los puntos de referencia a lo largo de todo el espectro de la música.

#Evaluación de CUE-DETR

Para entender qué tan bien funciona CUE-DETR, lo comparamos con métodos existentes, incluyendo un software comercial de DJ y un proyecto de código abierto. Esta comparación involucró verificar cuán cerca estaban las predicciones del modelo de los puntos de referencia marcados por expertos humanos.

Se utilizaron varias métricas para medir la precisión, incluyendo precisión, recall y la puntuación de precisión promedio. Estas métricas ayudan a identificar cuántos puntos de referencia predichos son correctos y cuántos puntos correctos fueron identificados.

CUE-DETR mostró un rendimiento superior en todas las métricas evaluadas en comparación con los otros métodos. Produjo predicciones que se alinearon estrechamente con las colocaciones manuales, asegurando que los DJs pudieran confiar en el proceso automatizado para establecer puntos de referencia.

#Resultados

Los resultados indican que CUE-DETR identifica con éxito los puntos de referencia con un alto grado de precisión. Las predicciones del modelo se alinean bien con la estructura musical establecida que se encuentra en las pistas. Además, se adapta a varias estructuras de canciones, reconociendo las longitudes de frase comunes utilizadas en la música electrónica.

Además, el modelo fue probado en un conjunto separado de pistas que no estaban incluidas en el proceso de entrenamiento. Esto ayudó a validar su efectividad al generalizar su conocimiento a nueva música. La evaluación mostró que CUE-DETR podría colocar puntos de referencia con precisión incluso al manejar pistas con estructuras y complejidades variables.

#Desafíos y Limitaciones

A pesar de los éxitos, algunos desafíos siguen existiendo. La disponibilidad de conjuntos de datos diversos limita el alcance de entrenamiento del modelo. Si bien el conjunto de datos actual consiste en una amplia variedad de pistas de EDM, la música viene en muchos estilos diferentes. Por lo tanto, futuras investigaciones podrían centrarse en expandir el conjunto de datos para incluir una gama más amplia de géneros musicales.

Además, el elemento humano en la colocación de puntos de referencia añade una capa de subjetividad. Diferentes DJs pueden colocar los puntos de referencia de manera diferente según sus estilos y preferencias. Recopilar anotaciones de varios tipos de DJs podría enriquecer el conjunto de datos y mejorar la adaptabilidad del modelo.

#Direcciones Futuras

El desarrollo de CUE-DETR abre muchas posibilidades para sistemas de DJ automatizados. El trabajo futuro podría explorar la integración de la detección de beats junto con la estimación de puntos de referencia. Esto permitiría una comprensión aún más completa de la estructura musical, lo que podría llevar a colocaciones de puntos de referencia aún más precisas.

Además, ampliar la aplicación del modelo a diferentes géneros musicales podría crear una herramienta más versátil para los DJs. Diferentes estilos de música pueden requerir diferentes enfoques para la colocación de puntos de referencia, y entender estas sutilezas podría mejorar aún más la capacidad del modelo.

#Conclusión

CUE-DETR representa un paso significativo hacia la automatización de la estimación de puntos de referencia en la mezcla de DJ. Su capacidad para aprender de un gran conjunto de datos y producir puntos de referencia precisos sin un análisis complicado de teoría musical lo convierte en una herramienta valiosa para los DJs. A medida que la tecnología musical continúa evolucionando, sistemas como CUE-DETR jugarán un papel crucial en la configuración del futuro del DJing y las presentaciones en vivo.

A través de mejoras continuas y expansiones del conjunto de datos, CUE-DETR podría redefinir cómo los DJs preparan y realizan sus mezclas, dando paso a una nueva era de sistemas de mezcla musical automatizados que atienden tanto a la creatividad humana como a la innovación tecnológica.