Presentando AIOZ-GDANCE: Un nuevo conjunto de datos para la generación de baile en grupo

Bailar es una parte esencial de la cultura y comunicación humana. Con el auge de las redes sociales, hacer y compartir videos de baile se ha vuelto súper popular. Como resultado, millones de videos de baile se ven a diario en varias plataformas en línea. A los investigadores les ha interesado encontrar maneras de crear movimientos de baile naturales basados en la música. Aunque ha habido avances en este campo, la mayoría de los estudios se han centrado en el baile en solitario. La tarea de crear movimientos de baile para grupos de bailarines sigue siendo un desafío importante.

#El Reto de la Generación de Baile en Grupo

Crear movimientos de baile para un grupo es más complicado que para un solo bailarín. En el baile en grupo, puede haber coreografías diferentes para cada bailarín, pero aún así tienen que estar en sincronía con la música. Además, los bailarines a menudo interactúan físicamente entre sí, y asegurarse de que sus movimientos coincidan sin interferir el uno con el otro añade más dificultad. La mayoría de los conjuntos de datos disponibles se centran en videos de baile en solitario y no capturan elementos cruciales del baile en grupo, como la sincronización e interacción entre bailarines.

Para una investigación efectiva en la generación de baile en grupo, se necesita un conjunto de datos grande. Muchos conjuntos de datos existentes son pequeños o dependen de tecnología de captura de movimiento cara, lo que dificulta la recopilación de una variedad diversa de datos. Algunos esfuerzos han utilizado algoritmos para extraer movimientos de baile de videos disponibles en línea, pero estos conjuntos de datos fueron diseñados principalmente para bailarines solitarios.

#Presentando AIOZ-GDANCE

Para abordar estas deficiencias, presentamos un nuevo conjunto de datos llamado AIOZ-GDANCE. Este conjunto de datos está creado para la generación de baile en grupo y incluye videos de grupos bailando, junto con su música. Nuestro conjunto de datos cuenta con una colección más extensa que la mayoría de los demás, apoyando una variedad de estilos de baile y géneros musicales.

Un aspecto único de nuestro conjunto de datos es su proceso de etiquetado semi-automático. Esto implica que personas ayudan a etiquetar los datos, asegurando alta calidad. AIOZ-GDANCE consiste en horas de videos que muestran baile en grupo en situaciones del mundo real, con música emparejada y movimientos de baile en 3D.

#El Método Detrás del Conjunto de Datos

Para desarrollar un conjunto de datos a gran escala, decidimos no usar sistemas tradicionales de captura de movimiento debido a su costo y complejidad. En su lugar, recopilamos videos de baile en grupo de plataformas públicas como YouTube y Facebook. Todos los videos fueron procesados para asegurar una resolución y tasas de fotogramas estándar.

Para rastrear los movimientos de todos los bailarines en los videos, empleamos tecnología de rastreo avanzada para obtener las cajas delimitadoras de cada bailarín. Este paso es vital para reconstruir los movimientos con precisión. También utilizamos métodos de Estimación de Poses para generar las poses 2D iniciales de cada bailarín. Aunque algunos errores aparecen en esta fase debido a problemas como el desenfoque de movimiento, corregimos manualmente estas inexactitudes.

Al aplicar un método para ajustar el movimiento 3D a los movimientos de cada bailarín, aseguramos que la representación de cada bailarín fuera capturada con precisión. Esto implicó optimizar los movimientos de todos los bailarines simultáneamente para crear un movimiento grupal coherente, teniendo en cuenta sus interacciones físicas.

#Cómo Se Puede Usar el Conjunto de Datos

Con AIOZ-GDANCE, esperamos inspirar futuras investigaciones en la generación de baile en grupo. Mientras que la coreografía de un bailarín solitario ha recibido mucha atención, el baile en grupo aún necesita más exploración.

Además de la generación de baile en grupo, nuestro conjunto de datos puede ayudar con varias tareas como el rastreo de poses humanas y el análisis de movimientos. También puede ser útil en áreas como la educación en danza y el análisis de comportamiento. Se anima a los investigadores a explorar estas y otras aplicaciones potenciales del conjunto de datos.

#Generación de Baile en Grupo Basada en Audio

Nuestro objetivo es generar secuencias de movimiento grupal basadas en un audio musical dado y posiciones iniciales de los bailarines. El objetivo es que los movimientos de baile generados estén en armonía con la música, lo que implica mantener el ritmo y el estilo. Los movimientos de los bailarines también deben ser coherentes, asegurando que no colisionen ni interfieran entre sí.

#La Arquitectura del Generador de Baile en Grupo

Nuestro sistema usa una arquitectura especial que toma la secuencia musical y las posiciones iniciales de los bailarines como entrada. La música se procesa para extraer características significativas, que luego se codifican para capturar las partes esenciales del audio.

Generamos poses iniciales para los bailarines combinando características musicales con sus posiciones de inicio. Una parte clave de nuestra Generación de movimiento implica asegurar que los movimientos de todos los bailarines estén sincronizados y sean consistentes con la música. Como parte de esto, usamos mecanismos de atención para considerar cómo los bailarines se relacionan entre sí en el espacio y el tiempo.

#Experimentación y Resultados

Construimos nuestro modelo para entrenar en el conjunto de datos AIOZ-GDANCE. Al hacerlo, pudimos medir qué tan bien funcionaba nuestro método para crear movimientos de baile en grupo coherentes. Comparamos nuestro enfoque con métodos existentes, que típicamente se centraban en el baile en solitario.

Nuestros experimentos revelaron que nuestro método, especialmente al usar el mecanismo de atención, superó a las alternativas. Fue mejor para manejar problemas como las intersecciones de baile, donde los bailarines podrían colisionar o superponerse durante sus movimientos.

También observamos cómo el número de bailarines afectaba el rendimiento. Algunas métricas mostraron consistencia en diferentes números de bailarines, indicando que nuestro método podría generar movimientos de baile confiables sin importar cuántos bailarines estuvieran involucrados. Sin embargo, observamos que generar más bailarines también aumentaba la probabilidad de problemas de intersección.

A continuación, examinamos cómo diferentes estilos de baile presentaban desafíos únicos en la generación de baile en grupo. Estilos como Zumba y Aerobics eran más fáciles de replicar para nuestro modelo debido a sus movimientos sencillos. En contraste, estilos como Bollywood y Samba, que involucran movimientos más intrincados, presentaron mayores dificultades para capturarlos con precisión.

#Conclusión

En resumen, hemos presentado AIOZ-GDANCE, un gran conjunto de datos diseñado para la generación de baile en grupo basado en música. Este conjunto de datos tiene como objetivo apoyar la investigación en esta área, proporcionando los recursos necesarios para desarrollar nuevos métodos para crear movimientos de baile para grupos. Nuestro trabajo muestra promesas para avanzar en estudios relacionados con la coreografía de grupo impulsada por audio y ofrece un camino para que otros exploren aplicaciones adicionales.