Uniendo Sonido y Movimiento en la Música

Crear música y baile juntos siempre ha sido parte de la expresión humana. Es un desafío emocionante combinar el canto y los movimientos de baile en un solo sistema. Este trabajo busca generar canto y movimientos de todo el cuerpo solo a partir de las palabras de una canción. Tradicionalmente, los investigadores han mirado el canto y el movimiento por separado, pero queremos ver cómo pueden trabajar juntos para crear una experiencia más viva.

#El Conjunto de Datos RapVerse

Para ayudar con esta tarea, construimos un conjunto de datos especial llamado RapVerse. Este conjunto de datos contiene una gran colección de canciones de rap, incluyendo las letras, las voces cantantes y los movimientos en 3D de los cuerpos de los intérpretes. Con este conjunto de datos, queremos descubrir qué tan bien podemos mezclar canto y movimiento usando técnicas informáticas avanzadas.

El conjunto de datos RapVerse se divide en dos partes:

1. Subconjunto Rap-Vocal: Esta parte tiene 108 horas de canto de rap sin música de fondo. Recopilamos las letras y el canto de varios artistas de rap en línea y nos aseguramos de que todo estuviera bien alineado.

2. Subconjunto Rap-Moción: Esta parte contiene alrededor de 27 horas de videos de actuaciones que muestran los movimientos completos del cuerpo de los artistas de rap. Recopilamos esto de videos disponibles en línea y nos aseguramos de que los movimientos coincidan con el canto.

#Uniendo Sonido y Movimiento

Creemos que el sonido y el movimiento están estrechamente relacionados, especialmente cuando se trata de expresar emociones o ideas. Si uno de estos elementos sabe lo que está haciendo el otro, podemos crear una experiencia más rica. Esto significa que si el canto tiene emoción, el baile también puede coincidir, haciéndolo sentir más natural.

En este trabajo, abordamos la pregunta: ¿Pueden las máquinas aprender no solo a cantar, sino también a moverse como humanos? Creemos que al conectar la voz y los movimientos del cuerpo de manera estrecha, podemos mejorar enormemente cómo interactuamos con el contenido digital.

#Por Qué el Texto es Importante

Creemos que las letras de las canciones son la mejor manera de comenzar. Las palabras cuentan una historia profunda y ayudan a transmitir sentimientos. Nos dan una forma significativa de conectar diferentes tipos de contenido. Mientras que algunos trabajos anteriores utilizaron notas musicales o comandos de voz, encontramos que las letras ofrecen más profundidad.

En lugar de hacer un sistema que genere el canto primero y luego intente averiguar los movimientos, nuestro objetivo es crear un sistema que genere ambos al mismo tiempo. Este enfoque evita errores que pueden ocurrir cuando cada parte trabaja por separado, como cuando un malentendido en el canto puede llevar a movimientos torpes.

#Desafíos Enfrentados

Uno de los principales desafíos es encontrar suficientes datos que tengan voces de canto, movimiento y letras coincidentes juntas. Otros conjuntos de datos a menudo carecen de una de estas partes. También necesitamos un sistema que pueda manejar la creación de sonido y movimiento solo a partir de las letras, sin necesidad de esperar a que una parte termine antes de comenzar la otra.

#Creando el Conjunto de Datos RapVerse

Enfrentamos varios pasos para crear el conjunto de datos RapVerse. Para la parte vocal, necesitamos encontrar muchas canciones y sus letras en línea. Usamos herramientas para ayudarnos a recopilar esta información, asegurándonos de seleccionar solo contenido de alta calidad. Después de recolectar, separamos las voces de la música de fondo para dejar solo las voces cantantes.

Para la parte de movimiento, encontramos cientos de videos de actuaciones. Buscamos videos donde los intérpretes fueran completamente visibles y el audio fuera claro. Usando algún software, traducimos los sonidos a texto para alinear correctamente las letras. Una vez que recopilamos los videos, los procesamos para anotar los movimientos con precisión.

#Cómo Generamos Sonido y Movimiento Juntos

Para generar voces y movimientos, usamos modelos informáticos avanzados. El primer paso es codificar el canto y los movimientos del cuerpo en una forma que las máquinas puedan entender. Hacemos esto convirtiendo el canto y los movimientos en tokens, pequeñas partes que representan piezas de sonido o movimiento.

Para el sonido, aislamos las partes vocales y procesamos sus características. Para el movimiento, usamos un enfoque similar, desglosando los movimientos en piezas discretas. Una vez que tenemos estas piezas, usamos un tipo especial de modelo llamado Transformador, que puede predecir los siguientes tokens basándose en lo que ya se ha generado.

Al combinar tokens de las tres áreas: letras, voces y movimientos, podemos entrenar un sistema que aprende a generar todo junto.

#Evaluando Nuestro Sistema

Para ver qué tan bien funciona nuestro sistema, observamos múltiples factores. Para las voces cantantes, le pedimos a la gente que califique qué tan naturales suenan las voces. Para los movimientos, analizamos qué tan realistas se ven y qué tan bien sincronizan con el canto.

También comparamos nuestros resultados con otros métodos existentes para ver si nuestro enfoque es mejor. Nuestro sistema ha mostrado gran promesa, ya que genera movimientos que se alinean bien con el ritmo de la música.

#Comparando con Otros Métodos

Nos tomamos tiempo para investigar los Sistemas existentes. Por ejemplo, hay sistemas solo para generar voces o solo para movimientos. Nuestro método, que combina ambos, ha demostrado que puede igualar o incluso superar estos sistemas especializados.

Al usar nuestro enfoque, no enfrentamos los mismos problemas que aquellos que generan voces primero y luego movimientos. Nuestra manera combinada ayuda a evitar errores y produce resultados que se sienten más cohesivos.

#Resultados de Nuestros Experimentos

Nuestros experimentos muestran que nuestro método puede producir voces de canto de alta calidad y movimientos corporales realistas solo a partir de las letras. De hecho, la calidad del canto compite con sistemas de generación vocal dedicados, y los movimientos muestran un alto nivel de realismo.

Los resultados demostraron que el marco de generación combinada no solo funciona, sino que también establece un nuevo estándar para cómo se pueden crear las voces y los movimientos juntos.

#Limitaciones y Direcciones Futuras

Aunque nuestra investigación actual se centra en la música rap, vemos un gran potencial para extender esto más allá de un solo género. Las herramientas y métodos podrían adaptarse a otros estilos musicales con los conjuntos de datos adecuados.

En el futuro, estamos ansiosos por investigar la creación de actuaciones que incluyan múltiples artistas, mejorando el realismo de conciertos virtuales y experiencias musicales colaborativas.

#Conclusión

Nuestro trabajo en integrar la generación vocal y de movimiento a partir de texto lírico abre puertas a nuevas posibilidades en tecnologías de rendimiento y contenido digital. El objetivo no es solo crear sonido y movimiento, sino generar experiencias que se sientan vivas y atractivas. Al aprovechar estos avances, podemos crear entornos más interactivos e inmersivos para el entretenimiento, los videojuegos y más allá.

En resumen, el éxito de nuestro enfoque combinado demuestra el potencial de redefinir cómo pensamos sobre la música y el movimiento, proporcionando un camino para interacciones digitales más dinámicas en el futuro.