Enfoque innovador para la síntesis de voz en canto en conjunto

Cantar es una manera común en la que la gente se expresa y se comunica. Cuando un grupo de cantantes se presenta junto, se conoce como un conjunto vocal. Un aspecto especial de cantar en conjunto es cómo los cantantes se escuchan entre sí y ajustan sus voces. Esta interacción es clave para crear un sonido armonioso y unificado.

La Síntesis de voz cantada (SVC) es una tecnología que permite que las computadoras produzcan voces cantadas. Los avances recientes en aprendizaje profundo han llevado a mejores métodos de SVC. Sin embargo, muchos métodos existentes se centran en el canto en solitario, ignorando cómo los cantantes interactúan en un conjunto. Esto puede resultar en una falta de unidad en el sonido del conjunto.

Para abordar esto, proponemos un nuevo método de SVC que toma en cuenta estas interacciones. Nuestro objetivo es crear una voz de canto en conjunto más unificada modelando cómo los cantantes se influyen entre sí.

#Importancia de la Interacción en el Canto en Conjunto

En los Conjuntos vocales, los cantantes modifican sus voces al escucharse entre sí. Este ajuste ayuda a mezclar sus voces y crea un sentido de unidad. A diferencia del canto en solitario, donde cada cantante actúa de manera independiente, cantar en conjunto depende de esta comunicación.

La investigación ha demostrado que cuando los cantantes cantan juntos, la Mezcla de voces puede cambiar varios aspectos como el tono y la calidad del sonido. Estos cambios ayudan a crear un sonido cohesivo en el canto en conjunto. Por lo tanto, modelar estas interacciones es esencial para lograr una actuación vocal unificada.

#Métodos Tradicionales de Síntesis de Voz Cantada

La mayoría de los métodos tradicionales de SVC funcionan sintetizando la voz de cada cantante por separado, sin considerar cómo se afectan entre sí. Este enfoque puede dar lugar a un conjunto sintético que suena desconectado y carece de la mezcla natural que se encuentra en el canto humano.

El proceso de SVC generalmente implica predecir cómo una partitura musical se traduce en características de canto. La tecnología actual utiliza redes neuronales profundas para aprender estas conexiones, pero a menudo no aborda el aspecto colaborativo del canto en conjunto.

#Método Propuesto de Síntesis de Voz Cantada en Conjunto

Nuestro método propuesto tiene como objetivo sintetizar voces de canto en conjunto modelando explícitamente las interacciones entre cantantes. La idea central es simular cómo cada cantante toma señales de los demás mientras actúa.

#Cómo Funciona el Método

Utilizamos un sistema que procesa partituras musicales de múltiples voces. Nuestro enfoque incluye funciones de pérdida especiales que reflejan la influencia de la interacción en las características del sonido producido.

Al incorporar las voces de otros cantantes en el proceso de síntesis, nuestro modelo busca lograr un sonido de conjunto más armonioso. Este método se basa en una estructura que consiste en pistas paralelas para la voz de cada cantante, permitiendo que interactúen durante todo el proceso de producción.

#Datos y Enfoque de Entrenamiento

Para entrenar nuestro modelo, utilizamos un conjunto de datos de canciones a cappella. Esto incluía múltiples partes vocales, lo que nos permitió entender mejor cómo se mezclan diferentes voces. El proceso de entrenamiento involucró alinear las características de la voz de cada cantante, asegurando que coincidieran según el momento de las notas que se cantan.

#Alineación de Características Sincronizadas

Uno de los desafíos en la síntesis de canto en conjunto es mantener el tiempo consistente entre diferentes partes de voz. Para solucionarlo, desarrollamos un método llamado padding alineado en el tiempo. Esta técnica asegura que cuando los cantantes deberían comenzar a cantar juntos, sus características estén alineadas en el tiempo.

Al capturar esta sincronía, podemos producir un sonido más cohesivo durante el proceso de síntesis. Este método de padding mejora la precisión de cómo predecimos el momento de cada nota en el proceso de canto.

#Métricas de Evaluación para la Unidad del Conjunto

Para evaluar la efectividad de nuestro método propuesto, necesitábamos establecer métricas que midieran la unidad de las voces del conjunto. Estudios previos sugirieron criterios centrados en aspectos como Armonía, tono y mezcla de voces. Estos criterios guiaron nuestras evaluaciones.

Realizamos evaluaciones subjetivas donde los oyentes calificaron la unidad de las voces sintetizadas del conjunto. Al comparar nuestro método con enfoques tradicionales, pudimos determinar cuán efectiva era nuestra modelación de interacciones.

#Resultados y Hallazgos

Nuestros experimentos demostraron que considerar las interacciones entre cantantes mejoró significativamente la calidad de las voces sintetizadas del conjunto.

#Comparación con Métodos Tradicionales

En las evaluaciones, nuestro sistema superó a los métodos de SVC tradicionales que no consideran interacciones. Los oyentes señalaron que el conjunto sintetizado era más unificado y armónico.

Los resultados destacaron la importancia de modelar explícitamente las interacciones entre cantantes. Al tener en cuenta cómo los cantantes ajustan sus voces según los demás, logramos un sonido más rico y mezclado.

#Análisis de Características Acústicas

Uno de los hallazgos clave fue que las características acústicas generadas por nuestro método mostraron cambios sincrónicos entre diferentes partes de voz. Esto significaba que cuando un cantante ajustaba su tono, los demás también lo hacían, creando un flujo natural que imitaba el comportamiento humano al cantar.

#Conclusión y Trabajo Futuro

Este estudio introdujo un nuevo enfoque para la síntesis de voz cantada que modela las interacciones entre cantantes. Al incorporar características de todas las voces participantes y usar funciones de pérdida especializadas, nuestro método proporciona un sonido más unificado en el canto en conjunto.

A medida que la tecnología sigue evolucionando, nuestro objetivo es refinar aún más nuestro enfoque, mejorando la calidad de las voces de canto sintetizadas. Nuestro trabajo futuro se centrará en entender cómo la gente percibe la unidad en el canto en conjunto, llevando a sistemas de SVC aún mejores que produzcan actuaciones vocales naturales y atractivas.

A través de la investigación y el desarrollo continuo, esperamos contribuir al campo de la síntesis musical y crear herramientas que mejoren la expresión musical.

#Agradecimientos

Agradecemos el apoyo que hizo posible esta investigación, que incluye financiamiento de diversas subvenciones de investigación. Esperamos compartir nuestros hallazgos con una audiencia más amplia y continuar construyendo sobre estos resultados iniciales.