Avanzando en la Conversión de Voz con Conciencia Espacial

La Conversión de Voz es un proceso que cambia la voz de una persona por la voz de otra persona mientras se mantiene el contenido hablado igual. La mayoría de los métodos en este ámbito se han centrado en transformar señales de audio como sonido de un solo canal, lo que significa que no tienen en cuenta cómo los humanos escuchan naturalmente sonidos desde múltiples direcciones. Esto puede limitar la eficacia de estos métodos en situaciones de la vida real.

Este artículo presenta una nueva tarea llamada conversión de voz espacial. Esta tarea tiene como objetivo convertir la voz de un hablante objetivo mientras se mantienen intactos los sonidos de fondo y la Información Espacial. Esto significa que, en lugar de solo cambiar la voz, queremos preservar cómo esa voz se integra en su entorno. Esto tiene beneficios potenciales para experiencias de realidad virtual y para personas que usan audífonos.

Las técnicas tradicionales de conversión de voz a menudo ignoran el hecho de que escuchamos a través de dos oídos. Este método generalmente implica separar la voz que queremos cambiar de las demás y luego convertirla. Sin embargo, simplemente cambiar la voz sin considerar los sonidos circundantes puede llevar a experiencias menos realistas e inmersivas.

#Antecedentes sobre la Conversión de Voz

La conversión de voz ha avanzado significativamente en los últimos años. El objetivo es transformar las características no lingüísticas del habla, como el tono y el acento, mientras se mantienen las palabras reales iguales. Han surgido muchas técnicas nuevas, particularmente utilizando aprendizaje profundo, lo que permite cambios más efectivos entre hablantes.

Sin embargo, en la mayoría de los métodos existentes, el ruido de fondo u otras voces suelen ser eliminados. Esto puede eliminar parte de la riqueza del sonido original. Investigaciones recientes han comenzado a explorar cómo mantener el ruido de fondo u otras voces de hablantes durante la conversión, proporcionando una experiencia más realista e inmersiva.

#La Importancia de la Información Espacial

La información espacial se refiere a cómo percibimos de dónde provienen los sonidos en nuestro entorno. Esto es importante porque afecta cómo entendemos lo que escuchamos. Por ejemplo, en una habitación llena de gente, podemos concentrarnos en una persona que habla mientras seguimos siendo conscientes de otras conversaciones. Esta habilidad se debe en parte a cómo nuestros oídos trabajan juntos para localizar los sonidos.

En la tecnología de audio, capturar información espacial puede mejorar enormemente la calidad del sonido. En la realidad virtual, mantener este contexto espacial puede hacer que las experiencias sean más vívidas. Por lo tanto, nuestro objetivo es desarrollar un método de conversión de voz que respete este contexto espacial.

#Introduciendo la Conversión de Voz Espacial

La conversión de voz espacial es la tarea de tomar una señal de voz grabada en un formato multicanal y transformar solo la voz del hablante objetivo mientras se mantiene el ruido de fondo y la información espacial sin cambios. Esto implica utilizar micrófonos multicanal para grabar sonidos, capturando los detalles espaciales del entorno.

La principal diferencia entre la conversión de voz tradicional y nuestro nuevo método es la inclusión de esta información espacial. Al preservar el contexto espacial, garantizamos que la Naturalidad y la inmersión del audio se mantengan.

#Metodología

Para lograr la conversión de voz espacial, desarrollamos un método que combina técnicas de Separación de fuentes ciegas y conversión de voz tradicional.

#Separación de Fuentes Ciegas (BSS)

La separación de fuentes ciegas es una técnica que nos permite aislar fuentes de sonido individuales de una señal de audio mezclada. Asume que diferentes fuentes de sonido son estadísticamente independientes, lo que significa que no se afectan entre sí. Al utilizar esta técnica, podemos extraer la voz del hablante objetivo del ruido de fondo.

#Técnicas de Conversión de Voz

Una vez que hemos aislado la voz del hablante objetivo, aplicamos la conversión de voz. Este paso transforma las características de esa voz en las de la voz de salida deseada. Los métodos tradicionales de conversión de voz se centran en crear una salida de voz clara y a menudo desestiman los sonidos circundantes.

#Combinando Técnicas

Nuestro enfoque implica primero utilizar la separación de fuentes ciegas para extraer la voz del hablante objetivo, luego aplicar la conversión de voz a esa voz extraída. Finalmente, remixamos la salida para garantizar que se preserven los sonidos de fondo y las pistas espaciales.

#Abordando Desafíos

#Manteniendo la Calidad de audio

Uno de los principales desafíos es mantener la calidad de audio mientras se realiza la conversión. Cualquier degradación en la calidad puede llevar a una salida no natural, lo que resta valor a la experiencia del oyente. Nuestro método tiene como objetivo mantener la calidad del habla alta mientras se preservan los elementos espaciales.

#Reproducción Espacial

Lograr una reproducción espacial precisa es otro desafío. El método que desarrollamos tiene como objetivo replicar los alrededores de la voz objetivo sin perder fidelidad. Esto implica calcular funciones de transferencia que representan cómo viaja el sonido desde el hablante hasta los micrófonos.

#Evaluación Experimental

Para evaluar nuestro método, realizamos varios experimentos comparando diferentes enfoques. Utilizamos varios hablantes y grabamos sus voces en un entorno controlado, capturando información espacial a través de múltiples canales.

#Recolección de Datos

Recopilamos datos de varios hablantes, asegurando una mezcla de géneros y tipos de voz. Las grabaciones se realizaron en un entorno simulado para reflejar con precisión las condiciones del mundo real, como el ruido de fondo y la reverberación.

#Métodos de Prueba

Comparamos nuestro método propuesto con diferentes técnicas de remix. Un método aplicó la inversa de la matriz de separación directamente, mientras que otro utilizó un vector de dirección para estimar la información espacial.

#Evaluaciones Subjetivas

Se pidió a los oyentes que evaluaran la naturalidad de las voces convertidas, tanto para salidas estéreo como monaurales. También medimos cuán bien se preservó la información espacial en el audio final.

#Resultados

#Calidad de Audio

Los resultados mostraron que nuestro método propuesto mejoró la naturalidad de la conversión de voz en comparación con los métodos tradicionales. Sin embargo, todavía hubo caídas de calidad notables al utilizar métodos de inversa directa. El método del vector de dirección mantuvo mejor la calidad de audio, destacando la importancia de la información espacial para lograr un audio de sonido natural.

#Reproducción de Información Espacial

Al examinar la reproducción de información espacial, nuestro método demostró una mayor precisión en la estimación de las pistas espaciales en comparación con otros enfoques. Sin embargo, los desafíos persisten, especialmente en entornos con un ruido de fondo significativo o reverberación, donde la información espacial puede distorsionarse.

#Conclusión

En resumen, presentamos una nueva tarea llamada conversión de voz espacial, que amplía las capacidades de la conversión de voz tradicional al incorporar información espacial. Al integrar técnicas de separación de fuentes ciegas y conversión de voz, nuestro método tiene como objetivo preservar la riqueza del sonido en un entorno multicanal.

El trabajo futuro se centrará en refinar estas técnicas, particularmente en abordar los desafíos de calidad de audio y reproducción espacial precisa. El objetivo es lograr un método que pueda combinar de manera fluida la conversión de voz con las experiencias auditivas naturales que encontramos en la vida cotidiana. Esto podría tener aplicaciones en muchas áreas, incluyendo realidad virtual, reconocimiento de voz y mejora de audio para diversas tecnologías.

Al explorar aún más el equilibrio entre calidad de audio e información espacial, podemos desbloquear todo el potencial de las tecnologías de conversión de voz y crear experiencias auditivas más ricas e inmersivas.