Mejorando el Reconocimiento y la Síntesis Emocional en Modelos de Voz

El Reconocimiento de emociones en el habla (SER) y el Text-to-Speech Emocional (TTS) son dos tareas importantes en el campo del procesamiento del habla. SER se enfoca en entender las emociones a partir de las palabras habladas, mientras que el TTS Emocional busca crear un habla que transmita emociones a partir de un texto dado. Ambas tareas están ganando popularidad a medida que los modelos de aprendizaje automático mejoran en imitar las emociones humanas.

Un factor clave para el éxito en ambas tareas es qué tan bien se representan las emociones en el habla. Buenas representaciones emocionales pueden ayudar a reconocer emociones en el habla y generar un lenguaje hablado más expresivo. Sin embargo, hay un problema común: a menudo no hay suficientes datos de habla emocional disponibles. La mayoría de las investigaciones no tienen en cuenta este problema de desequilibrio de datos.

Los datos de habla emocional son más difíciles y costosos de recopilar que los de habla neutral, lo que lleva a un enfoque en datos neutrales. Esto puede hacer que los modelos tiendan a favorecer la emoción neutral y les cueste reconocer o generar habla emocional de manera efectiva. Para abordar esto, es importante encontrar formas de extraer representaciones emocionales que funcionen bien a pesar de la falta de datos equilibrados.

#El Desafío de los Conjuntos de Datos Desbalanceados

Uno de los principales desafíos al entrenar modelos para SER y TTS Emocional es la disponibilidad de datos. La mayoría de los conjuntos de datos terminan favoreciendo el habla neutral, lo que significa que las clases emocionales tienen menos ejemplos. Este desequilibrio puede hacer que los modelos tengan un rendimiento deficiente en reconocer o producir habla emocional.

La augmentación de datos es una técnica que ayuda a lidiar con conjuntos de datos desbalanceados. Al crear nuevos ejemplos alterados a partir de los datos existentes, la augmentación puede reducir el sesgo hacia la clase neutral más común. Algunas estrategias incluyen generar datos de habla utilizando técnicas como Redes Generativas Antagónicas (GANs).

También se han probado otros métodos, como crear nuevos ejemplos mezclando características de datos existentes. Sin embargo, gran parte del enfoque ha estado en generar más datos de habla en lugar de mejorar directamente la representación emocional.

#Importancia de la Representación Emocional

Para un TTS Emocional efectivo, tener representaciones emocionales sólidas es clave. Estas representaciones pueden ayudar a producir habla que transmita la emoción adecuada. Algunos enfoques han utilizado tokens de estilo que representan características emocionales extraídas de muestras de habla. Estos tokens se aplican luego al habla sintetizada para mejorar la expresividad.

Métodos más avanzados, como RFTacotron, utilizan secuencias de vectores para captar estilos emocionales en detalle. Aunque estas técnicas son prometedoras, a menudo luchan con conjuntos de datos desbalanceados. Los modelos pueden ajustarse demasiado a la clase neutral dominante, lo que resulta en salidas menos expresivas.

Para abordar esto, un método llamado Mixup ha ganado popularidad. Esta técnica combina muestras de entrada existentes para crear nuevos ejemplos de entrenamiento. Estudios han demostrado que Mixup mejora el rendimiento en diversas tareas, incluido el reconocimiento de habla.

#Un Nuevo Enfoque para Aprender Representaciones Emocionales

En este trabajo, proponemos un nuevo método que combina diferentes tipos de augmentación Mixup para aprender representaciones emocionales de manera efectiva a partir de datos desbalanceados. Al integrar tanto Mixup a nivel crudo como a nivel latente, podemos aprovechar las fortalezas de ambos métodos.

En el Mixup a nivel crudo, se combinan dos muestras de habla para crear una nueva muestra que ayuda al modelo a aprender una mayor variedad de datos. Esto permite que el modelo identifique diversas estructuras dentro de los datos, lo cual es importante para desarrollar una representación más robusta. En el Mixup a nivel latente, las representaciones emocionales se mezclan a un nivel de activación intermedio, lo que puede llevar a características más profundas y expresivas.

Combinar ambos tipos de Mixup asegura que las representaciones emocionales aprendidas sean consistentes y generalizables a través de diferentes conjuntos de datos. Esta consistencia ayuda a los modelos a evitar depender demasiado de características específicas que podrían variar entre el entrenamiento y los escenarios del mundo real.

#Entrenando el Extractor de Emociones

Para aprender representaciones emocionales efectivas, entrenamos un modelo llamado el Extractor de Emociones. El proceso de entrenamiento implica usar técnicas de Mixup tanto a nivel crudo como a nivel latente para crear nuevas muestras de entrenamiento y obtener valiosas características emocionales de los datos de habla.

El Extractor de Emociones procesa muestras de habla para derivar representaciones emocionales. Estas representaciones pueden luego ser utilizadas tanto en tareas de SER como de TTS Emocional. Durante el entrenamiento, el modelo actualiza su comprensión basada en las etiquetas emocionales asociadas con las muestras. Esto ayuda al modelo a aprender a diferenciar efectivamente entre varias emociones.

#Usando el Extractor de Emociones para SER y TTS

Para la tarea de SER, el Extractor de Emociones puede aplicarse directamente para detectar emociones en el habla. Modificamos un modelo de aprendizaje profundo bien conocido llamado VGG19 para este propósito. Al adaptar VGG19, podemos extraer características de la entrada de habla mientras nos enfocamos en el contenido emocional.

En la tarea de TTS Emocional, utilizamos un modelo llamado RFTacotron, que transforma texto en habla utilizando las representaciones emocionales aprendidas del Extractor de Emociones. La arquitectura del Extractor de Emociones se alinea con las necesidades del modelo TTS, lo que permite una integración fluida de características emocionales durante la síntesis del habla.

#Proceso de Entrenamiento y Datos Utilizados

El entrenamiento implica usar conjuntos de datos específicos para ambas tareas de SER y TTS. Para SER, trabajamos con conjuntos de datos que contienen muestras de habla emocional así como muestras neutrales. Al reducir artificialmente la cantidad de muestras emocionales, podemos simular los desequilibrios comunes que se encuentran en los datos del mundo real.

Para la tarea de TTS Emocional, seleccionamos un conjunto de datos específicamente diseñado para generar habla emocional. Similar a los conjuntos de datos de SER, solo retenemos un número limitado de muestras emocionales por clase para replicar el desafío del desequilibrio de datos.

El preprocesamiento de las muestras de habla incluye re-muestreo para asegurar calidad consistente. Luego se extraen características acústicas para un análisis efectivo durante la fase de entrenamiento.

#Resultados y Hallazgos

Después del entrenamiento, realizamos experimentos para evaluar el rendimiento de nuestros modelos en ambas tareas de SER y TTS. Usamos múltiples conjuntos de datos para asegurar resultados confiables y validar la efectividad de nuestro enfoque propuesto.

Para la tarea de SER, observamos que nuestro modelo supera significativamente las líneas base existentes en conjuntos de datos desbalanceados. Las representaciones emocionales extraídas de nuestro Extractor de Emociones llevan a una detección de emociones clara y precisa, incluso en escenarios desafiantes.

En la tarea de TTS, encontramos que nuestro modelo sintetiza una habla más expresiva. Las representaciones emocionales contribuyen positivamente a la calidad de la habla generada, haciéndola sonar más natural y emocionalmente rica en comparación con modelos tradicionales.

#Conclusión

En resumen, presentamos un nuevo método para extraer representaciones emocionales de datos de habla desbalanceados. Al combinar diferentes técnicas de augmentación, mejoramos el rendimiento de los modelos de Reconocimiento de Emociones en el Habla y Text-to-Speech Emocional. Nuestros resultados experimentales muestran que este enfoque lleva a representaciones emocionales más robustas y efectivas, permitiendo que los modelos funcionen mejor incluso cuando los datos de entrenamiento son limitados.