Avanços no Reconhecimento de Emoções na Fala Usando Embeddings de Falantes

Reconhecimento de emoções na fala (SER) é sobre descobrir como as pessoas se sentem com base na fala delas. Esse campo tá recebendo bastante atenção porque pode ajudar em várias áreas, tipo saúde e psicologia. Uma maneira interessante de melhorar o SER é usando tipos especiais de dados chamados embeddings de modelos treinados previamente (PTMs). Esses embeddings podem ajudar os computadores a entender melhor as emoções na fala. Porém, usar embeddings especificamente de modelos de reconhecimento de falantes ainda não foi muito explorado em comparação com outros tipos de PTMs.

Pra resolver isso, comparamos cinco diferentes embeddings de PTM pra ver como eles se saem no reconhecimento de emoções na fala. Dentre eles, o embedding x-vector foi o que mais se destacou. Acreditamos que isso acontece porque ele foi treinado pra reconhecer falantes, o que ajuda a captar elementos importantes na fala como tom e intensidade. Nossa abordagem usa embeddings x-vector junto com outra característica chamada coeficientes cepstrais em mel (MFCC). Essa combinação é leve, ou seja, não precisa de muitos recursos pra rodar, mas consegue uma boa precisão comparada a modelos mais complexos.

#Importância das Emoções na Comunicação

Os humanos expressam várias emoções com base no que sentem, e isso ajuda na comunicação. As emoções permitem que a gente se conecte melhor com os outros, facilitando a troca de momentos felizes e o apoio em tempos difíceis. Enquanto os humanos conseguem ler emoções com facilidade, é um desafio pros máquinas, principalmente com o aumento do uso de máquinas pra prever emoções e melhorar a interação com as pessoas.

As emoções podem ser reconhecidas de várias formas: por meio de expressões faciais, linguagem corporal e, claro, fala. Neste trabalho, focamos especificamente em como reconhecer emoções na fala, que tem chamado a atenção por suas amplas aplicações.

#Métodos Usados para o Reconhecimento de Emoções na Fala

Existem vários métodos usados para reconhecimento de emoções na fala. Técnicas tradicionais, como Modelos Ocultos de Markov (HMM), foram alguns dos primeiros métodos utilizados. Com o tempo, os pesquisadores começaram a usar algoritmos de aprendizado de máquina junto com características feitas à mão. Métodos de aprendizado profundo, especialmente os que usam Redes Neurais Convolucionais (CNN), ganharam popularidade depois do sucesso de modelos como o AlexNet.

Recentemente, usar embeddings de diferentes PTMs virou prática comum. Esses PTMs, treinados em grandes conjuntos de dados, podem ajudar a aumentar a taxa de sucesso nas tarefas de SER. Alguns bem populares incluem Wav2vec e YAMNet, que são conhecidos por seu desempenho. Embora muitos pesquisadores tenham focado nesses embeddings, pouco foi feito pra explorar embeddings de reconhecimento de falantes para SER.

#Explorando Embeddings de Reconhecimento de Falantes

A falta de pesquisa sobre embeddings de reconhecimento de falantes é uma coisa que queremos abordar. Trabalhos anteriores mostraram que há uma conexão entre quão bem um modelo consegue reconhecer um falante e quão bem ele consegue entender as emoções na fala dele. Assim, acreditamos que embeddings treinados para reconhecimento de falantes podem ser muito úteis para SER.

Nosso objetivo foi comparar diferentes embeddings de PTM pra ver quais funcionariam melhor no reconhecimento de emoções na fala. Para nossa análise, olhamos cinco diferentes embeddings de PTM: x-vector, ECAPA, wav2vec 2.0, wavLM e Unispeech-SAT.

#Os Embeddings Escolhidos

1. x-vector: Um sistema de ponta treinado pra reconhecer falantes, fornecendo embeddings valiosos.
2. ECAPA: Uma versão mais nova do x-vector que melhora ele, resolvendo suas limitações.
3. wav2vec 2.0: Treinado de maneira auto-supervisionada, esse modelo é eficaz, mas não mostrou performance tão alta quanto alguns outros.
4. wavLM: Esse modelo apresentou resultados fortes em várias tarefas relacionadas à fala e é reconhecido por suas características.
5. Unispeech-SAT: Um modelo projetado especificamente pra aprendizado multi-tarefa, focando em diferentes aspectos da fala.

Cada um desses modelos tem suas forças, e usamos eles pra ver como se saem em um conjunto de dados de emoções na fala.

#O Conjunto de Dados Usado para Testes

Usamos o conjunto de dados Crema-d para nossos experimentos. Esse conjunto é bacana pra SER porque inclui respostas de pessoas de diferentes idades e origens. Ele é equilibrado em termos de gênero e contém milhares de amostras de fala que mostram várias emoções: raiva, felicidade, tristeza, medo, nojo e neutralidade.

#A Abordagem de Modelagem

Para nossos experimentos, usamos uma abordagem de modelagem específica. Começamos com um modelo 1D-CNN em cima dos embeddings que obtivemos dos PTMs. Esse modelo ajuda a classificar emoções com base nas características extraídas. Usamos funções softmax no final do nosso modelo pra determinar as probabilidades de diferentes emoções. Para alguns experimentos, também combinamos embeddings de PTM com características MFCC pra ver se isso melhorava a precisão.

#Resultados Experimentais

Nosso principal objetivo era ver qual dos embeddings de PTM teria o melhor desempenho no SER. Treinamos e testamos cada modelo, comparando seu desempenho entre si. Os resultados iniciais mostraram que o melhor foi o modelo usando embeddings x-vector. Ele alcançou uma pontuação de precisão de 68,19%. Isso reforça nossa ideia de que modelos treinados especificamente pra reconhecer falantes conseguem usar seu entendimento de várias características da fala.

Ao combinar embeddings de PTM com MFCC, encontramos que a maioria dos modelos melhorou seu desempenho, exceto o Unispeech-SAT. Outro achado notável foi que os resultados dos embeddings wav2vec 2.0 não foram significativamente melhores que os dos recursos MFCC básicos. Isso sugere que o wav2vec 2.0 pode não capturar as informações importantes necessárias para um SER eficaz.

Os testes adicionais que fizemos no Conjunto de Dados de Fala Emocional de Toronto (TESS) mostraram tendências semelhantes, com os embeddings x-vector novamente se saindo bem.

#Comparação com Métodos de Ponta

Pra contextualizar nossos achados, comparamos os resultados do nosso modelo com melhor desempenho (x-vector + MFCC) com modelos de ponta existentes. Descobrimos que, embora nosso modelo tenha menos parâmetros, ele consegue alcançar um desempenho comparável. A eficiência do nosso modelo o torna uma opção leve sem comprometer a precisão.

#Conclusão

Neste trabalho, realizamos uma análise detalhada de diferentes embeddings de PTM pra reconhecer emoções na fala. Os embeddings x-vector se destacaram como os mais eficazes. Ao combinar x-vector com MFCC, desenvolvemos um modelo leve e eficiente pra SER, que teve desempenho semelhante a abordagens mais complexas.

Nossos achados podem guiar pesquisas futuras em SER, ajudando a identificar embeddings adequados pra um reconhecimento de emoções na fala mais eficaz. Este trabalho ilustra o valor de explorar diferentes embeddings de PTM, especialmente aqueles ajustados para reconhecimento de falantes, e como eles podem aumentar a compreensão das emoções humanas na fala.