Avanços na Avaliação da Qualidade de Fala

Nos últimos anos, avaliar a qualidade da fala sintética, como a produzida por sistemas de texto-para-fala, virou uma área de pesquisa bem importante. A necessidade de avaliações precisas tá aumentando à medida que a qualidade das vozes sintéticas continua a melhorar. Uma forma comum de avaliar a qualidade da fala é através de um método chamado teste de pontuação média de opinião (MOS). Nesses testes, ouvintes humanos avaliam a naturalidade da fala numa escala. Mas, fazer esses testes é demorado e caro. Por isso, desenvolver sistemas automáticos que consigam prever essas pontuações é muito valioso.

#Nossa Abordagem

A gente desenvolveu um sistema especialmente projetado pro VoiceMOS Challenge 2024, que focou em prever pontuações de naturalidade pra fala sintética de alta qualidade. Nosso sistema usa dois tipos de características: as baseadas em sinais de fala e as baseadas em imagens de Espectrogramas de fala, que são representações visuais das frequências na fala ao longo do tempo. Treinando nosso sistema com modelos que já aprenderam com grandes quantidades de dados, conseguimos prever as pontuações MOS com mais precisão.

#O Desafio

O VoiceMOS Challenge exigiu que os participantes lidassem com um problema conhecido como viés de equalização de faixa. Isso acontece quando os ouvintes tendem a usar toda a gama de opções de pontuação disponíveis, independentemente da qualidade real das amostras de fala que estão sendo avaliadas. Como resultado, amostras de fala podem receber pontuações diferentes dependendo das condições do teste, dificultando uma comparação justa dos resultados.

#Processo de Treinamento

Pra construir nosso sistema, no começo a gente treinou dois modelos separados pra prever as pontuações MOS usando diferentes características. Um modelo focou só nas características da fala geradas por uma abordagem de Aprendizado Auto-Supervisionado, enquanto o outro usou características extraídas dos espectrogramas. Depois de treinar esses modelos separadamente, a gente os aprimorou juntos pra aumentar a precisão.

Nossos esforços valeram a pena, pois conseguimos resultados impressionantes no desafio. Ficamos na primeira posição em sete das dezesseis métricas de avaliação e em segundo nas nove restantes.

#Coleta de Dados

Como não foi fornecido nenhum dado de treinamento oficial para o desafio, a gente coletou vários conjuntos de dados MOS disponíveis publicamente pra treinar nossos modelos. Isso incluiu dados de diferentes desafios e testes de síntese de fala, o que nos permitiu criar um sistema de previsão mais robusto.

#Extração de Características

Pra extrair características significativas dos sinais de fala, usamos dois métodos principais:

1. Extração de Características de Espectrograma: Convertendo os sinais de áudio em vários mel-espectrogramas com configurações diferentes pra capturar várias características. Cada espectrograma foi tratado como uma imagem e processado por uma rede neural convolucional treinada em dados de imagem. Essa abordagem permitiu que a gente aproveitasse os avanços em visão computacional pra análise de áudio.

2. Extração de Características de Aprendizado Auto-Supervisionado (SSL): A gente também usou um modelo SSL pré-treinado, que extrai características das formas de onda de fala brutas. O modelo SSL captura detalhes intrincados dos sinais de fala, fornecendo uma camada extra de informação pras nossas previsões.

#Fusão de Características

Depois de obter as características de ambos os métodos, a gente as fundiu pra criar uma entrada combinada pra previsão MOS. Esse processo de fusão permitiu que nosso sistema obtivesse insights tanto de representações de fala quanto visuais, melhorando a precisão geral da previsão.

#Aprendizado de Múltiplas Etapas

Pra melhorar ainda mais nosso sistema, implementamos uma abordagem de aprendizado de múltiplas etapas. Em vez de treinar todas as partes do modelo ao mesmo tempo, a gente focou primeiro em treinar os extratores de características separadamente. Depois que eles estavam bem treinados, a gente afinou o modelo combinado. Essa estratégia ajudou a preservar o conhecimento aprendido enquanto adaptava o sistema pro trabalho específico de previsão MOS.

#Métricas de Avaliação

A gente avaliou nosso modelo usando várias métricas que ajudam a medir seu desempenho na previsão das pontuações MOS. Isso inclui erro médio quadrático, coeficientes de correlação e pontuações de correlação de classificação. Comparamos nosso sistema com modelos de referência pra garantir que ele se saísse melhor na previsão da naturalidade da fala sintética.

#Resultados

O desempenho do nosso sistema demonstrou uma forte capacidade de prever pontuações MOS pra fala sintética. Em vários testes que simularam diferentes taxas de aproximação-representando o quão focadas estavam as avaliações nos sistemas que mais se destacaram-nosso modelo consistentemente se saiu bem. A combinação de características e os métodos de treinamento cuidadosos contribuíram pra alcançar uma boa colocação na competição.

#Importância dos Dados

A qualidade e a variedade de dados usados no treinamento tiveram um papel significativo no desempenho do nosso sistema de previsão MOS. Nossos experimentos mostraram que ter acesso a conjuntos de dados variados melhorou a capacidade de previsão. Mas também foi essencial evitar treinar em conjuntos de dados que incluíssem amostras de baixa qualidade, pois isso poderia impactar negativamente as previsões do sistema.

#Desafios Enfrentados

Durante o processo de desenvolvimento e avaliação, a gente encontrou vários desafios. Um problema grande foi lidar com o viés de equalização de faixa nos testes MOS, que poderia confundir as previsões se não fosse abordado corretamente. Nosso sistema tentou mitigar esse problema selecionando cuidadosamente os dados de treinamento e incorporando técnicas que ajudam a manter a integridade das avaliações.

#Trabalho Futuro

Embora nosso sistema tenha tido sucesso significativo no VoiceMOS Challenge, ainda há espaço pra melhorias. Os próximos esforços vão focar não só em prever a naturalidade da fala sintética, mas também em outros aspectos, como expressão emocional e prosódia. Expandindo o escopo do nosso modelo, a gente espera criar uma ferramenta de avaliação mais abrangente pra fala sintética.

#Conclusão

Resumindo, a gente desenvolveu um sistema automatizado pra prever a naturalidade da fala sintética que aproveita técnicas avançadas de aprendizado de máquina. Nossa abordagem combinou características de sinais de fala e espectrogramas visuais, abordou cuidadosamente os viéses nas avaliações de fala e utilizou conjuntos de dados diversos pro treinamento. Os resultados da nossa participação no VoiceMOS Challenge mostraram a eficácia dos nossos métodos e destacam o potencial da avaliação automática de qualidade na área de fala sintética.

Nosso trabalho abre caminho pra futuros avanços e melhorias nas avaliações automáticas da qualidade da fala, ressaltando a importância da precisão e confiabilidade na avaliação de vozes sintéticas. Os insights obtidos da nossa pesquisa vão contribuir pra refinar e melhorar as tecnologias de texto-para-fala, tornando-as ainda mais realistas e eficazes.