Avanço na Geração de Covers de Piano através de Técnicas de AMT

O piano é um instrumento querido por muitas pessoas. A galera toca por diversão, cria músicas ou escuta suas canções favoritas. Quando alguém quer tocar uma música no piano, precisa criar uma versão daquela música especificamente para o piano. Esse processo envolve ouvir a música original com atenção, reconhecer sua melodia e acordes, e então escrever de um jeito que possa ser tocado no piano. Infelizmente, nem todo mundo tem o treinamento musical ou as habilidades necessárias para fazer isso facilmente.

Recentemente, os avanços na tecnologia, especialmente em ciência da computação, tornaram possível automatizar tarefas que antes eram bem difíceis. Uma dessas tarefas é a criação de covers para piano. Embora existam alguns sistemas que podem gerar versões automáticas de músicas para piano, eles ainda têm limitações. Esses sistemas podem não soar muito expressivos ou podem não se aproximar tanto da música original.

Para melhorar essa situação, desenvolvemos um novo método que aproveita a tecnologia existente usada para transcrição musical automática (AMT). AMT é uma técnica que converte gravações de áudio em uma forma escrita, reconhecendo as notas que estão sendo tocadas. Nosso novo método, chamado AMT-APC, combina os pontos fortes dos modelos AMT com a geração automática de covers de piano para criar covers melhores. Os resultados iniciais mostram que nosso método pode produzir covers que soam mais como as faixas originais do que os modelos anteriores.

#Contexto

#Transcrição Musical Automática

Transcrição musical automática (AMT) é sobre descobrir quais notas estão sendo tocadas em uma peça musical só ouvindo uma gravação de áudio. Envolve prever quando as notas começam (chamados de onset) e quanto tempo duram. Muitos sistemas AMT usam um formato que se parece com um rolo de piano, o que ajuda a visualizar e prever as notas com precisão.

#Cover de Piano Automático

Uma cover de piano automático refere-se à criação de uma versão de uma música para piano a partir de uma gravação de áudio. Existem diferentes abordagens para fazer isso. Um desses métodos envolveu treinar um modelo com pares de músicas originais e suas covers correspondentes. No entanto, alguns métodos têm limitações. Por exemplo, alguns sistemas só conseguem lidar com ritmos simples, enquanto outros podem não considerar todos os detalhes necessários para uma cover de piano rica.

O desafio está em equilibrar a representação das informações musicais essenciais e capturar os detalhes mais sutis que tornam uma cover de piano prazerosa e realista.

#Metodologia

Nossa abordagem é baseada em um algoritmo de aprendizado chamado AMT-APC. Esse método se baseia em modelos de transcrição musical automática existentes para melhorar a qualidade da geração de covers de piano. O primeiro passo da nossa abordagem é pré-treinar um modelo usando técnicas AMT. Isso prepara o modelo para reconhecer e reproduzir com precisão os sons das faixas musicais originais.

Uma vez que temos essa base, ajustamos o modelo especificamente para gerar covers de piano. A ideia é usar as forças do modelo AMT para reproduzir melhor o som e a sensação da música original ao criar covers de piano.

#Escolhendo o Modelo AMT Certo

Escolhemos um modelo AMT bem pesquisado chamado HFT-Transformer como base para nosso trabalho. Esse modelo mostrou um desempenho impressionante em tarefas de transcrição de música. Diferente de outros modelos que podem olhar apenas para dimensões únicas de dados, o hFT-Transformer utiliza um formato bidimensional, permitindo que capture detalhes mais intrincados.

O hFT-Transformer processa áudio em pequenas seções, permitindo que lide efetivamente com peças musicais mais longas. Para adaptá-lo para covers de piano, fizemos alguns ajustes, como aumentar o comprimento dos segmentos de áudio que ele processa de uma só vez.

#Vetor de Estilo

Estilos diferentes podem mudar como uma cover de piano soa para a mesma música. Para representar essas variações, desenvolvemos o que chamamos de vetor de estilo. Esse vetor captura diferentes características relacionadas a como a cover de piano deve soar, como quantas notas são tocadas e seus níveis de volume. Usando Vetores de Estilo contínuos em vez de IDs fixos, nosso modelo pode aprender a expressar uma gama mais ampla de estilos musicais.

O vetor de estilo é criado analisando três aspectos de uma cover de piano: a taxa em que as notas começam, os níveis de volume dessas notas e os tipos de alturas utilizadas. Essas características são combinadas para formar um único vetor que o modelo pode usar junto com o áudio original ao gerar uma cover de piano.

#Ajustando o Modelo

Uma vez que temos nosso modelo preparado e o vetor de estilo definido, seguimos com o ajuste fino. Essa etapa envolve treinar o modelo especificamente para criar covers de piano com base nos dados coletados. Durante esse treinamento, focamos nos elementos mais importantes da música para garantir um aprendizado eficiente. Ao enfatizar características-chave nos dados, podemos melhorar a capacidade do modelo de gerar melhores covers de piano.

#Experimentos

Para avaliar nosso modelo, criamos um conjunto de dados que emparelha músicas originais com suas covers de piano. Pegamos músicas de plataformas populares e garantimos que a qualidade das covers fosse adequada para nossas necessidades. Depois de filtrar os dados, acabamos com uma coleção substancial para trabalhar.

Enquanto treinávamos o modelo, monitoramos seu desempenho em um conjunto separado de músicas que não foi usado durante o treinamento. Avaliamos quão bem o modelo poderia recriar as músicas originais observando várias métricas que medem precisão e eficácia.

#Resultados

Geramos covers de piano para várias faixas originais e comparamos os resultados com modelos anteriores. Nosso método produziu covers que se ajustaram mais às músicas originais. A avaliação mostrou que nosso modelo se saiu melhor que outros em termos de reproduzir a música original com precisão.

#Influência do Vetor de Estilo

Nossas investigações mostraram que incluir o vetor de estilo teve um impacto notável no resultado final. Quando geramos covers com diferentes vetores de estilo, ficou claro que as covers resultantes variavam significativamente. Por exemplo, uma cover pode ser calma, enquanto outra pode ser mais intensa, demonstrando que nosso modelo poderia adaptar seu desempenho com base no estilo fornecido.

#Discussões

Nossos achados sugerem que usar a etapa de pré-treinamento AMT beneficiou muito o processo de aprendizado para gerar covers de piano. Os resultados indicaram que, mesmo sem um ajuste específico para covers de piano, o modelo AMT era capaz de gerar saídas razoáveis. Isso indicou a semelhança entre as tarefas de transcrição musical e criação de covers de piano.

No entanto, também notamos limitações em nossa abordagem. Embora o vetor de estilo tenha ajudado, ele não capturou todos os elementos essenciais para manter um som consistente ao longo de toda a peça. Alguns detalhes, como padrões de acompanhamento e ornamentações sutis, não foram totalmente representados, levando a algumas inconsistências.

#Conclusão

O método AMT-APC que desenvolvemos mostra potencial em melhorar a geração de covers automáticas para piano. Ao aproveitar modelos existentes de transcrição musical, nossa abordagem permite reproduções mais precisas das faixas originais. Este trabalho destaca a relação próxima entre AMT e a geração de covers de piano e enfatiza a importância de se basear em pesquisas estabelecidas para melhorar os resultados nessa área. Pesquisas futuras devem se concentrar em refinar ainda mais esses modelos, buscando maneiras de capturar detalhes ainda mais ricos na criação de covers musicais.