MoMo: Um Novo Método para Interpolação de Quadros de Vídeo

A Interpolação de Quadros de Vídeo (VFI) é um processo na visão computacional que se concentra em criar novos quadros que se encaixam entre quadros existentes em um vídeo. Essa técnica faz os vídeos parecerem mais suaves e melhora a qualidade geral deles. Tem usos importantes, como criar vídeos em câmera lenta, comprimir arquivos de vídeo, produzir animações e gerar novas visões de uma cena. O principal objetivo do VFI é melhorar a suavidade do movimento e a nitidez da imagem.

No VFI, o movimento é tipicamente representado por fluxos ópticos, que descrevem como os pixels se movem entre os quadros. Avanços recentes na estimativa de Fluxo Óptico melhoraram bastante a qualidade do VFI. No entanto, muitos métodos existentes dependem de perdas de reconstrução baseadas em pixels, que muitas vezes geram altas pontuações em métricas tradicionais, mas resultam em uma saída visualmente insatisfatória. Para resolver esse problema, pesquisadores começaram a explorar espaços de características profundas, que se alinham melhor com o julgamento humano da qualidade visual.

#Nossa Abordagem

Apresentamos um novo método, chamado MoMo, que enfatiza a modelagem correta dos movimentos entre os quadros em vez de gerar diretamente os dados dos pixels. O MoMo usa um modelo de difusão para produzir mapas de fluxo óptico que capturam o movimento necessário para sintetizar o quadro alvo. Esta é a primeira vez que a modelagem generativa é aplicada ao movimento no VFI.

Nosso método consiste em duas etapas principais de treinamento. Na primeira etapa, treinamos um modelo de síntese de quadros para gerar quadros intermediários usando pares de entrada e seus correspondentes fluxos ópticos. Na segunda etapa, ajustamos um Modelo de Difusão de Movimento que prevê mapas de fluxo bidirecionais necessários para a síntese dos quadros. Durante o processo de inferência, esse modelo gera os fluxos necessários para a rede de síntese produzir o quadro interpolado final.

As vantagens dessa abordagem são duplas: melhora a qualidade visual ao focar na geração de movimento intermediário e reduz os custos computacionais associados à modelagem complexa de espaço de pixels.

#Trabalhos Relacionados

Nos últimos anos, métodos baseados em fluxo óptico para VFI ganharam popularidade devido à sua capacidade de estimar o movimento de forma mais precisa. A maioria desses métodos segue um processo em duas etapas: estimando fluxos a partir de quadros de entrada e, em seguida, mesclando as imagens deformadas para criar o quadro alvo. Várias técnicas, incluindo deformação para frente e para trás, foram exploradas para melhorar a precisão da estimativa de fluxo.

Outras abordagens visam melhorar a Qualidade Perceptual utilizando modelos generativos. Embora esses modelos tenham se mostrado eficazes em várias tarefas de restauração, muitas vezes se concentram na modelagem de pixels ou espaço latente, o que pode ser computacionalmente caro e não presta atenção especial ao movimento.

Nosso trabalho se afasta dessa tendência ao abordar diretamente a modelagem de movimento intermediário usando um modelo de difusão de movimento, resultando em qualidade perceptual melhorada e demandas computacionais reduzidas.

#Visão Geral do Método

O MoMo foca em dois componentes principais do VFI: modelagem de movimento e síntese de quadros. A estrutura geral opera em duas etapas.

#Etapa 1: Síntese de Quadros e Estimativa de Fluxo Óptico

Na primeira etapa de treinamento, criamos uma rede de síntese de quadros que sintetiza um quadro alvo a partir de quadros vizinhos e seus correspondentes fluxos ópticos. Usamos um modelo de fluxo óptico pré-treinado para obter fluxos bidirecionais do quadro alvo para os quadros de entrada.

Uma vez que o modelo de síntese é treinado, refinamos o estimador de fluxo óptico para melhor precisão. Este modelo ajustado atua como um professor para a próxima etapa do treinamento.

#Etapa 2: Modelo de Difusão de Movimento

A segunda etapa foca em usar o estimador de fluxo óptico refinado para treinar o modelo de difusão de movimento. Este modelo é responsável por gerar mapas de fluxo bidirecionais que capturam o movimento necessário entre os quadros. Ao minimizar o erro entre os fluxos estimados e os fluxos sintetizados, o modelo de difusão de movimento aprende a produzir fluxos ópticos de alta qualidade.

Durante a inferência, o modelo de difusão de movimento gera os campos de fluxo necessários com base nos quadros de entrada. Isso permite que a rede de síntese de quadros produza quadros interpolados finais de alta qualidade.

#Detalhes Técnicos

#Arquitetura do Modelo de Difusão de Movimento

Nosso modelo de difusão de movimento é projetado cuidadosamente para aprender fluxos ópticos de forma eficiente. Evitamos usar processamento em resolução total, o que adicionaria uma carga computacional desnecessária. Em vez disso, estimamos fluxos em uma escala reduzida e depois os aumentamos para a resolução original.

Aplicando uma estratégia de grosso para fino, primeiro prevemos fluxos em resoluções mais baixas, o que permite um aprendizado mais eficiente dos padrões de fluxo. Após prever os fluxos grosseiros, usamos um mecanismo de aumento convexo para refinar esses fluxos para a resolução original.

#Subamostragem de Entrada e Aumento Convexo

Para garantir um processamento eficiente, nós subamostramos as entradas antes de alimentá-las no modelo de difusão de movimento. Isso nos permite lidar com os mapas de fluxo sem custos computacionais excessivos. O método de subamostragem aplica diferentes camadas aos quadros e fluxos ruidosos, resultando, em última análise, em uma representação de características unificada.

Após a estimativa inicial de fluxo, aplicamos o mecanismo de aumento convexo. Essa etapa de aumento combina as estimativas de fluxo grosseiro com valores de pixels vizinhos para criar um mapa de fluxo refinado na resolução original. Esse procedimento mantém correlações locais e fornece uma melhor qualidade dos fluxos ópticos.

#Experimentos

#Detalhes de Implementação

Treinamos nosso modelo usando o conjunto de dados Vimeo90k, que consiste em vários tripletos projetados para tarefas de VFI. Durante o treinamento, aplicamos várias ampliações, como cortes e rotações aleatórias, para aumentar a robustez do nosso modelo.

Para avaliar o desempenho, realizamos experimentos em múltiplos benchmarks de VFI, incluindo SNU-FILM, Middlebury e Xiph. Esses conjuntos de dados foram selecionados devido aos seus padrões de movimento diversos e cenários desafiadores.

#Métricas de Avaliação

Para avaliação, utilizamos métricas perceptuais como LPIPS e DISTS. Métricas tradicionais como PSNR e SSIM são menos eficazes para avaliar a percepção humana da qualidade visual, pois tendem a favorecer resultados embaçados. Portanto, priorizamos métricas que refletem melhor a qualidade perceptual.

#Resultados Quantitativos

Nossos experimentos demonstram que o MoMo alcança desempenho de ponta em vários benchmarks. Notavelmente, superamos outros métodos em ambas as métricas LPIPS e DISTS nos subconjuntos SNU-FILM. Isso indica que nossa abordagem melhora efetivamente a qualidade visual enquanto mantém tempos de processamento rápidos.

#Resultados Qualitativos

Além das métricas quantitativas, também realizamos avaliações qualitativas. Nossos resultados mostram que o MoMo produz intercalações de quadros visualmente atraentes com menos artefatos em comparação com métodos de ponta. A qualidade visual dos nossos quadros sintetizados se destaca, confirmando a eficácia da nossa abordagem.

#Estudos de Ablation

Realizamos estudos de ablação para entender os efeitos das nossas escolhas de design. Esses estudos envolvem variação de aspectos como o modelo de fluxo professor, o número de etapas de remoção de ruído e a arquitetura geral do nosso modelo de difusão de movimento.

Através desses estudos, descobrimos que ajustar o modelo de fluxo óptico após treinar o modelo de síntese leva ao melhor desempenho. Também determinamos que cerca de oito etapas de remoção de ruído geram os melhores resultados para a geração de movimento, demonstrando a eficiência do nosso modelo em comparação com outros que requerem muitas mais etapas.

#Conclusão

Em conclusão, apresentamos o MoMo, uma nova estrutura para interpolação de quadros de vídeo que enfatiza a modelagem de movimentos intermediários. Nossa abordagem alcança resultados impressionantes em termos de qualidade perceptual e eficiência computacional. Ao focar na geração de fluxos ópticos, superamos efetivamente as limitações dos métodos tradicionais baseados em pixels.

Nossos extensos experimentos validam as vantagens do MoMo, demonstrando sua capacidade de produzir consistentemente quadros interpolados de alta qualidade em diferentes benchmarks. Acreditamos que nossa abordagem pode avançar significativamente o campo da interpolação de quadros de vídeo e abrir novas avenidas para pesquisa e aplicação.