Avanços em Processamento de Imagens de Campo de Luz

A imagem do Campo de Luz (LF) é uma técnica que captura a luz de várias direções em uma única foto. Essa habilidade permite melhores aplicações de visão computacional em comparação com câmeras tradicionais. A tecnologia LF tem um grande potencial em áreas como reconhecimento de materiais e estimativa de profundidade. Muitos dispositivos de captura LF foram desenvolvidos, mas eles enfrentam dificuldades em equilibrar resolução angular e espacial. Isso geralmente resulta em uma diminuição da resolução espacial.

Para melhorar a qualidade das imagens LF, usa-se a Super-Resolução de Imagens de Campo de Luz (LFSR). O LFSR visa aumentar a resolução espacial enquanto mantém a estrutura de paralaxe LF intacta. Ele se baseia em informações de correlação, que os métodos tradicionais de super-resolução de imagem única não consideram. Com o crescimento do aprendizado profundo, especialmente redes neurais convolucionais (CNNs) e Transformers, houve um progresso notável em melhorar a qualidade das imagens reconstruídas. Modelos recentes de LFSR começaram a usar Transformers para identificar relações dentro das imagens LF. No entanto, esses modelos enfrentam dois problemas principais: redundância computacional e entrelaçamento de disparidade.

#Desafios na Processamento de Imagens de Campo de Luz

Nas imagens LF, muitas informações se repetem nas imagens de sub-abertura (SAIs). Processar todas as informações de correlação através de Transformers muitas vezes resulta em cálculos desnecessários, levando a um modelo que é muito grande e impraticável para uso no mundo real. O entrelaçamento de disparidade é outro problema que ocorre quando todas as SAIs são processadas de forma uniforme. Essa abordagem tende a ignorar as variações na disparidade e as características únicas das informações representadas por cada faixa de disparidade. Esse problema se agrava quando os dados de treinamento não estão bem equilibrados, permitindo que algumas disparidades ofusquem outras e suprimam informações importantes.

#Apresentando o Transformer de Disparidade em Múltiplas Escalas (MDT)

Para enfrentar esses desafios, propomos o Transformer de Disparidade em Múltiplas Escalas (MDT), um novo design de Transformer voltado para o processamento de imagens LF que gerencia efetivamente as informações de disparidade em várias escalas. O MDT utiliza uma estrutura de múltiplas ramificações, com cada ramificação focando em faixas específicas de disparidade. Dentro de cada ramificação, o cálculo de chave-consulta opera apenas em um subconjunto selecionado de SAIs, concentrando-se em uma faixa particular. Ao mesmo tempo, a matriz de valor é preservada diretamente da entrada para manter as informações originais intactas. Essa estrutura minimiza cálculos desnecessários e esclarece o processamento das disparidades.

Baseando-se na arquitetura MDT, introduzimos a LF-MDTNet, uma rede LFSR eficiente. Experimentos mostram que a LF-MDTNet supera os principais métodos existentes, ao mesmo tempo em que reduz o número de parâmetros e aumenta a velocidade.

#Trabalhos Relacionados

Processar dados LF de maneira eficiente e eficaz sempre foi um desafio devido ao seu tamanho. Várias abordagens foram feitas para lidar com essa complexidade. Diversos métodos surgiram para simplificar o manuseio de dados LF, incluindo filtros intercalados e convoluções separáveis espaciais-angulares. Avanços recentes refinaram ainda mais essas abordagens em diferentes subespaços LF.

Recentemente, Transformers de Visão (ViTs) têm sido aplicados ao processamento de imagens, incluindo LFSR. Alguns modelos usaram Transformers para construir dependências de longo alcance dentro do subespaço espacial. No entanto, muitos desses métodos ainda processam todas as SAIs em mecanismos de autoatenção, levando a problemas similares de redundância computacional e entrelaçamento de disparidade.

#Metodologia

#Arquitetura da Rede

O LFSR serve para melhorar a resolução espacial de uma imagem LF de baixa resolução para criar uma imagem LF de alta resolução. O processo envolve várias etapas, incluindo extração de características rasas e profundas, seguida pela reconstrução da imagem. A etapa inicial usa camadas de convolução para reunir características de baixo nível, enquanto a etapa de extração profunda coleta informações de correlação abrangentes para desenvolver uma representação de alto nível. Finalmente, a etapa de reconstrução agrega características profundas e melhora a resolução espacial através de técnicas de aumento.

#Blocos de Correlação

O bloco de correlação consiste em dois Transformers especializados: o Transformer de Disparidade em Múltiplas Escalas, que processa o domínio espacial, e o Transformer angular, que foca no domínio angular. Cada modelo identifica dependências de longo alcance dentro dos dados LF enquanto aborda as necessidades específicas de cada subespaço.

O Transformer angular utiliza uma abordagem de Transformer simples para construir dependências de longo alcance no subespaço angular. Para melhorar a eficiência, as dimensões de incorporação são ajustadas para reduzir o tempo de computação, mantendo uma representação compacta das características.

#Eficiência do Modelo

Avaliar a eficiência da LF-MDTNet comparando-a com os principais métodos. A comparação foi baseada em métricas de desempenho, como número de parâmetros, tempo de inferência e FLOPs (operações de ponto flutuante). Notavelmente, com uma certa configuração, a LF-MDTNet superou todos os concorrentes enquanto sendo menor e mais rápida.

#Análise de Desempenho

#Comparação Quantitativa

Uma análise detalhada do desempenho da LF-MDTNet mostra que ela lidera em ambas as escalas e na maioria dos conjuntos de dados. Em quase todos os casos, a LF-MDTNet superou significativamente seus concorrentes. Esses resultados destacam a eficácia do modelo em LFSR.

#Comparação Qualitativa

Avaliações visuais da saída da LF-MDTNet demonstram sua qualidade de reconstrução superior. O modelo distingue claramente características complexas e detalhes que outros têm dificuldade em capturar. Por exemplo, ele reconstrói efetivamente bordas e detalhes finos em várias amostras, resultando em imagens mais nítidas com melhores estruturas de paralaxe LF.

#Conclusão

Resumindo, a LF-MDTNet representa um avanço em LFSR, abordando os desafios da redundância computacional e do entrelaçamento de disparidade. Os resultados experimentais confirmam que a LF-MDTNet supera os métodos líderes atuais enquanto é mais eficiente em termos de recursos computacionais. As melhorias qualitativas na nitidez e nos detalhes das imagens enfatizam ainda mais a eficácia deste modelo e estabelecem uma base para futuras pesquisas no processamento de imagens LF.