Progressi nel trattamento delle immagini a campo luminoso

L'imaging Light Field (LF) è una tecnica che cattura la luce da varie direzioni in un'unica ripresa. Questa capacità consente applicazioni di visione artificiale migliori rispetto alle fotocamere tradizionali. La tecnologia LF ha un grande potenziale in aree come il riconoscimento dei materiali e la stima della profondità. Sono stati sviluppati molti dispositivi di cattura LF, ma fanno fatica a bilanciare risoluzione angolare e spaziale. Questo spesso porta a una diminuzione della risoluzione spaziale.

Per migliorare la qualità delle immagini LF, si utilizza la Super-Risoluzione delle Immagini Light Field (LFSR). LFSR mira ad aumentare la risoluzione spaziale mantenendo intatta la struttura di parallasse LF. Si basa su informazioni di correlazione, che i metodi tradizionali di super-risoluzione delle immagini singole non considerano. Con l'avvento del deep learning, in particolare delle reti neurali convoluzionali (CNN) e dei Transformers, ci sono stati progressi notevoli nel migliorare la qualità delle immagini ricostruite. I recenti modelli LFSR hanno iniziato a utilizzare i Transformers per identificare le relazioni all'interno delle immagini LF. Tuttavia, questi modelli affrontano due problemi principali: ridondanza computazionale e intreccio della disparità.

#Sfide nella Elaborazione delle Immagini Light Field

Nelle immagini LF, gran parte delle informazioni è ripetuta tra le immagini sub-aperture (SAI). Elaborare tutte le informazioni di correlazione tramite Transformers spesso porta a calcoli inutili, creando un modello troppo grande e poco pratico per un uso reale. L'intreccio della disparità è un altro problema che si verifica quando tutte le SAI vengono elaborate uniformemente. Questo approccio tende a trascurare le variazioni di disparità e le caratteristiche uniche delle informazioni rappresentate da ciascun intervallo di disparità. Questo problema peggiora quando i dati di addestramento non sono ben bilanciati, permettendo ad alcune disparità di offuscare altre e sopprimere informazioni importanti.

#Introduzione al Multi-scale Disparity Transformer (MDT)

Per affrontare queste sfide, proponiamo il Multi-scale Disparity Transformer (MDT), un nuovo design di Transformer mirato all'elaborazione delle immagini LF che gestisce efficacemente le informazioni di disparità a varie scale. L'MDT utilizza una struttura multi-branch, con ogni ramo che si concentra su intervalli di disparità specifici. All'interno di ciascun ramo, il calcolo chiave-query opera solo su un sottoinsieme selezionato di SAI, concentrandosi su un intervallo particolare. Allo stesso tempo, la matrice dei valori è preservata direttamente dall'input per mantenere intatte le informazioni originali. Questa struttura minimizza i calcoli inutili e chiarisce l'elaborazione delle disparità.

Con l'architettura MDT, introduciamo LF-MDTNet, una rete LFSR efficiente. Gli esperimenti mostrano che LF-MDTNet supera i metodi esistenti mentre riduce il numero di parametri e aumenta la velocità.

#Lavori Correlati

Elaborare i dati LF in modo efficiente ed efficace è sempre stata una sfida a causa della loro dimensione. Sono stati fatti diversi approcci per affrontare questa complessità. Sono emersi vari metodi per semplificare la gestione dei dati LF, tra cui filtri intercalati e convoluzioni separabili spaziali-angolari. I recenti progressi hanno ulteriormente raffinato questi approcci attraverso diversi sottospazi LF.

Recentemente, i Vision Transformers (ViTs) sono stati applicati all'elaborazione delle immagini, inclusa la LFSR. Alcuni modelli hanno utilizzato i Transformers per costruire dipendenze a lungo raggio all'interno del sottospazio spaziale. Tuttavia, molti di questi metodi elaborano ancora tutte le SAI in meccanismi di auto-attenzione, portando a problemi simili di ridondanza computazionale e intreccio della disparità.

#Metodologia

#Architettura della Rete

La LFSR serve a migliorare la risoluzione spaziale di un'immagine LF a bassa risoluzione per creare un'immagine LF ad alta risoluzione. Il processo prevede più fasi, tra cui l'estrazione di caratteristiche superficiali e profonde, seguita dalla ricostruzione dell'immagine. La fase iniziale utilizza strati di convoluzione per raccogliere caratteristiche di basso livello, mentre la fase di estrazione profonda raccoglie informazioni di correlazione complete per sviluppare una rappresentazione di alto livello. Infine, la fase di ricostruzione aggrega caratteristiche profonde e migliora la risoluzione spaziale tramite tecniche di upscaling.

#Blocchi di Correlazione

Il blocco di correlazione è composto da due Transformers specializzati: il Multi-scale Disparity Transformer, che elabora il dominio spaziale, e il Transformer angolare, che si concentra sul dominio angolare. Ogni modello identifica dipendenze a lungo raggio nei dati LF affrontando esigenze specifiche di ciascun sottospazio.

Il Transformer angolare utilizza un approccio Transformer vanilla per costruire dipendenze a lungo raggio nel sottospazio angolare. Per migliorare l'efficienza, le dimensioni di embedding vengono regolate per ridurre i tempi di calcolo mantenendo una rappresentazione compatta delle caratteristiche.

#Efficienza del Modello

Abbiamo valutato l'efficienza di LF-MDTNet confrontandola con i metodi leader. Il confronto si basa su metriche di prestazione come il numero di parametri, il tempo di inferenza e FLOPs (operazioni in virgola mobile). Remarkably, con una certa configurazione, LF-MDTNet ha superato tutti i concorrenti mantenendosi più piccolo e veloce.

#Analisi delle Prestazioni

#Confronto Quantitativo

Un'analisi dettagliata delle prestazioni di LF-MDTNet mostra che guida sia in scale che nella maggior parte dei dataset. In quasi tutti i casi, LF-MDTNet ha superato significativamente i suoi concorrenti. Questi risultati evidenziano l'efficacia del modello nella LFSR.

#Confronto Qualitativo

Le valutazioni visive dell'output di LF-MDTNet dimostrano la sua qualità di ricostruzione superiore. Il modello distingue chiaramente caratteristiche complesse e dettagli che altri faticano a catturare. Ad esempio, ricostruisce efficacemente bordi e dettagli fini in vari campioni, portando a immagini più nitide con migliori strutture di parallasse LF.

#Conclusione

In sintesi, LF-MDTNet rappresenta un avanzamento nella LFSR, affrontando le sfide della ridondanza computazionale e dell'intreccio della disparità. I risultati sperimentali confermano che LF-MDTNet supera i metodi attuali leader mentre è più efficiente in termini di risorse computazionali. I miglioramenti qualitativi nella nitidezza e nei dettagli delle immagini enfatizzano ulteriormente l'efficacia di questo modello e pongono le basi per future ricerche nell'elaborazione delle immagini LF.