Avanzamenti nell'imaging iperspettrale per la chirurgia

L'Imaging iperspettrale è una tecnica che cattura immagini attraverso diverse lunghezze d'onda della luce. Questo metodo fornisce informazioni dettagliate sui tessuti biologici, aiutando a differenziare vari tipi di tessuti che potrebbero non essere visibili ad occhio nudo. In contesti chirurgici, usare questa tecnologia può migliorare notevolmente la guida durante le operazioni, offrendo dati in tempo reale.

Le telecamere iperspettrali a mosaico snapshot sono riconosciute come strumenti ideali per l'imaging chirurgico. Possono catturare rapidamente dati spettrali, essenziali durante l'intervento. Tuttavia, per usare queste immagini in modo efficace, serve un algoritmo di demosaicking. Questo algoritmo ripristina i dettagli spaziali e spettrali nelle immagini catturate.

Tradizionalmente, la creazione di questi algoritmi si è basata su metodi di apprendimento supervisionato utilizzando dataset sintetici. Questi metodi affrontano sfide perché catturare sia immagini spettrali ad alta risoluzione che immagini snapshot della stessa scena chirurgica è praticamente impossibile. Per affrontare questo problema, è stato sviluppato un nuovo metodo di demosaicking auto-supervisionato e ricostruzione RGB. Questo nuovo approccio non dipende dall'avere dati ad alta risoluzione abbinati. Invece, usa immagini standard ad alta risoluzione da microscopi chirurgici, che forniscono dati RGB raccolti durante interventi di routine.

#L'importanza del Demosaicking

Il demosaicking è fondamentale nell'imaging iperspettrale. Ricostruisce l'immagine a colori completa dall'immagine a mosaico catturata. La sfida sorge perché l'imaging a mosaico snapshot sacrifica un po' di risoluzione spaziale e dettaglio spettrale per ottenere un'acquisizione dati rapida.

Le tecniche attuali di demosaicking si basano di solito su interpolazione o ottimizzazione del modello, ma questi metodi non funzionano bene come i metodi basati su apprendimento profondo. L'apprendimento profondo ha mostrato buoni risultati per problemi simili come la super-risoluzione di immagini singole. Tuttavia, la maggior parte dei metodi basati su apprendimento esistenti richiede immagini snapshot sintetiche abbinate a immagini ricostruite ideali per creare dataset per l’addestramento. Questo porta a uno squilibrio perché le immagini sintetiche spesso non rappresentano la complessità del mondo reale.

#Apprendimento Auto-Supervisionato per Demosaicking

In ricerche recenti, è stato adottato un approccio diverso. I ricercatori hanno inquadrato il processo di demosaicking come un problema complesso e hanno creato un metodo di apprendimento auto-supervisionato che utilizza solo i dati a mosaico snapshot. Questo metodo promuove la correlazione cross-band e migliora i dettagli dell'immagine.

Tuttavia, le reti originali hanno affrontato problemi con artefatti che apparivano periodicamente a causa dell'overfitting. Lavori precedenti hanno introdotto tecniche di regolarizzazione per affrontare questo, ma sono emersi compromessi tra nitidezza e morbidezza dell'immagine. Le Reti Adversariali Generative (GAN) offrono una soluzione promettente. Possono essere addestrate con immagini non abbinate e sono risultate efficaci in compiti come la super-risoluzione di immagini e il debayering.

#Integrazione di Immagini RGB nel Demosaicking

In questo lavoro, le immagini RGB raccolte da microscopi chirurgici vengono utilizzate per migliorare il demosaicking delle immagini iperspettrali. La conversione delle immagini iperspettrali in RGB è un processo ben compreso, di cui si parlerà ulteriormente nel testo. Queste immagini RGB possono aiutare a guidare il processo di demosaicking, permettendo migliori dettagli spaziali e accuratezza cromatica.

#Metodologia Proposta

Il metodo proposto ruota attorno a un algoritmo in tempo reale che migliora la qualità delle immagini iperspettrali ricostruite. Ci sono tre principali contributi in questo lavoro:

1. È stato introdotto un ciclo-consistente loss avversariale per utilizzare immagini RGB ad alta risoluzione per migliorare i dettagli e ridurre gli artefatti nelle immagini ricostruite.

2. Un semplice modello di rete neurale sostituisce le conversioni tradizionali basate sulla fisica da iperspettrale a RGB, il che aiuta a ottenere una migliore accuratezza dei colori e a rendere le visualizzazioni più simili alle immagini da microscopio chirurgico.

3. È stato aggiunto un termine di loss di inverse pixel shuffle per ridurre efficacemente gli artefatti periodici presenti nei metodi precedenti, preservando i dettagli spaziali locali.

La valutazione di questo metodo è stata effettuata quantitativamente e qualitativamente. I risultati indicano un grande potenziale per integrare questa tecnica nei sistemi chirurgici in tempo reale, migliorando i flussi di lavoro clinici.

#Il Processo di Demosaicking

L'algoritmo di demosaicking inizia con un'interpolazione bilineare applicata all'immagine a mosaico snapshot in input. Questo passaggio mira a recuperare una griglia spaziale e spettrale completamente campionata. Poi, l'immagine interpolata serve come input per la rete di demosaicking, che genera l'immagine iperspettrale rifinita.

Molte tecniche di deep learning adatte per la super-risoluzione di immagini e il demosaicking possono essere adattate per questo compito. È stato scelto un modello Res2-Unet modificato per le sue performance impressionanti in sfide passate.

#Allenamento Avversariale Ciclico Consistente

Il modello proposto utilizza un design ciclico-consistente. La rete generatrice viene addestrata per creare immagini che imitano quelle da microscopio chirurgico. Viene utilizzato anche un discriminatore per valutare sia le immagini generate che quelle reali, contribuendo a migliorare l’autenticità dei risultati.

Per garantire che le immagini generate dalla ricostruzione RGB rimangano coerenti con le immagini iperspettrali originali, un modello di recupero spettrale converte le immagini RGB indietro in immagini iperspettrali. Viene poi introdotto una funzione di loss per mantenere la coerenza durante il processo.

#Conversione tra Immagini Iperspettrali e RGB

Il metodo tradizionale per convertire le immagini iperspettrali in RGB include una funzione di corrispondenza dei colori che mappa i dati spettrali a uno specifico spazio colore. Questo metodo può a volte fallire nel rappresentare accuratamente l'output visivo desiderato, in particolare nello spettro rosso, che è spesso prominente nelle immagini neurochirurgiche.

Per superare le limitazioni del metodo tradizionale, viene utilizzato un modello di perceptron multilivello (MLP). Questo modello amplia la firma spettrale a ogni pixel assicurando che i dettagli spaziali non vengano modificati.

Anche se convertire le immagini RGB indietro in immagini iperspettrali rimane complesso, numerosi ricercatori hanno compiuto progressi nel raggiungere un migliore recupero spettrale. In questo lavoro, è stata adottata una Rete di Attenzione Ponderata Adattiva (AWAN) per catturare meglio le relazioni tra le caratteristiche durante il processo di recupero spettrale.

#Affrontare gli Artefatti con l'Inverse Pixel Shuffle Loss

Le reti sviluppate per il demosaicking iperspettrale spesso incontrano artefatti periodici. Per combattere questo problema, l'approccio Inverse Pixel Shuffle (IPS) riorganizza le immagini a bande in sotto-immagini. La varianza nelle statistiche globali è poi utilizzata come metrica per minimizzare questi artefatti.

La funzione di loss IPS viene retropropagata durante l'allenamento, assicurando così la coerenza nelle statistiche di tutte le sotto-immagini mentre si migliora i dettagli locali.

#Esperimenti e Risultati

I dati per lo studio sono stati raccolti da pazienti sottoposti a neurochirurgia. Un totale di 210 frame di immagini a mosaico snapshot sono stati selezionati manualmente per lo studio. Un numero significativo di queste immagini è stato utilizzato per l'addestramento, mentre altre sono state riservate per la validazione e i test. Immagini RGB ad alta risoluzione sono state anche selezionate manualmente per il confronto, fornendo un robusto dataset per la valutazione.

#Dettagli dell'Allenamento

L'addestramento con le Reti Adversariali Generative può essere instabile. Di conseguenza, un'attenta inizializzazione è essenziale. Inizialmente, i dati di allenamento vengono elaborati per creare coppie di immagini iperspettrali e RGB abbinate, che sono vitali per il pre-allenamento di alcuni modelli.

I modelli pre-allenati vengono poi affinati per migliorare le prestazioni attraverso le varie reti coinvolte nel processo di demosaicking.

#Valutazione Quantitativa dei Risultati

Per valutare l'efficacia dei metodi proposti, sono state effettuate comparazioni quantitative rispetto a tecniche di demosaicking esistenti che non si basano su dati iperspettrali ad alta risoluzione. Sono state calcolate varie metriche, come il punteggio BRISQUE e il punteggio Fréchet Inception Distance (FID), per valutare la qualità dei risultati.

I risultati rivelano che l'algoritmo proposto supera significativamente gli altri nel raggiungere migliori visualizzazioni RGB di qualità, con un punteggio BRISQUE notevolmente migliorato.

#Studio Utente e Feedback

È stato condotto uno studio qualitativo coinvolgendo esperti neurochirurgici. I partecipanti sono stati incaricati di confrontare immagini generate da diversi metodi. I risultati hanno mostrato una chiara preferenza per il metodo proposto, indicando la sua efficacia nelle applicazioni reali.

I partecipanti hanno evidenziato una maggiore accuratezza dei colori e una qualità complessiva delle visualizzazioni prodotte dal modello proposto.

#Conclusione

L'approccio basato su GAN introdotto per l'imaging iperspettrale nelle applicazioni mediche dimostra un significativo progresso. Non richiedendo dati iperspettrali ad alta risoluzione, che sono difficili da ottenere in contesti chirurgici, il metodo si basa su immagini RGB disponibili per migliorare le ricostruzioni.

La combinazione di loss IPS e addestramento avversariale ciclico ha notevolmente migliorato i risultati. Anche la visualizzazione RGB è stata affinata, fornendo immagini utilizzabili per la guida chirurgica.

Con valutazioni quantitative e qualitative solide che supportano le sue prestazioni, questo approccio mostra un grande potenziale per l'integrazione in tempo reale nei contesti chirurgici. I feedback positivi degli esperti neurochirurgici sottolineano il suo impatto potenziale nella pratica clinica.