Migliorare la ricostruzione delle immagini 3D con una funzione di perdita topologica

Ricostruire immagini 3D da singole fette 2D è un compito difficile nella visione artificiale. Questa sfida diventa ancora più complicata quando i dati disponibili sono limitati. I modelli di deep learning tradizionali di solito si concentrano sulla minimizzazione delle funzioni di perdita geometrica, il che porta spesso a risultati scadenti perché trascurano la struttura della forma.

In questo contesto, introduciamo un nuovo metodo che utilizza una speciale Funzione di perdita topologica, derivata dalla Trasformata della Caratteristica di Euler. Questa funzione di perdita può supportare l’addestramento di qualsiasi rete neurale, contribuendo a migliorare la qualità delle ricostruzioni 3D quando i dati scarseggiano. Incorporiamo questa nuova perdita in un modello esistente chiamato ShaPR e valutiamo le sue prestazioni su dataset ben noti che coinvolgono globuli rossi e nuclei.

#Sfondo

Gli esseri umani possono creare facilmente forme 3D da immagini 2D usando la conoscenza delle esperienze passate riguardo le forme degli oggetti. Al contrario, i computer affrontano difficoltà con questo processo, soprattutto quando si tratta di singole immagini, poiché numerose forme 3D possono corrispondere alla stessa input 2D.

Molti tentativi precedenti di affrontare questo problema si sono basati pesantemente su grandi dataset o modelli 3D sintetici. Sfortunatamente, nel campo biomedico, grandi dataset etichettati non sono facilmente disponibili e possono essere costosi da produrre. I dataset esistenti sono spesso significativamente più piccoli rispetto a quelli trovati in altre aree. Pertanto, il nostro approccio cerca di migliorare le prestazioni della ricostruzione delle immagini senza fare affidamento su queste grandi collezioni di dati o modelli 3D complessi. Invece, applichiamo una speciale tecnica di regolarizzazione basata su proprietà topologiche durante il processo di ottimizzazione.

#Approcci Precedenti

I metodi comuni generalmente ottimizzano funzioni di perdita geometrica basate su singoli pixel, come la perdita DICE. Il nostro approccio migliora una rete neurale esistente integrando una nuova funzione di perdita che tiene conto di caratteristiche topologiche più ampie, che includono connettività e vuoti. In particolare, stabiliamo un nuovo termine di regolarizzazione basato sulla Trasformata della Caratteristica di Euler, che è sia efficiente da calcolare che adattabile a diverse dimensioni delle immagini.

Dimostriamo i vantaggi della nostra nuova funzione di perdita incorporandola nel modello SHAPR e sottoponendola a test su due dataset biomedici. I nostri principali contributi includono una nuova funzione di perdita topologica compatibile con qualsiasi rete neurale e un'analisi delle sue proprietà, specificamente riguardo alla stabilità e all'iniettività.

#Lavori Correlati

Numerose versioni del compito di convertire immagini 2D in ricostruzioni 3D sono state affrontate in vari campi, inclusi robotica, imaging medico e comprensione di scene. I compiti possono variare in base ai dati di input, con alcuni che richiedono più fette mentre altri si concentrano su un'unica immagine, simile al nostro approccio. La maggior parte dei modelli che lavorano con un'immagine sola di solito ha bisogno di un modello 3D sintetico o di ampi dataset.

L'applicazione della topologia computazionale al machine learning è un'area in crescita che ha mostrato risultati positivi in diverse applicazioni, specialmente nei compiti di visione artificiale, come generazione e segmentazione di immagini. Il nostro studio cerca di migliorare i modelli di ricostruzione di immagini 3D sfruttando concetti dalla topologia, in particolare la Trasformata della Caratteristica di Euler.

SHAPR rappresenta il primo modello di machine learning che affronta la ricostruzione da 2D a 3D per immagini biomediche, superando i modelli sintetici convenzionali. È stato dimostrato che le caratteristiche ottenute dalla ricostruzione 3D possono migliorare l'accuratezza nei successivi compiti di classificazione sulle immagini 2D.

Recentemente, sono emersi nuovi modelli, incluso un modello basato sulla diffusione che supera le prestazioni del modello SHAPR. Tuttavia, alcuni metodi utilizzano diagrammi di persistenza per i calcoli delle perdite, che presentano delle limitazioni. Ad esempio, scartano i dati di posizione e possono portare a risultati imprecisi a causa delle mappature non iniettive. Per affrontare queste preoccupazioni, proponiamo di utilizzare la Trasformata della Caratteristica di Euler per stabilire una funzione di perdita più efficace e espressivamente ricca per l'ottimizzazione.

#Fondamenti Matematici

Per chiarire i concetti matematici essenziali alla base del nostro metodo, presentiamo brevi spiegazioni dei complessi simpliciali e dei complessi cubici.

Un complesso simpliciale è composto da forme geometriche semplici chiamate simplici, che possono rappresentare punti, bordi, triangoli e tetraedri. Un complesso cubico è una variazione che funziona meglio con strutture a griglia, come le immagini.

Quando si trattano immagini binarie, convertirle in un complesso cubico può essere ottenuto definendo ciascun voxel come un cubo. Le relazioni tra i cubi possono rappresentare varie forme all'interno dell'immagine.

#Flusso di Lavoro del Metodo Proposto

La strategia generale del nostro approccio inizia con l'elaborazione di un'immagine 2D tramite una rete neurale, che poi crea una rappresentazione 3D. Il modello è addestrato utilizzando una combinazione di funzioni di perdita geometriche standard e la nostra nuova perdita topologica. Questa nuova perdita si concentra sulla distanza tra le Trasformate della Caratteristica di Euler delle immagini previste e quelle reali.

Il nostro algoritmo di addestramento coinvolge un dataset contenente immagini 2D e le loro corrispondenti immagini 3D. Ogni immagine viene elaborata tramite il modello SHAPR, che restituisce un risultato 3D. Calcoliamo poi la perdita topologica utilizzando soglie casuali basate sui valori voxel distinti delle immagini generate.

#Risultati Sperimentali

Per valutare l'efficacia della nostra funzione di perdita topologica, abbiamo effettuato test su due dataset biomedici: globuli rossi e nuclei. Il dataset dei globuli rossi consiste in 825 immagini 3D, mentre il dataset dei nuclei contiene 887 immagini 3D.

Data la piccola dimensione dei dataset disponibili, abbiamo utilizzato un approccio di cross-validation a cinque pieghe per massimizzare il processo di valutazione. Abbiamo confrontato tre diversi metodi: il modello base SHAPR, SHAPR potenziato con una perdita basata su Wasserstein, e SHAPR migliorato dalla nostra nuova perdita basata su ECT.

Durante il processo di addestramento, abbiamo implementato tecniche di data augmentation come il ribaltamento e le rotazioni casuali per migliorare le prestazioni del modello. La nostra analisi ha rivelato che la perdita basata su ECT ha costantemente superato gli altri modelli nella maggior parte delle metriche per entrambi i dataset.

#Conclusione

In questo studio, abbiamo introdotto una nuova funzione di perdita topologica basata sulla Trasformata della Caratteristica di Euler per aiutare ad addestrare reti neurali nel compito complesso della ricostruzione 3D da immagini singole. Il nostro approccio ha mostrato chiari vantaggi in termini di prestazioni rispetto ai metodi precedenti. Concentrandoci sugli aspetti topologici delle forme, siamo stati in grado di migliorare significativamente la qualità delle ricostruzioni.

Questo metodo può servire come base per future ricerche in vari compiti di visione artificiale, tra cui segmentazione di immagini e ricostruzione 3D da più immagini. Un potenziale prossimo passo potrebbe comportare l'esplorazione dell'uso della trasformata di omologia persistente per valutare se offre vantaggi rispetto alla Trasformata della Caratteristica di Euler, nonostante le maggiori richieste computazionali che potrebbe richiedere.