Migliorare il rilevamento dei nuclei con CycleGAN e filtraggio DCT

Annotare i nuclei nelle immagini di microscopia può essere difficile e richiede molto tempo. Spesso serve una conoscenza esperta e può portare a differenze nei risultati a seconda di chi fa l'etichettatura. Questo problema è particolarmente evidente nella microscopia a fluorescenza. Le reti generative, come CycleGAN, possono creare immagini sintetiche di microscopia basate su maschere fornite, aiutando a produrre più dati di addestramento. Tuttavia, i tentativi passati hanno mostrato che ci sono incoerenze tra la maschera e l'immagine generata. Questo è in parte perché CycleGAN tende a nascondere dettagli importanti dell'immagine per facilitare la ricostruzione delle immagini.

In questo lavoro, suggeriamo un metodo per migliorare le immagini prodotte da CycleGAN rimuovendo scorciatoie nascoste, note come steganografia. Applichiamo una tecnica chiamata filtraggio passa basso basata sulla Trasformata Coseno Discreta (DCT). L'obiettivo è aumentare la coerenza tra le immagini generate e le maschere originali. Testando i nostri set di dati sintetici per un compito di segmentazione dei nuclei, abbiamo trovato miglioramenti nelle prestazioni rispetto all'approccio standard di CycleGAN.

#Rilevamento dei Nuclei nelle Immagini di Microscopia

Rilevare nuclei e strutture cellulari nelle immagini di microscopia è comune nell'analisi delle immagini biomedicali. Ci offre informazioni su vari processi cellulari. Anche se le reti neurali profonde possono automatizzare questo rilevamento, spesso richiedono molti dati etichettati manualmente. Questa etichettatura manuale non è solo dispendiosa in termini di tempo, ma può anche variare in qualità a causa di molti fattori, come nuclei sovrapposti o artefatti nelle immagini.

I metodi non supervisionati possono essere un'alternativa. Di solito ci sono due approcci: uno è un metodo in due fasi in cui un modello generativo crea set di dati sintetici per addestrare una Rete di Segmentazione supervisionata. L'altro è un metodo in un'unica fase in cui un modello generativo esegue direttamente la segmentazione. Entrambi i metodi utilizzano modelli generativi addestrati con immagini di microscopia reali e maschere sintetiche, che possono essere create attraverso metodi di sintesi più semplici.

CycleGAN è un'architettura comunemente usata in questo contesto. Utilizza più generatori e discriminator per tradurre tra diversi domini delle immagini. La perdita di coerenza del ciclo garantisce che l'immagine mantenga il contenuto mentre viene trasferita da un dominio all'altro. Tuttavia, questo non garantisce sempre che il contenuto delle immagini originali e generate corrisponda.

Nel tentativo di minimizzare la perdita di coerenza del ciclo, i generatori a volte incorporano una versione compressa dell'immagine di input, creando una ricostruzione perfetta senza trasferire contenuti essenziali. Questo processo è stato chiamato steganografia di CycleGAN, dove il generatore nasconde informazioni dal discriminatore, portando a una discordanza tra le immagini originali e quelle generate.

#Il Ruolo del Filtraggio DCT

Per affrontare il problema della steganografia, utilizziamo il filtraggio DCT. Questa tecnica è ben nota nella compressione delle immagini, specificamente nel formato JPEG. Eliminando i modelli di pixel ad alta frequenza che i CycleGAN utilizzano per nascondere informazioni, puntiamo a produrre immagini più chiare e coerenti.

Impostiamo i coefficienti ad alta frequenza a zero nelle immagini generate usando DCT. Anche se questo filtraggio può rimuovere alcuni dettagli reali nelle immagini, riteniamo che non sia cruciale per i nostri scopi. Dopo il filtraggio, potremmo ancora vedere alcune discrepanze tra le maschere di input e le immagini di nuclei generate, ma assicuriamo che le maschere ciclate riflettano accuratamente il contenuto delle immagini generate.

Le immagini filtrate servono come dati di addestramento per le reti che segmentano i nuclei. Il nostro approccio mostra un aumento della Precisione quando viene applicato il filtraggio DCT, migliorando così il rapporto tra la maschera e le immagini generate.

#Creazione di Maschere Sintetiche

Per produrre maschere sintetiche, possiamo usare ellissi per modellare le forme dei nuclei. Anche se efficace, sono necessarie regolazioni accurate affinché queste maschere sintetiche corrispondano accuratamente alle immagini di microscopia reali. Se c'è un grande divario tra le distribuzioni sintetiche e reali, CycleGAN fatica a imparare in modo efficace.

Quando creiamo le maschere, variamo casualmente i parametri per garantire diversità. Questo include il campionamento per la dimensione degli assi, l'eccentricità e l'angolo di rotazione. Le immagini delle maschere finali permettono ai nuclei di toccarsi ma mai sovrapporsi, mantenendo la rappresentazione realistica.

#Impostazione della Valutazione

Per vedere quanto sia efficace il nostro filtraggio DCT, abbiamo generato set di dati sintetici usando CycleGAN con e senza filtraggio e confrontando altri metodi dalla letteratura. Dopo l'addestramento, abbiamo utilizzato queste immagini e maschere sintetiche per addestrare una rete di segmentazione, StarDist. Abbiamo testato la rete di segmentazione addestrata su dati reali per valutare le prestazioni.

Nei nostri esperimenti con il Data Science Bowl (DSB) 2018 Nuclei Dataset e il dataset BBBC039v1, abbiamo scoperto che il nostro CycleGAN proposto con filtraggio DCT ha superato il CycleGAN standard, portando a punteggi di precisione migliori e minori falsi positivi.

#Valutazione della Fedeltà dell'Immagine

Sebbene il focus principale dei nostri metodi sia migliorare la segmentazione dei nuclei, abbiamo anche valutato la qualità delle immagini generate. Confrontando i dati generati con le immagini originali usando la Fréchet Inception Distance (FID), abbiamo trovato che il CycleGAN combinato con il filtraggio DCT ha ottenuto il punteggio migliore, indicando una maggiore fedeltà dell'immagine.

#Risultati Qualitativi delle Immagini Sintetiche

Esaminando le immagini generate, abbiamo notato deviazioni dalle maschere di input originali. Anche se questo può sembrare negativo, può essere vantaggioso finché le modifiche si riflettono nelle maschere ciclate. Il nostro filtraggio DCT proposto ha dimostrato che la steganografia è stata ridotta in modo efficace, portando a maschere ciclate che corrispondono strettamente alle immagini generate.

Al contrario, altri metodi come il denoising e l'iniezione di rumore hanno ridotto un po' la steganografia, ma non erano altrettanto efficaci. Le immagini prodotte dall'iniezione di rumore avevano una maggiore varianza, portando a un risultato meno stabile per i compiti di segmentazione.

#Prestazioni di Segmentazione sul DSB

La rete di segmentazione testata sul dataset DSB ha mostrato miglioramenti significativi quando addestrata su set di dati sintetici generati dal CycleGAN con filtraggio DCT. Il nostro approccio ha superato il CycleGAN standard, dimostrando una maggiore precisione sia per soglie più semplici che più impegnative.

#Prestazioni di Segmentazione sul BBBC039v1

Per il dataset BBBC039v1, tutti i metodi hanno mostrato alta precisione. Il metodo di filtraggio DCT ha performato meglio, mostrando un leggero vantaggio rispetto agli altri metodi. La struttura più semplice del dataset BBBC039v1 ha portato a punteggi più alti in tutte le metriche grazie alla sua variabilità ridotta.

#Conclusione

In questo lavoro, abbiamo proposto un nuovo metodo per affrontare il problema delle informazioni nascoste nelle immagini generate da CycleGAN. Il nostro approccio di filtraggio DCT ha portato a una migliore coerenza nelle immagini sintetiche e, infine, ha migliorato le prestazioni nei successivi compiti di segmentazione.

Concentrandoci sulla creazione di set di dati sintetici con una migliore allineamento tra maschere e immagini generate, siamo riusciti a migliorare il processo di apprendimento delle reti coinvolte. Questa ricerca non solo dimostra l'efficacia del filtraggio DCT, ma apre anche la porta a ulteriori esplorazioni nel perfezionamento dei CycleGAN per varie applicazioni.

Il lavoro futuro potrebbe esplorare ulteriori metodi per migliorare le capacità di segmentazione dei CycleGAN. Questo include la possibile adattazione dell'architettura per generare direttamente maschere istanza invece di fare affidamento sul post-processing. Esplorare come l'approccio di rimozione della steganografia potrebbe essere applicato ad altri compiti simili potrebbe portare a un impatto più ampio nel campo delle reti generative.