Melhorando a Detecção de Núcleos com CycleGAN e Filtragem DCT

Anotar núcleos em imagens de microscopia pode ser complicado e leva muito tempo. Muitas vezes, precisa de conhecimento especializado e pode resultar em diferenças nos resultados, dependendo de quem está fazendo a rotulagem. Isso é especialmente visível na microscopia de fluorescência. Redes generativas, como o CycleGAN, conseguem criar imagens sintéticas de microscopia com base em máscaras fornecidas, ajudando a produzir mais dados de treinamento. No entanto, tentativas anteriores mostraram que há inconsistências entre a máscara e a imagem gerada. Isso acontece, em parte, porque o CycleGAN tende a esconder detalhes importantes da imagem para facilitar a reconstrução.

Neste trabalho, sugerimos um método para melhorar as imagens produzidas pelo CycleGAN removendo atalhos escondidos, conhecidos como esteganografia. Aplicamos uma técnica chamada filtragem passa-baixa baseada na Transformada Discreta de Cosseno (DCT). O objetivo é aumentar a coerência entre as imagens geradas e as máscaras originais. Testando nossos conjuntos de dados sintéticos para uma tarefa de segmentação de núcleos, encontramos melhorias no desempenho em comparação com a abordagem padrão do CycleGAN.

#Detecção de Núcleos em Imagens de Microscopia

Detectar núcleos e estruturas celulares em imagens de microscopia é comum na análise de imagem biomédica. Isso nos dá uma visão sobre vários processos celulares. Embora redes neurais profundas possam automatizar essa detecção, muitas vezes precisam de muitos dados rotulados manualmente. Essa rotulagem manual não só consome tempo, mas pode variar em qualidade devido a vários fatores, como núcleos sobrepostos ou artefatos nas imagens.

Métodos não supervisionados podem ser uma alternativa. Normalmente, existem duas abordagens: uma é um método em dois estágios onde um modelo gerativo cria conjuntos de dados sintéticos para treinar uma Rede de Segmentação supervisionada. A outra é um método em um estágio onde um modelo gerativo realiza a segmentação diretamente. Ambos os métodos usam modelos gerativos treinados com imagens reais de microscopia e máscaras sintéticas, que podem ser criadas através de métodos de síntese mais simples.

O CycleGAN é uma arquitetura comumente usada nesse contexto. Ele utiliza múltiplos geradores e discriminadores para traduzir entre diferentes domínios de imagem. A perda de ciclo-consistência garante que a imagem mantenha conteúdo enquanto é transferida de um domínio para outro. No entanto, isso não garante que o conteúdo nas imagens originais e geradas coincidam.

Na tentativa de minimizar a perda de ciclo-consistência, os geradores às vezes incorporam uma versão comprimida da imagem de entrada, criando uma reconstrução perfeita sem transferir conteúdo essencial. Esse processo foi chamado de esteganografia do CycleGAN, onde o gerador esconde informações do discriminador, levando a uma discrepância entre as imagens originais e geradas.

#O Papel da Filtragem DCT

Para resolver o problema da esteganografia, utilizamos a filtragem DCT. Essa técnica é bem conhecida na compressão de imagem, especificamente no formato JPEG. Ao eliminar padrões de pixels de alta frequência que os CycleGANs usam para esconder informações, nosso objetivo é produzir imagens mais claras e coerentes.

Ajustamos os coeficientes de alta frequência para zero nas imagens geradas usando DCT. Embora essa filtragem possa remover alguns detalhes reais nas imagens, acreditamos que não é crucial para nossos propósitos. Após a filtragem, ainda podemos ver algumas discrepâncias entre as máscaras de entrada e as imagens geradas de núcleos, mas garantimos que as máscaras cíclicas refletem com Precisão o conteúdo das imagens geradas.

As imagens filtradas servem como dados de treinamento para redes que segmentam núcleos. Nossa abordagem mostrou um aumento na precisão quando a filtragem DCT é aplicada, melhorando assim a relação entre a máscara e as imagens geradas.

#Criação de Máscaras Sintéticas

Para produzir máscaras sintéticas, podemos usar elipses para modelar formas de núcleos. Embora seja eficaz, ajustes cuidadosos são necessários para que essas máscaras sintéticas coincidam com imagens reais de microscopia. Se houver uma grande diferença entre as distribuições sintéticas e reais, o CycleGAN terá dificuldade em aprender efetivamente.

Ao criar as máscaras, variamos aleatoriamente os parâmetros para garantir diversidade. Isso inclui amostragem do tamanho dos eixos, excentricidade e ângulo de rotação. As imagens finais das máscaras permitem que os núcleos se toquem, mas nunca se sobreponham, mantendo a representação realista.

#Configuração de Avaliação

Para ver quão eficaz é nossa filtragem DCT, geramos conjuntos de dados sintéticos usando CycleGAN com e sem a filtragem, além de comparar outros métodos da literatura. Após o treinamento, usamos essas imagens sintéticas e máscaras para treinar uma rede de segmentação, a StarDist. Testamos a rede de segmentação treinada em dados reais para avaliar o desempenho.

Em nossos experimentos com o conjunto de dados DSB 2018 Nuclei e o conjunto BBBC039v1, descobrimos que nosso CycleGAN proposto com filtragem DCT superou o CycleGAN padrão, levando a pontuações de precisão melhores e menos falsos positivos.

#Avaliação da Fidelidade da Imagem

Embora o foco principal de nossos métodos seja melhorar a segmentação de núcleos, também avaliamos a qualidade das imagens geradas. Ao comparar os dados gerados com as imagens originais usando a Distância de Fréchet Inception (FID), descobrimos que o CycleGAN combinado com a filtragem DCT obteve a melhor pontuação, indicando uma fidelidade de imagem aprimorada.

#Resultados Qualitativos das Imagens Sintéticas

Ao revisar as imagens geradas, notamos desvios das máscaras de entrada originais. Embora isso possa parecer negativo, pode ser benéfico desde que as mudanças sejam refletidas nas máscaras cíclicas. Nossa filtragem DCT proposta mostrou que a esteganografia foi efetivamente reduzida, resultando em máscaras cíclicas que combinam de perto com as imagens geradas.

Em contraste, outros métodos, como desnoising e injeção de ruído, reduziram um pouco da esteganografia, mas não foram tão eficazes. As imagens produzidas a partir da injeção de ruído tiveram mais variância, levando a um resultado menos estável para tarefas de segmentação.

#Desempenho de Segmentação no DSB

A rede de segmentação testada no conjunto de dados DSB mostrou melhorias significativas quando treinada em conjuntos de dados sintéticos gerados pelo CycleGAN com filtragem DCT. Nossa abordagem superou o CycleGAN padrão, demonstrando maior precisão para limiares mais fáceis e desafiadores.

#Desempenho de Segmentação no BBBC039v1

Para o conjunto de dados BBBC039v1, todos os métodos mostraram alta precisão. O método de filtragem DCT teve o melhor desempenho, mostrando uma leve vantagem sobre os outros métodos. A estrutura mais simples do conjunto de dados BBBC039v1 levou a pontuações mais altas em todas as métricas devido à sua variabilidade reduzida.

#Conclusão

Neste trabalho, propusemos um novo método para lidar com o problema da informação oculta em imagens geradas pelo CycleGAN. Nossa abordagem de filtragem DCT levou a uma melhor consistência nas imagens sintéticas e, em última análise, melhorou o desempenho em tarefas de segmentação subsequentes.

Ao focar na criação de conjuntos de dados sintéticos com melhor alinhamento entre máscaras e imagens geradas, conseguimos aprimorar o processo de aprendizado das redes envolvidas. Esta pesquisa não apenas mostra a eficácia da filtragem DCT, mas também abre portas para mais exploração na afinação do CycleGAN para várias aplicações.

Trabalhos futuros poderiam explorar métodos adicionais para melhorar as capacidades de segmentação dos CycleGANs. Isso inclui potencialmente adaptar a arquitetura para gerar máscaras de instância diretamente, em vez de depender de pós-processamento. Explorar como a abordagem de remoção da esteganografia poderia ser aplicada a outras tarefas semelhantes pode levar a um impacto mais amplo no campo das redes generativas.