Verbesserung der Zellkern-Erkennung mit CycleGAN und DCT-Filterung

Die Annotierung von Zellkernen in Mikroskopie-Bildern kann schwierig sein und dauert oft lange. Es braucht oft Expertenwissen und kann zu Unterschieden in den Ergebnissen führen, je nachdem, wer die Beschriftung vornimmt. Dieses Problem ist besonders bei der Fluoreszenzmikroskopie offensichtlich. Generative Netzwerke, wie CycleGAN, können synthetische Mikroskopie-Bilder basierend auf gegebenen Masken erstellen und helfen so, mehr Trainingsdaten zu produzieren. Frühere Versuche haben jedoch gezeigt, dass es Inkonsistenzen zwischen der Maske und dem generierten Bild gibt. Das liegt teilweise daran, dass CycleGAN dazu tendiert, wichtige Bilddetails zu verbergen, um die Rekonstruktion der Bilder zu erleichtern.

In dieser Arbeit schlagen wir eine Methode vor, um die von CycleGAN produzierten Bilder zu verbessern, indem wir versteckte Abkürzungen, bekannt als Steganographie, entfernen. Wir wenden eine Technik namens Tiefpassfilterung an, die auf der diskreten Kosinustransformation (DCT) basiert. Das Ziel ist, die Kohärenz zwischen den generierten Bildern und den ursprünglichen Masken zu erhöhen. Durch das Testen unserer synthetischen Datensätze für eine Zellkernsegmentierungsaufgabe stellten wir Verbesserungen in der Leistung im Vergleich zur Standard-CycleGAN-Methodik fest.

#Zellkernerkennung in Mikroskopiebildern

Die Erkennung von Zellkernen und Zellstrukturen in Mikroskopiebildern ist in der biomedizinischen Bildanalyse gängig. Sie gibt uns Einblicke in verschiedene zelluläre Prozesse. Während tiefe neuronale Netzwerke diese Erkennung automatisieren können, benötigen sie oft viele manuell beschriftete Daten. Diese manuelle Beschriftung ist nicht nur zeitaufwendig, sondern kann auch in der Qualität variieren, abhängig von vielen Faktoren, wie überlappenden Zellkernen oder Artefakten in den Bildern.

Unüberwachte Methoden können eine Alternative sein. Es gibt normalerweise zwei Ansätze: Eine ist ein zweistufiges Verfahren, bei dem ein generatives Modell synthetische Datensätze zur Schulung eines überwachten Segmentierungsnetzwerks erstellt. Der andere ist ein einstufiges Verfahren, bei dem ein generatives Modell direkt die Segmentierung durchführt. Beide Methoden verwenden generative Modelle, die mit echten Mikroskopiebildern und synthetischen Masken trainiert wurden, die durch einfachere Synthesemethoden erstellt werden können.

CycleGAN ist eine gängig verwendete Architektur in diesem Kontext. Sie verwendet mehrere Generatoren und Diskriminatoren, um zwischen verschiedenen Bilddomänen zu übersetzen. Der Zyklus-Konsistenzverlust sorgt dafür, dass das Bild seinen Inhalt behält, während es von einer Domäne zur anderen wechselt. Dies garantiert jedoch nicht immer, dass der Inhalt in den ursprünglichen und den generierten Bildern übereinstimmt.

Um den Zyklus-Konsistenzverlust zu minimieren, betten Generatoren manchmal eine komprimierte Version des Eingabebildes ein, was eine perfekte Rekonstruktion schafft, ohne wesentlichen Inhalt zu übertragen. Dieser Prozess wird als CycleGAN-Steganographie bezeichnet, bei der der Generator Informationen vor dem Diskriminator verbirgt, was zu einer Diskrepanz zwischen den ursprünglichen und den generierten Bildern führt.

#Die Rolle der DCT-Filterung

Um das Steganographie-Problem anzugehen, nutzen wir DCT-Filterung. Diese Technik ist bekannt in der Bildkompression, speziell im JPEG-Format. Indem wir hochfrequente Pixelmuster, die CycleGANs verwenden, um Informationen zu verbergen, eliminieren, wollen wir klarere und kohärentere Bilder erzeugen.

Wir setzen höhere Frequenzkoeffizienten in den generierten Bildern mit DCT auf null. Während diese Filterung einige tatsächliche Details in den Bildern entfernen kann, glauben wir, dass dies für unsere Zwecke nicht entscheidend ist. Nach der Filterung könnten wir immer noch einige Diskrepanzen zwischen den Eingabemasken und den generierten Zellkernbildern sehen, aber wir stellen sicher, dass die zyklischen Masken den Inhalt der generierten Bilder genau widerspiegeln.

Die gefilterten Bilder dienen als Trainingsdaten für Netzwerke, die Zellkerne segmentieren. Unser Ansatz zeigt eine höhere Präzision, wenn die DCT-Filterung angewendet wird, und verbessert damit die Beziehung zwischen der Maske und den generierten Bildern.

#Erstellung synthetischer Masken

Um synthetische Masken zu erzeugen, können wir Ellipsen verwenden, um die Zellkernformen zu modellieren. Obwohl effektiv, sind sorgfältige Anpassungen nötig, um sicherzustellen, dass diese synthetischen Masken genau mit echten Mikroskopiebildern übereinstimmen. Wenn es eine grosse Lücke zwischen den synthetischen und echten Verteilungen gibt, hat CycleGAN Schwierigkeiten zu lernen.

Bei der Erstellung der Masken variieren wir die Parameter zufällig, um Vielfalt zu gewährleisten. Dazu gehört das Sampling der Achsenlängen, der Exzentrizität und der Rotationswinkel. Die finalen Maskenbilder erlauben es, dass Zellkerne sich berühren, aber niemals überlappen, wodurch die Darstellung realistisch bleibt.

#Evaluationsaufbau

Um zu sehen, wie effektiv unsere DCT-Filterung ist, haben wir synthetische Datensätze mit CycleGAN mit und ohne Filterung generiert sowie andere Methoden aus der Literatur verglichen. Nach dem Training verwendeten wir diese synthetischen Bilder und Masken, um ein Segmentierungsnetzwerk, StarDist, zu trainieren. Wir testeten das trainierte Segmentierungsnetzwerk an echten Daten, um die Leistung zu bewerten.

In unseren Experimenten mit dem Data Science Bowl (DSB) 2018 Zellkerndatensatz und dem BBBC039v1-Datensatz fanden wir, dass unser vorgeschlagenes CycleGAN mit DCT-Filterung besser abschnitt als das Standard-CycleGAN, was zu verbesserten Präzisionswerten und weniger falsch-positiven Ergebnissen führte.

#Bewertung der Bildtreue

Während der Hauptfokus unserer Methoden darauf liegt, die Zellkernsegmentierung zu verbessern, haben wir auch die Qualität der generierten Bilder bewertet. Durch den Vergleich der generierten Daten mit den Originalbildern mithilfe des Fréchet Inception Distance (FID) stellten wir fest, dass das CycleGAN kombiniert mit DCT-Filterung die beste Punktzahl erzielte, was auf eine verbesserte Bildtreue hinweist.

#Qualitative Ergebnisse der synthetischen Bilder

Bei der Überprüfung der generierten Bilder bemerkten wir Abweichungen von den ursprünglichen Eingabemasken. Während das negativ erscheinen mag, kann es vorteilhaft sein, solange die Änderungen in den zyklischen Masken widergespiegelt werden. Unsere vorgeschlagene DCT-Filterung zeigte, dass die Steganographie effektiv reduziert wurde, was dazu führte, dass die zyklischen Masken den generierten Bildern sehr nahestanden.

Im Gegensatz dazu reduzierten andere Methoden wie Rauschunterdrückung und Rausch-Injektion einige Steganographie, waren aber nicht so effektiv. Die Bilder, die aus Rausch-Injektion erzeugt wurden, hatten mehr Variabilität, was zu einem weniger stabilen Ergebnis für Segmentierungsaufgaben führte.

#Segmentierungsleistung beim DSB

Das getestete Segmentierungsnetzwerk auf dem DSB-Datensatz zeigte signifikante Verbesserungen, wenn es auf synthetischen Datensätzen trainiert wurde, die aus dem CycleGAN mit DCT-Filterung erzeugt wurden. Unser Ansatz übertraf das Standard-CycleGAN und zeigte eine höhere Präzision sowohl für leichtere als auch für herausforderndere Schwellenwerte.

#Segmentierungsleistung beim BBBC039v1

Für den BBBC039v1-Datensatz zeigten alle Methoden eine hohe Präzision. Die DCT-Filterungsmethode schnitt am besten ab und wies einen leichten Vorteil gegenüber anderen Methoden auf. Die unkompliziertere Struktur des BBBC039v1-Datensatzes führte zu höheren Punktzahlen in allen Metriken aufgrund der reduzierten Variabilität.

#Fazit

In dieser Arbeit haben wir eine neue Methode vorgeschlagen, um das Problem mit den versteckten Informationen in CycleGAN-generierten Bildern anzugehen. Unser DCT-Filterungsansatz führte zu einer besseren Konsistenz in synthetischen Bildern und verbesserte letztendlich die Leistung bei nachfolgenden Segmentierungsaufgaben.

Indem wir uns darauf konzentrierten, synthetische Datensätze mit besserer Übereinstimmung zwischen Masken und generierten Bildern zu erstellen, konnten wir den Lernprozess der beteiligten Netzwerke verbessern. Diese Forschung zeigt nicht nur die Effektivität der DCT-Filterung, sondern eröffnet auch neue Möglichkeiten zur weiteren Erforschung der Anpassung von CycleGANs für verschiedene Anwendungen.

Zukünftige Arbeiten könnten zusätzliche Methoden zur Verbesserung der Segmentierungsfähigkeiten von CycleGANs untersuchen. Dazu gehört möglicherweise die Anpassung der Architektur, um direkt Instanzmasken zu generieren, anstatt auf Nachbearbeitung zu setzen. Zu erforschen, wie der Ansatz zur Entfernung von Steganographie auf andere ähnliche Aufgaben angewendet werden könnte, könnte zu einem breiteren Einfluss im Bereich der generativen Netzwerke führen.