Verbesserung der retinalen Bildregistrierung mit Deep Learning

In den letzten Jahren sind Methoden des maschinellen Lernens in verschiedenen Bereichen, einschliesslich der Medizin, richtig populär geworden. Eine wichtige Anwendung ist die Registrierung von Bildern, vor allem in der medizinischen Bildgebung. Bildregistrierung ist der Prozess, bei dem zwei oder mehr Bilder so ausgerichtet werden, dass sie perfekt übereinstimmen. Das ist entscheidend in Bereichen wie der Augenheilkunde, wo Ärzte Bilder der Netzhaut, die zu verschiedenen Zeiten oder aus verschiedenen Winkeln aufgenommen wurden, vergleichen müssen, um Zustände wie die diabetische Retinopathie zu beurteilen.

#Die Herausforderung der retinalen Bildregistrierung

Retinalbilder haben einzigartige Eigenschaften. Sie werden mit Kameras aufgenommen, die Bilder vom Inneren des Auges erfassen. Deshalb können die Bilder Probleme wie schlechte Beleuchtung, Bewegung des Patienten oder falsche Kamerapositionierung aufweisen, was es schwierig macht, sie korrekt abzugleichen. Ausserdem machen die wichtigen Strukturen in diesen Bildern, wie Blutgefässe und den Sehnerv, nur einen kleinen Teil des Bildes aus, was den Registrierungsprozess kompliziert. Diese Faktoren bedeuten, dass robuste Methoden zur Registrierung retinaler Bilder benötigt werden, um Ärzten zu helfen, genaue Diagnosen zu stellen.

#Methoden der Bildregistrierung

Es gibt verschiedene Methoden zur Registrierung von Bildern, die in drei Haupttypen unterteilt werden können:

1. Merkmalbasierte Registrierung (FBR): Diese Methode verwendet spezifische Schlüsselstellen in den Bildern, um sie zu alignen. Diese Schlüsselstellen sind markante Orte, die in beiden Bildern leicht zu erkennen sind. Wenn diese Punkte übereinstimmen, kann eine Transformation berechnet werden, um die Bilder auszurichten.

2. Intensitätsbasierte Registrierung (IBR): Dieser Ansatz vergleicht direkt die Intensitätswerte der Pixel in den Bildern. Ziel ist es, die Ähnlichkeit zwischen den Bildern zu maximieren, indem angepasst wird, wie ein Bild transformiert wird, um dem anderen zu entsprechen.

3. Direkte Parameterregression (DPR): Diese Methode umfasst die Vorhersage eines Deformationsfeldes oder einer Transformationsmatrix direkt aus den Eingabebildern mithilfe eines neuronalen Netzwerks.

Während klassische Methoden immer noch verwendet werden, gewinnen Deep-Learning-Ansätze an Popularität, da sie in der Lage sind, aus Daten zu lernen und sich an unterschiedliche Bedingungen anzupassen.

#Die Bedeutung von Deep Learning

Deep Learning ist eine Art des maschinellen Lernens, bei der Modelle auf grossen Datensätzen trainiert werden, um automatisch Muster zu erkennen. Im Kontext der Registrierung retinaler Bilder haben Deep-Learning-Methoden mehrere Vorteile:

• End-to-End-Training: Sie können trainiert werden, um die Registrierung ohne die Notwendigkeit einer Merkmalsentwicklung durchzuführen.
• Anpassungsfähigkeit: Deep-Learning-Methoden können leicht an unterschiedliche Eingabedaten angepasst werden.
• Robustheit: Sie können Veränderungen in den Bedingungen, unter denen die Bilder aufgenommen wurden, wie z.B. Veränderungen in der Beleuchtung oder dem Fokus, bewältigen.

#Das ConKeD-Framework

Eine fortschrittliche Methode zur Registrierung retinaler Bilder ist das ConKeD-Framework. Diese Methode verwendet einen speziellen Ansatz, um Deskriptoren für die in den Bildern erkannten Schlüsselstellen zu lernen. Deskriptoren sind im Wesentlichen Darstellungen der Schlüsselstellen, die helfen, sie zwischen den Bildern zu identifizieren und abzugleichen. ConKeD verwendet eine multi-positive multi-negative Metrik-Lernstrategie, die es ermöglicht, bessere und diskriminierende Deskriptoren im Vergleich zu traditionellen Methoden zu lernen.

#Bedarf an verbesserten Registrierungsmethoden

Obwohl ConKeD ein kraftvolles Werkzeug ist, kann seine Leistung durch spezifische designtechnische Entscheidungen, wie die während des Trainings verwendete Verlustfunktion, beeinträchtigt werden. Verlustfunktionen sind entscheidend im maschinellen Lernen, da sie den Trainingsprozess des Modells leiten. Wenn eine Verlustfunktion nicht gut zur Aufgabe passt, kann das zu suboptimalen Ergebnissen führen.

In unserer Arbeit zielen wir darauf ab, das ConKeD-Framework zu verbessern, indem wir verschiedene Verlustfunktionen testen, um die effektivste für die Registrierung retinaler Bilder zu finden. Ausserdem planen wir, unsere aktualisierten Modelle an mehreren Datensätzen zu evaluieren, um sicherzustellen, dass sie in verschiedenen Situationen gut abschneiden.

#Datensätze zur Evaluation

Um unsere vorgeschlagenen Methoden zu bewerten, nutzen wir mehrere Datensätze:

• FIRE-Datensatz: Das ist ein Standard-Benchmark-Datensatz mit einer Ground-Truth für die Registrierung. Er besteht aus Bildern von 39 Patienten.
• LongDRS-Datensatz: Dieser Datensatz enthält Bilder von Patienten mit diabetischer Retinopathie, was vielfältige Bewertungen ermöglicht.
• DeepDRiD-Datensatz: Dieser Datensatz stellt verschiedene Stadien der diabetischen Retinopathie dar und enthält Bilder mit unterschiedlichen Artefakten.

Durch die Verwendung mehrerer Datensätze können wir sicherstellen, dass unsere Registrierungsmethoden robust und in realen Situationen anwendbar sind.

#Überblick über die Methodik

Um unseren Ansatz umzusetzen, folgen wir einer spezifischen Methodik:

1. Erkennung von Schlüsselstellen: Der erste Schritt besteht darin, Schlüsselstellen zu erkennen, die in diesem Fall Kreuzungen und Verzweigungen von Blutgefässen sind. Diese Punkte sind entscheidend für die Berechnung der Transformation, die für die Registrierung benötigt wird.

2. Beschreibung der Schlüsselstellen: Sobald die Schlüsselstellen erkannt sind, müssen wir sie beschreiben. Mithilfe von Deep Learning erstellen wir einen dichten Deskriptorblock für jedes Pixel im Eingabebild.

3. Abgleich und Transformation: Nach der Beschreibung der Schlüsselstellen gleichen wir sie zwischen den beiden Bildern mithilfe der Kosinusähnlichkeit ab. Eine Transformationsmatrix wird dann berechnet, um die Bilder basierend auf diesen übereinstimmenden Punkten auszurichten.

4. Verlustfunktionen für das Training: Wir experimentieren mit mehreren Verlustfunktionen, um den Lernprozess zu verbessern. Einige Verlustfunktionen, die wir untersuchen, sind SupCon Loss, InfoNCE, N-Pair Loss und FastAP Loss.

#Erkennung und Beschreibung von Schlüsselstellen

Die genaue Erkennung von Schlüsselstellen ist entscheidend für eine erfolgreiche Bildregistrierung. Wir verwenden ein Deep-Learning-Modell, um Heatmaps zu erstellen, die die Standorte der Schlüsselstellen in den Bildern identifizieren. Diese Heatmaps helfen dem Modell, effektiver zu lernen, selbst wenn es viele mehr Hintergrundpixel als Schlüsselstellen gibt.

Sobald die Schlüsselstellen erkannt sind, verwenden wir ein weiteres neuronales Netzwerk, um Deskriptoren zu erstellen. Diese Deskriptoren charakterisieren jeden Schlüsselpunkt und helfen bei schnellem und effektivem Abgleich.

#Transformation und Ausrichtung von Bildern

Um die Bilder zu registrieren, gleichen wir zuerst Deskriptoren aus den festen und beweglichen Bildern ab. Dann verwenden wir einen Algorithmus namens RANSAC, um die Transformationsmatrix basierend auf den übereinstimmenden Schlüsselstellen zu berechnen, was die endgültige Ausrichtung der Bilder ermöglicht.

#Experimentelles Setup

Die Trainingsphase nutzt einen öffentlichen Datensatz namens DRIVE, der Bilder mit bekannten Schlüsselstellen enthält. Zur Bewertung verwenden wir den FIRE-Datensatz sowie die neu gesammelten LongDRS- und DeepDRiD-Datensätze. Jeder Datensatz wird sorgfältig analysiert, um die Effektivität der vorgeschlagenen Registrierungsmassnahmen zu bewerten.

#Ergebnisse und Diskussion

Nachdem wir unsere Methoden angewendet haben, vergleichen wir die Ergebnisse über verschiedene Datensätze hinweg. Die FastAP-Verlustfunktion zeigt die beste Leistung und demonstriert, dass unser Ansatz Bilder effektiv registrieren kann, während er einfacher ist als frühere Methoden.

#Fazit

In dieser Forschung haben wir verschiedene Verlustfunktionen untersucht, die auf ein modernes Framework zur Registrierung retinaler Bilder angewendet werden. Unsere Ergebnisse zeigen, dass die FastAP-Verlustfunktion bessere Ergebnisse im Vergleich zu anderen gängigen Methoden erzielt hat. Obwohl unser Ansatz von der Morphologie der Netzhaut und der Anzahl der erkennbaren Schlüsselstellen abhängt, funktioniert er dennoch gut über verschiedene Datensätze hinweg.

In Zukunft wollen wir zusätzliche Schlüsselstellen einbeziehen, die unsere Registrierungsmethoden verbessern und deren Anwendbarkeit in klinischen Umgebungen erweitern könnten. Die Unterstützung durch Forschungs- und Regierungsprojekte unterstreicht die Bedeutung der Verbesserung medizinischer Bildgebungstechniken für bessere Patientenergebnisse.