Fortschritte in der hyperspektralen Bildgebung für die Chirurgie

Hyperspektrale Bildgebung ist eine Technik, die Bilder über verschiedene Lichtwellenlängen hinweg einfängt. Diese Methode liefert detaillierte Informationen über biologische Gewebe, was helfen kann, verschiedene Gewebearten zu unterscheiden, die für das blosse Auge nicht sichtbar sind. In chirurgischen Umgebungen kann die Nutzung dieser Technologie die Anleitung während Operationen erheblich verbessern, indem sie Echtzeitdaten bereitstellt.

Snapshot-Mosaik-Hyperspektralkameras gelten als ideale Werkzeuge für chirurgische Bildgebung. Sie können schnell Spektraldaten erfassen, die während der Operation wichtig sind. Um diese Bilder jedoch effektiv nutzen zu können, wird ein Demosaicking-Algorithmus benötigt. Dieser Algorithmus stellt die räumlichen und spektralen Details in den erfassten Bildern wieder her.

Traditionell basierte die Erstellung dieser Algorithmen auf überwachtem Lernen mit synthetischen Datensätzen. Diese Methoden stehen vor Herausforderungen, da es nahezu unmöglich ist, sowohl hochauflösende Spektralbilder als auch Snapshot-Bilder derselben chirurgischen Szene zu erfassen. Um dies zu lösen, wurde eine neuartige selbstüberwachte Demosaicking- und RGB-Rekonstruktionsmethode entwickelt. Dieser neue Ansatz ist nicht auf gepaarte hochauflösende Daten angewiesen. Stattdessen nutzt er standardmässige hochauflösende chirurgische Mikroskopbilder, die RGB-Daten liefern, die während routinemässiger Operationen gesammelt wurden.

#Die Bedeutung des Demosaickings

Demosaicking ist entscheidend in der hyperspektralen Bildgebung. Es rekonstruiert das Vollfarbbild aus dem Mosaikbild, das erfasst wurde. Die Herausforderung besteht darin, dass das Snapshot-Mosaik-Image einige räumliche Auflösung und spektrale Details opfert, um eine schnelle Datenerfassung zu erreichen.

Aktuelle Demosaicking-Techniken basieren meist auf Interpolation oder Modelloptimierung, aber diese Methoden funktionieren nicht so gut wie lernbasierte Methoden, die auf Deep Learning basieren. Deep Learning hat bei ähnlichen Problemen wie der Superauflösung einzelner Bilder gute Ergebnisse gezeigt. Die meisten bestehenden lernbasierten Methoden erfordern jedoch synthetische Snapshot-Bilder, die mit ideal rekonstruierten Bildern gepaart sind, um Datensätze für das Training zu erstellen. Das führt zu einer Diskrepanz, da die synthetischen Bilder oft nicht die Komplexität der realen Welt darstellen.

#Selbstüberwachtes Lernen für Demosaicking

In der aktuellen Forschung wurde ein anderer Ansatz verfolgt. Die Forscher haben den Demosaicking-Prozess als komplexes Problem betrachtet und eine selbstüberwachte Lernmethode entwickelt, die nur die Snapshot-Mosaikdaten verwendet. Diese Methode fördert die Kreuzband-Korrelation und verbessert die Bilddetails.

Allerdings hatten die ursprünglichen Netzwerke Probleme mit Artefakten, die aufgrund von Overfitting periodisch auftraten. Frühere Arbeiten führten Regularisierungstechniken ein, um dies zu beheben, aber es traten Kompromisse zwischen Bildschärfe und Glätte auf. Generative Adversarial Networks (GANs) bieten eine vielversprechende Lösung. Sie können mit ungepaarten Bildern trainiert werden und waren bei Aufgaben wie Bildsuperauflösung und Debayering effektiv.

#Integration von RGB-Bildern in Demosaicking

In dieser Arbeit werden RGB-Bilder, die von chirurgischen Mikroskopen gesammelt wurden, verwendet, um das Demosaicking von hyperspektralen Bildern zu verbessern. Die Umwandlung hyperspektraler Bilder in RGB ist ein gut verstandener Prozess, der im Text weiter detailliert wird. Diese RGB-Bilder können den Demosaicking-Prozess leiten und somit die räumlichen Details und die Farbergebnisse verbessern.

#Vorgeschlagene Methodik

Die vorgeschlagene Methode dreht sich um einen Echtzeitalgorithmus, der die Qualität der rekonstruierten hyperspektralen Bilder verbessert. Es gibt drei Hauptbeiträge zu dieser Arbeit:

1. Ein zyklus-konsistenter adversarialer Verlust wird eingeführt, um hochauflösende RGB-Bilder zu nutzen, um Details zu verbessern und Artefakte in den rekonstruierten Bildern zu reduzieren.

2. Ein einfaches neuronales Netzwerkmodell ersetzt traditionelle physikbasierte Umwandlungen von hyperspektral zu RGB, was hilft, eine bessere Farbgenauigkeit zu erreichen und die Visualisierungen chirurgischen Mikroskopbildern ähnlicher zu machen.

3. Ein inverser Pixel-Shuffle-Verlustterm wird hinzugefügt, um effektiv periodische Artefakte zu reduzieren, die in vorherigen Methoden vorhanden waren, und lokale räumliche Details zu bewahren.

Die Bewertung dieser Methode wurde sowohl quantitativ als auch qualitativ durchgeführt. Die Ergebnisse zeigen grosses Potenzial für die Integration dieser Technik in Echtzeit-Chirurgiesysteme und verbessern die klinischen Workflows.

#Der Demosaicking-Prozess

Der Demosaicking-Algorithmus beginnt mit einer bilinearen Interpolation, die auf das Eingangs-Snapshot-Mosaikbild angewandt wird. Dieser Schritt zielt darauf ab, ein vollständig abgetastetes räumliches und spektrales Gitter wiederherzustellen. Dann dient das interpolierte Bild als Eingabe für das Demosaicking-Netzwerk, das das verfeinerte hyperspektrale Bild erzeugt.

Viele Deep-Learning-Techniken, die sich für Bildsuperauflösung und Demosaicking eignen, können für diese Aufgabe angepasst werden. Ein modifiziertes Res2-Unet-Modell wird aufgrund seiner beeindruckenden Leistung in früheren Herausforderungen ausgewählt.

#Zyklus-Konsistentes adversariales Training

Das vorgeschlagene Modell verwendet ein zyklus-konsistentes Design. Das Generatornetzwerk wird trainiert, um Bilder zu erstellen, die chirurgischen Mikroskopbildern ähneln. Ein Diskriminator wird ebenfalls verwendet, um sowohl generierte Bilder als auch echte Bilder zu bewerten, was hilft, die Authentizität der Ergebnisse zu verbessern.

Um sicherzustellen, dass die aus der RGB-Rekonstruktion erzeugten Bilder mit den originalen hyperspektralen Bildern konsistent bleiben, wandelt ein spektrales Rückgewinnungsmodell RGB-Bilder wieder in hyperspektrale Bilder um. Eine Verlustfunktion wird dann eingeführt, um die Konsistenz während des gesamten Prozesses aufrechtzuerhalten.

#Umwandlung zwischen hyperspektralen und RGB-Bildern

Die traditionelle Methode zur Umwandlung hyperspektraler Bilder in RGB umfasst eine Farbanpassungsfunktion, die Spektraldaten in einen bestimmten Farbraum abbildet. Diese Methode kann manchmal versagen, um das gewünschte visuelle Ergebnis genau darzustellen, insbesondere im roten Spektrum, das in neurosurgischen Bildern oft prominent ist.

Um die Einschränkungen der traditionellen Methode zu überwinden, wird ein Multi-Layer-Perceptron (MLP)-Modell eingesetzt. Dieses Modell erweitert die spektrale Signatur an jedem Pixel, während sichergestellt wird, dass die räumlichen Details nicht verändert werden.

Während die Umwandlung von RGB-Bildern zurück in hyperspektrale Bilder komplex bleibt, haben zahlreiche Forscher Fortschritte in der Erreichung einer besseren spektralen Rückgewinnung gemacht. In dieser Arbeit wurde ein Adaptive Weighted Attention Network (AWAN) übernommen, um die Beziehungen zwischen den Merkmalen während des Rückgewinnungsprozesses besser zu erfassen.

#Artefakte mit inverser Pixel-Shuffle-Verlust adressieren

Die für hyperspektrales Demosaicking entwickelten Netzwerke stossen häufig auf periodische Artefakte. Um dieses Problem zu bekämpfen, reorganisiert der Inverse Pixel Shuffle (IPS)-Ansatz die Bandbilder in Teilbilder. Die Varianz in den globalen Statistiken wird dann als Metrik verwendet, um diese Artefakte zu minimieren.

Die IPS-Verlustfunktion wird während des Trainings zurückpropagiert, wodurch die Konsistenz in den Statistiken aller Teilbilder sichergestellt und lokale Details verbessert werden.

#Experimente und Ergebnisse

Die Daten für die Studie wurden von Patienten gesammelt, die sich einer Neurochirurgie unterzogen. Insgesamt wurden 210 Snapshot-Mosaikbildrahmen manuell für die Studie ausgewählt. Eine signifikante Anzahl dieser Bilder wurde für das Training verwendet, während andere für Validierung und Test reserviert wurden. Hochauflösende RGB-Bilder wurden ebenfalls manuell ausgewählt, um einen robusten Datensatz für die Evaluierung bereitzustellen.

#Trainingsdetails

Das Training mit Generative Adversarial Networks kann instabil sein. Daher ist eine sorgfältige Initialisierung unerlässlich. Zunächst werden die Trainingsdaten verarbeitet, um passende hyperspektrale und RGB-Bildpaare zu erstellen, die für das Pre-Training bestimmter Modelle wichtig sind.

Die vortrainierten Modelle werden dann feinabgestimmt, um die Leistung über die verschiedenen Netzwerke im Demosaicking-Prozess zu verbessern.

#Quantitative Evaluierung der Ergebnisse

Um die Effektivität der vorgeschlagenen Methoden zu bewerten, werden quantitative Vergleiche mit bestehenden Demosaicking-Techniken angestellt, die nicht auf hochauflösenden hyperspektralen Daten basieren. Verschiedene Kennzahlen, wie der BRISQUE-Score und der Fréchet Inception Distance (FID)-Score, werden berechnet, um die Qualität der Ergebnisse zu bewerten.

Die Ergebnisse zeigen, dass der vorgeschlagene Algorithmus andere erheblich übertrifft und eine bessere Qualität der RGB-Visualisierungen erzielt, mit einem deutlich verbesserten BRISQUE-Score.

#Nutzerstudie und Feedback

Eine qualitative Nutzerstudie wurde mit neurochirurgischen Experten durchgeführt. Die Teilnehmer sollten Bilder vergleichen, die von verschiedenen Methoden erzeugt wurden. Die Ergebnisse zeigten eine klare Präferenz für die vorgeschlagene Methode, was ihre Effektivität in der realen Anwendung anzeigt.

Die Teilnehmer hoben die verbesserte Farbgenauigkeit und die insgesamt höhere Qualität der von dem vorgeschlagenen Modell erzeugten Visualisierungen hervor.

#Fazit

Der vorgestellte gan-basierte Ansatz für hyperspektrale Bildgebung in medizinischen Anwendungen stellt einen bedeutenden Fortschritt dar. Indem er keine hochauflösenden hyperspektralen Daten benötigt, die in chirurgischen Umgebungen schwer zu beschaffen sind, verlässt sich die Methode auf verfügbare RGB-Bilder, um die Rekonstruktionen zu verbessern.

Die Kombination aus IPS-Verlust und zyklus-konsistentem adversarialem Training hat die Ergebnisse bemerkenswert verbessert. Auch die RGB-Visualisierung wurde verfeinert, sodass brauchbare Bilder für die chirurgische Anleitung bereitgestellt werden.

Mit starken quantitativen und qualitativen Bewertungen, die die Leistung unterstützen, zeigt dieser Ansatz grosses Potenzial für die Echtzeiteinbindung in chirurgische Umgebungen. Das positive Feedback von neurochirurgischen Experten unterstreicht seine potenzielle Auswirkung in der klinischen Praxis.