Ausrichten von Mikroskopie-Bildern für medizinische Einblicke

Die Registrierung von Mikroskopie-Bildern ist wichtig für die medizinische Forschung und Diagnostik. Dabei geht's darum, Bilder, die mit verschiedenen Techniken aufgenommen wurden, so auszurichten, dass sie leichter verglichen werden können. Eine Herausforderung ist die Registrierung von Bildern aus der Zweit-Harmonischen-Generierung (SHG) Mikroskopie mit denen, die mit Hämatoxylin und Eosin (H E) gefärbt sind. SHG ist eine nicht-invasive Bildgebungsmethode, die Kollagenfasern im Gewebe hervorhebt, aber weniger Details als H E Bilder liefert.

#Die Herausforderung

Das Hauptproblem bei dieser Registrierung ist, dass SHG- und H E-Bilder unterschiedliche Eigenschaften haben. SHG-Bilder enthalten begrenzte Informationen und variieren stark in Helligkeit und Kontrast im Vergleich zu H E-Bildern. Das macht es schwer, gemeinsame Merkmale zu finden. Das Ziel ist es, eine Methode zu entwickeln, die diese beiden unterschiedlichen Bildtypen genau ausrichten kann.

#Vorgeschlagene Methode

Wir schlagen eine neue Methode zur Registrierung von SHG und H E Bildern vor, die aus drei Hauptschritten besteht:

1. Vorverarbeitung: In diesem Schritt werden beide Bilder so angepasst, dass sie einander ähnlicher aussehen. Dabei werden die H E-Bilder in ein anderes Farbformat umgewandelt und ihre Helligkeit ausgeglichen. SHG-Bilder werden ebenfalls angepasst, bleiben aber in ihrem ursprünglichen Format. Diese Angleichung hilft, die Bilder besser abzugleichen, indem Rauschen reduziert und die Merkmale besser vergleichbar gemacht werden.

2. Erste Ausrichtung: In diesem Schritt werden spezifische Techniken verwendet, um Schlüsselpunkte in beiden Bildern zu finden und sie anhand dieser Punkte auszurichten. Wir nutzen SuperPoint und SuperGLUE, um diese Punkte zuzuordnen. Diese Methode ist effektiv, selbst wenn die Bilder stark fehlorientiert oder rotiert sind. Sie ermöglicht eine starke erste Ausrichtung, ohne komplexe Modelle neu trainieren zu müssen.

3. Deformierbare Registrierung: Ein optionaler Schritt, der die Bilder weiter anpasst und Flexibilität bei der Ausrichtung ermöglicht. In diesem Schritt geht es darum, optimale Transformationen durch iterative Optimierung zu finden. Dieser Schritt verbessert jedoch nicht immer die Ergebnisse und ist manchmal unnötig, da die erste Ausrichtung oft ausreichend ist.

#Bewertung

Die vorgeschlagene Methode wurde mit einem Satz von 166 Paaren von SHG- und H E-Bildern getestet. Davon wurden 156 Paare zum Trainieren verwendet, während 10 Paare als Validierung dienten. Die Bilder stammen aus menschlichem Brust- und Bauchspeicheldrüsenkrebsgewebe bei hoher Vergrösserung. Die Ergebnisse zeigten, dass unsere Methode eine Erfolgsquote von 88 % bei der korrekten Ausrichtung der Bilder erzielte.

#Ergebnisanalyse

Im Vergleich zu anderen Methoden fanden wir, dass unsere Methode besser abschneidet, besonders bei schwierigen Fällen, in denen die Bilder schwer auszurichten waren. Die erste Ausrichtung funktionierte bei fast allen Validierungspaaren gut. Allerdings brachte die deformierbare Registrierung in den meisten Fällen keine signifikanten Verbesserungen und manchmal verschlechterte sie die Situation.

#Einschränkungen

Trotz des Erfolgs gibt es immer noch einige Einschränkungen unserer Methode. Der erste Ausrichtungsprozess kann zeitaufwendig sein und dauert im Schnitt etwa 40 Sekunden pro Bildpaar. Das liegt teilweise daran, dass die Methoden SuperPoint und SuperGlue auf das Finden von Übereinstimmungen bei verschiedenen Rotationen und Massstäben angewiesen sind, was die Verarbeitungszeit verlängert.

Ausserdem kann die deformierbare Registrierung die Ausrichtung verfeinern, führt aber nicht immer zu besseren Ergebnissen wegen der Unterschiede im Bildinhalt. Die Bilder können unterschiedliche Strukturen aufweisen, was die Ausrichtung erschwert.

#Beobachtungen

Interessanterweise übertrifft unsere Methode, die SuperPoint und SuperGlue kombiniert, einige neuere Techniken, auch wenn diese angeblich vielseitiger sind. Das deutet darauf hin, dass ältere Methoden für diese spezielle Art der Bildregistrierung weiterhin wertvoll sein können.

Wir haben auch festgestellt, dass es im Allgemeinen einfacher ist, ganze Bilder zu registrieren als ausgeschnittene Abschnitte. Bei der Verwendung von ausgeschnittenen Bildern kann es schwierig sein, passende Merkmale zu finden, während die Verwendung ganzer Bilder besseren Kontext bieten und den Erfolg bei der Zuordnung verbessern kann.

#Zukünftige Richtungen

In Zukunft schlagen wir vor, die Herausforderungen in diesem Bereich in zwei Teile zu trennen: zunächst die Ausrichtung ganzer Bilder und dann die Verfeinerung der Ausrichtung von ausgeschnittenen Abschnitten. Das könnte den Registrierungsprozess vereinfachen und die Genauigkeit verbessern.

#Fazit

Zusammengefasst haben wir eine Methode zur Registrierung von SHG- und H E-Bildern entwickelt, die effektive Vorverarbeitung, starke erste Ausrichtung durch Schlüsselpunktzuordnung und optionale Verfeinerung durch deformierbare Registrierung kombiniert. Unsere Methode zeigt vielversprechende Ergebnisse bei der Ausrichtung dieser unterschiedlichen Arten von Mikroskopiebildern und steht anderen Forschern zur Verfügung. Dieser Fortschritt könnte in verschiedenen medizinischen Forschungsanwendungen helfen und zu einer besseren Analyse und Verständnis von Gewebeproben führen.