Echtzeit 3D-Szenenrekonstruktion für Operationen

Die 3D-Szenenrekonstruktion aus endoskopischen Videos ist wichtig, um chirurgische Verfahren zu verbessern. Bei diesem Prozess wird ein 3D-Modell des chirurgischen Bereichs erstellt, und zwar mit Videos, die von einer speziellen Kamera gemacht wurden, die für innere Untersuchungen konzipiert ist. Wenn wir diese Modelle in Echtzeit genau erstellen können, hilft das Chirurgen, die Umgebung besser zu verstehen und ihre Aufgaben effektiver zu erledigen.

In diesem Artikel wird eine neue Methode zur Online-3D-Rekonstruktion und -Verfolgung vorgestellt, die speziell für Videos entwickelt wurde, die während endoskopischer Eingriffe aufgenommen wurden. Unser Ansatz konzentriert sich darauf, die chirurgische Szene genau zu modellieren, während sie sich verändert, was entscheidend ist, weil sich Gewebe im Körper bewegen und deformieren kann.

#Bedeutung der 3D-Rekonstruktion in der Chirurgie

Eine klare 3D-Darstellung des chirurgischen Standorts kann bei verschiedenen Aufgaben enorme Vorteile bieten. Zum Beispiel kann sie bei der chirurgischen Ausbildung helfen, Chirurgen ermöglichen, Überlagerungen von früheren Bildern zu sehen, und die Funktionsweise von robotergestützten Chirurgiesystemen verbessern. Daher ist es unerlässlich, Tools zu haben, die in Echtzeit zuverlässige 3D-Modelle chirurgischer Bereiche liefern können, um die Zukunft der chirurgischen Assistenz zu sichern.

Jüngste Fortschritte in der Technologie haben zur Entwicklung vielversprechender Methoden zur 3D-Rekonstruktion geführt. Viele dieser Methoden nutzen neuronale Techniken, könnten aber Einschränkungen haben, z. B. benötigen sie viel Verarbeitungszeit oder können Gewebebewegungen nicht gut handhaben. Andere Methoden haben Potenzial gezeigt, erfordern jedoch weitere Anpassungen, um effektiv in chirurgischen Umgebungen zu funktionieren.

#Unser Ansatz

Unsere Arbeit konzentriert sich auf die Erstellung von 3D-Modellen aus endoskopischen Videodaten. Wir haben ein System entwickelt, das dichte Punkte in einem Video verfolgen kann, während es das Modell kontinuierlich aktualisiert, wenn neue Teile der Szene sichtbar werden. Unsere Technik verwendet ein Verfahren namens Gaussian Splatting für schnelle Modell-Updates und beinhaltet eine Methode, um Gewebebewegungen mithilfe einer kleinen Anzahl von Schlüssel-Punkten zu verwalten.

Wir haben auch einen Anpassungsalgorithmus entwickelt, der hilft, die Modellparameter feinabzustimmen, um sicherzustellen, dass Verfolgung und Rekonstruktion genau bleiben. Unsere Experimente zeigen, dass unsere Methode effektiv arbeitet, andere bestehende Verfolgungsalgorithmen übertrifft und vergleichbare Ergebnisse mit Methoden erzielt, die Daten offline verarbeiten.

#Szenenrepräsentation

Unser System zur Szenenrekonstruktion ist so aufgebaut, dass es Oberflächenpunkte über Videoframes hinweg verfolgt. Jedes Videoframe besteht aus einem Farbbild, Tiefeninformationen und der Position der Kamera. Unsere Verfolgungsmethode kombiniert statische Szenelemente mit Veränderungen, die im Gewebe während der Operation auftreten.

Das Modell, das wir erstellt haben, umfasst eine starre Komponente, die den fixen Teil der Szene darstellt und durch eine Sammlung von farbigen Punkten, den sogenannten Gauss-Punkten, repräsentiert wird. Gewebebewegungen werden modelliert, indem Verschiebungen und Rotationen zu diesen Punkten hinzugefügt werden.

Um Gewebeveränderungen zu verwalten, nutzen wir Kontrollpunkte, die helfen, darzustellen, wie die Szene während der Operation verändert wird. Diese Kontrollpunkte haben Positionen, Übersetzungen und Rotationsänderungen, die dazu beitragen, die Bewegungen des Gewebes genau darzustellen. Wir verwenden einen mathematischen Ansatz, um die Auswirkungen dieser Kontrollpunkte auf die Hauptpunkte in der Szene zu kombinieren.

#Bilddarstellung

Um eine visuelle Darstellung der Szene zu erstellen, verarbeitet unsere Methode die Sammlung von Punkten durch eine Rendering-Funktion. Diese Funktion erzeugt die Farbe jedes Pixels basierend auf den Positionen und den Eigenschaften der Gaussian-Punkte. Wir generieren Bilder, die sowohl Farbe als auch Tiefe zeigen, um einen vollständigen Blick auf den chirurgischen Bereich zu bieten.

#Online-Modellanpassung

Unser Modellanpassungsprozess funktioniert kontinuierlich, während neue Videoframes empfangen werden. Für jedes neue Frame passen wir die Modellparameter an, um die Unterschiede zwischen dem, was im Video beobachtet wird, und dem, was das Modell vorhersagt, zu minimieren. Unser Anpassungsprozess besteht aus mehreren Schritten:

1. Aktualisierung der kanonischen Szene: Während sich die Kamera bewegt, können wir zu Beginn keine feste Szene erstellen. Stattdessen fügen wir schrittweise neue Punkte hinzu, um neu sichtbare Bereiche abzudecken.

2. Einrichtung von Kontrollpunkten: Kontrollpunkte werden an bestimmten Stellen basierend auf den vorhandenen Punkten platziert. Wir verwenden optischen Fluss, eine Technik, die die Bewegung zwischen Frames berechnet, um diese Punkte effektiv zu setzen.

3. Minimierung von Unterschieden: Schliesslich arbeiten wir daran, die Unterschiede zwischen den beobachteten und vorhergesagten Bildern zu minimieren und das Modell entsprechend anzupassen, um die Passgenauigkeit und Genauigkeit zu verbessern.

#Experimentelle Ergebnisse

Um unsere Methode zu testen, haben wir einen öffentlich verfügbaren Datensatz verwendet, der verschiedene chirurgische Szenen umfasst. Dieser Datensatz wurde aufgrund seiner herausfordernden Situationen, einschliesslich Gewebebewegungen und Okklusionen, ausgewählt. Wir haben unsere Verfolgungsmethode bewertet, indem wir manuell Schlüssel-Punkte annotiert haben, um einen Vergleich zu ermöglichen.

In unseren Experimenten haben wir unsere Methode mit bestehenden Techniken verglichen, um zu sehen, wie gut sie funktioniert. Unsere Ergebnisse zeigten, dass unser Ansatz in verschiedenen Fällen konstant besser abschnitt und in einigen Szenarien eine perfekte Verfolgungsquote erreichte.

Unsere Methode erwies sich als robust gegenüber Hindernissen, wie Okklusionen, die durch chirurgische Instrumente oder durch schnelle Kamerabewegungen verursacht wurden. Während traditionelle Methoden Schwierigkeiten hatten, während langer Okklusionen zu verfolgen, konnte unser System die Verfolgung effektiv aufrechterhalten.

Es gab jedoch einige Bereiche, in denen unsere Methode Herausforderungen hatte. In Fällen mit repetitiver oder wenig Textur führten lange Okklusionen manchmal zu Schwierigkeiten bei der genauen Modellierung von Gewebebewegungen. Das trat auf, weil das System die Gewebeveränderungen während dieser Zeit nicht beobachtete, was die Rekonstruktion beeinträchtigte.

#Vergleich mit Offline-Methoden

Wir haben auch unsere Methode mit etablierten Offline-Rekonstruktionstechniken verglichen. Obwohl es sich um eine Online-Methode handelt, zeigte unser Ansatz ähnliche Leistungslevels wie diese traditionellen Methoden, während er deutlich schneller war. Das deutet darauf hin, dass die Online-Verarbeitung die Anforderungen an die chirurgische Assistenz erfüllen kann, ohne die Qualität zu opfern.

#Zusätzliche Studien

Im Rahmen unserer Forschung haben wir eine Studie durchgeführt, um die Beiträge verschiedener Komponenten unserer Methode zu analysieren. Wir haben Variationen unseres Ansatzes getestet, um zu verstehen, welche Elemente am meisten Einfluss hatten. Die Ergebnisse zeigten, dass mehrere Merkmale, wie die Energiegleichungen und die Verwendung von Kontrollpunkten, entscheidend zur Verbesserung der Leistung beitrugen.

#Anwendung in der 3D-Segmentierung

Unsere Methode bietet nicht nur 3D-Verfolgung, sondern unterstützt auch weitere Aufgaben, wie die 3D-semantische Segmentierung. Damit können wir verschiedene Teile der Szene kategorisieren, wie Organe oder chirurgische Werkzeuge. Durch die Anwendung eines Segmentierungsnetzwerks können wir verschiedenen Elementen Labels zuweisen, was die umfassende Analyse der Szene erleichtert.

#Fazit

Zusammenfassend haben wir ein Framework für die Online-3D-Szenenrekonstruktion und -verfolgung aus stereoskopischen endoskopischen Videos entwickelt. Durch die Darstellung der Szene mit Gaussian-Punkten und die Berücksichtigung von Gewebeverformungen mithilfe von Kontrollpunkten haben wir eine effektive Echtzeitalösung erreicht. Unsere Methode zeigt erhebliches Potenzial für verschiedene Anwendungen, einschliesslich chirurgischer Ausbildung und Augmented-Reality-Systemen. Zukünftige Verbesserungen sollten sich darauf konzentrieren, die Verarbeitsgeschwindigkeit für den Echtzeiteinsatz zu erhöhen und die langfristigen Verfolgungsfähigkeiten in komplexen chirurgischen Szenen zu verbessern.