Fortschritte in der Satellitenbildanalyse durch Wiederholungen

Jüngste Fortschritte in der Analyse von Satellitenbildern haben viel von Methoden aus dem Bereich der Computer Vision profitiert. Diese Methoden beinhalten oft Modelle, die auf grossen und vielfältigen Datensätzen trainiert wurden. Allerdings haben Satellitenbilder spezielle Eigenschaften, die von den Standard-Computer-Vision-Techniken nicht vollständig berücksichtigt werden. Ein Hauptmerkmal ist die Vielzahl von Bildern, die über die gleiche Stelle im Laufe der Zeit aufgenommen werden.

In diesem Artikel geht es darum, wie man diese Mehrfachbilder, die als Revisits bezeichnet werden, am besten nutzen kann, um vortrainierte Fernerkundungsmodelle zu verfeinern. Wir untersuchen speziell die Segmentierung von Umspannwerken, was wichtig für das Management des Klimawandels und von Energieressourcen ist. Durch verschiedene Tests mit unterschiedlichen Verarbeitungsansätzen dieser Revisits in verschiedenen Modell-Designs haben wir festgestellt, dass das Zusammenführen von Daten aus verschiedenen Revisits in den versteckten Schichten des Modells am besten funktioniert. Ausserdem haben wir herausgefunden, dass Modelle, die auf SWIN Transformer-Technologie basieren, traditionelle Modelle wie U-Nets und ViTs in diesem Aspekt übertreffen. Unsere Erkenntnisse haben wir bei einer weiteren Aufgabe, der Schätzung der Gebäudedichte, bestätigt.

#Die wachsende Bedeutung von Fernerkundungsdaten

Mit zahlreichen staatlichen Satellitenprojekten sind eine Fülle von Fernerkundungsdaten jetzt öffentlich verfügbar und werden kontinuierlich aktualisiert. Der Anstieg verfügbarer Daten, gepaart mit Verbesserungen in Methoden der Computer Vision, hat das Interesse geweckt, fortschrittliche Techniken auf Satellitendaten anzuwenden. Diese Werkzeuge haben viele Anwendungen, insbesondere bei der Bekämpfung des Klimawandels. Zum Beispiel kann die genaue Kartierung von Strukturen wie Strassen und Gebäuden bei der Stadtplanung und der Katastrophenbewältigung helfen. Die Überwachung von Landnutzungsänderungen kann dabei helfen, die städtische Ausbreitung und Abholzung nachzuvollziehen. Die Identifizierung der Position und Art von Schiffen auf See kann dabei helfen, illegale Aktivitäten wie Fischerei und Bergbau aufzudecken. Die Vorhersage von Erträgen kann Herausforderungen durch Klimavariabilität angehen. Schliesslich kann die Überwachung von Naturkatastrophen die Notfallreaktionen verbessern und Verluste von Menschen und Eigentum verringern. Trotz dieser Fortschritte müssen viele klimabezogene Herausforderungen noch vollständig die Fernerkundungsdaten nutzen.

Fernerkundungsaufgaben hängen oft von allgemeinen Computer Vision-Modellen ab, die für andere Bildtypen entwickelt wurden. Satellitenbilder weisen jedoch bemerkenswerte Unterschiede zu diesen anderen Datensätzen auf. Ein bemerkenswertes Merkmal ist die Verfügbarkeit von mehreren Bildern, die zu unterschiedlichen Zeiten aufgenommen werden. Die Häufigkeit, mit der ein Satellit dasselbe Gebiet erneut besucht, wird als zeitliche Auflösung bezeichnet und kann stark variieren. Zum Beispiel besucht der Sentinel-2-Satellit einen Standort alle 10 Tage, und seine kombinierte Konstellation kann das auf alle 5 Tage reduzieren. Einige Revisits liefern möglicherweise aufgrund von Faktoren wie Bewölkung keine nützlichen Daten, aber die Existenz dieser Mehrfachbilder bietet einzigartige Möglichkeiten. Frühere Studien haben Revisits auf verschiedene Weise genutzt, indem sie sie entweder als Datenexpansion behandelt oder zeitliche Merkmale kombiniert haben, um die Leistung zu verbessern.

#Effektive Nutzung von Revisits

Unser Ziel war es, die beste Möglichkeit zu bestimmen, wie Revisits in moderne vortrainierte Fernerkundungsmodelle integriert werden können. Wir haben einen praktischen Ansatz gewählt, indem wir die Segmentierung von Umspannwerken als unseren Testfall verwendet haben. Dieses Datenset wurde von TransitionZero gesammelt, um offene Zugangsdaten über den Energiemarkt in schwer zugänglichen Regionen zu schaffen. Durch den Vergleich verschiedener Methoden über mehrere beliebte Modell-Designs haben wir entdeckt, dass das Zusammenführen von Informationen aus mehreren Revisits in den Verarbeitungsbereichen des Modells die Leistung erheblich steigert. Um unsere Ergebnisse zu validieren, haben wir die Experimente zur Schätzung der Gebäudedichte, einer ähnlichen Aufgabe, wiederholt.

#Datensätze für die Analyse

Wir haben zwei Hauptdatensätze für unsere Experimente verwendet: den Power Substation Dataset und den PhilEO Downstream Dataset. Der Power Substation Dataset umfasst Sentinel-2-Bilder von über 27.000 Standorten, von denen die meisten 4 bis 5 Bilder zu unterschiedlichen Zeiten haben. Jedes Bild hat 13 verschiedene Bänder von Daten, die Informationen über mehrere spektrale Bereiche erfassen. Die Bilder wurden bearbeitet, um diejenigen zu entfernen, die von Bewölkung betroffen waren.

Der PhilEO Downstream Dataset enthält ebenfalls globale Sentinel-2-Bilder, die mehrfach aufgenommen wurden. Wir haben diesen Datensatz wegen seiner Relevanz für unsere Segmentierungsaufgabe, die sich auf die Schätzung der Gebäudedichte konzentriert, ausgewählt. Beide Datensätze wurden in Trainings- und Testgruppen aufgeteilt, wobei strenge Massnahmen ergriffen wurden, um eine robuste Bewertung sicherzustellen.

#Strategien für multi-temporale Eingaben

Eine besondere Eigenschaft von Satellitenbildern ist ihre multi-temporale Natur. Satelliten erzeugen mehrere Bilder, weil sie kontinuierlich die Erde umkreisen. Dieses Merkmal stellt einzigartige Herausforderungen und Chancen für Modelle dar, die Satellitenbilder verwenden. Wir haben fünf allgemeine Strategien identifiziert und bewertet, um mit multitemporalen Daten umzugehen, wenn vortrainierte Modelle feinjustiert werden:

#1. Einzelbild-Eingabe

Nur ein Bild aus allen Revisits wird verwendet, während die anderen ignoriert werden.

#2. Erweiterte Einzelbild-Eingabe

Jeder Revisit wird als separates Bild behandelt, wodurch die Grösse des Datensatzes erhöht wird, ohne künstliche Artefakte zu verursachen.

#3. Durchschnittliche Einzelbild-Eingabe

Ein Durchschnittsbild wird aus allen Revisits erstellt und für das Training verwendet.

#4. Latentes Zusammenführen von Multi-Bild-Eingaben

Einzelne Merkmale aus jedem Bild werden in den inneren Schichten des Modells kombiniert, bevor sie in die Ausgabeschicht gelangen.

#5. Ausgabefusion von Multi-Bild-Eingaben

Separate Vorhersagen werden aus jedem Revisit gemacht, und der Median dieser Vorhersagen wird für die endgültige Ausgabe bestimmt.

Unser Hauptbeitrag ist zu zeigen, dass das Zusammenführen von Merkmalen in den versteckten Schichten die Leistung erheblich steigert.

#Modellarchitekturen

Wir haben drei verschiedene Arten von Segmentierungsmodellen getestet, die jeweils für die Strategie der multi-temporalen Eingabe angepasst wurden. Die Modelle umfassten U-Net mit einem ResNet50-Rückgrat, ein Modell mit einem SWIN Transformer-Rückgrat und ein Modell mit einem ViT-Rückgrat. Der Encoder jedes Modells wurde vortrainiert, während der Decoder zufällig initialisiert wurde, um sich während des Trainings anzupassen.

Das U-Net, das ResNet50 verwendet, bearbeitete Bilder, um Merkmale auf verschiedenen Skalen zu extrahieren und diese mithilfe der zuvor genannten zeitlichen Struktur zusammenzuführen. Der SWIN Transformer, der auf einem grossen Fernerkennungsdatensatz vortrainiert wurde, erzeugte Merkmale unterschiedlicher Skalen, bevor sie ähnlich kombiniert wurden. Die ViT-Modelle arbeiteten mit unterschiedlichen Eingabekonfigurationen, die sich auf RGB-Daten konzentrierten, wurden aber gründlich getestet.

#Leistungsevaluation

Wir haben Experimente durchgeführt, um herauszufinden, welches Modell und welcher Ansatz am besten für die Segmentierungsaufgabe mit dem Umspannwerk-Datensatz geeignet sind. Die Ergebnisse bestätigten, dass das SWIN Transformer-Modell sowohl die ViT- als auch die U-Net-Modelle konstant übertraf. Besonders das U-Net schnitt besser ab als das ViT, wahrscheinlich wegen der Verwendung von Skip-Verbindungen, die dazu beitragen, die Qualität während des Segmentierungsprozesses aufrechtzuerhalten.

Darüber hinaus haben wir die Zuverlässigkeit des SWIN-Modells getestet, indem wir es mit einem separaten Satz von Bildern ohne Umspannwerke geprüft haben. Das Modell zeigte eine hohe Genauigkeit und etikettierte weniger als 5% der Bilder falsch.

Um die Effektivität des Vortrainings weiter zu bestimmen, haben wir auch Modelle ohne vorbestehende Gewichte trainiert. Die Ergebnisse zeigten, dass selbst von Grund auf das SWIN-Modell die anderen übertraf, was die Annahme unterstützt, dass Vortraining die Leistung verbessert.

#Wichtige Erkenntnisse

Unsere zentrale Forschungsfrage drehte sich um die besten Wege, Revisits in der Analyse von Satellitenbildern zu nutzen. Das Zusammenführen von Merkmalen aus mehreren Revisits verbessert die Modellleistung erheblich, unabhängig von der verwendeten spezifischen Architektur. Wir haben auch festgestellt, dass das SWIN-Modell konstant überlegene Ergebnisse lieferte.

Diese Erkenntnisse sind besonders relevant für praktische Anwendungen in der Energieplanung und Klimaschutzstrategien. Die Herausforderungen, denen wir gegenüberstanden, sind in vielen Fernerkundungsaufgaben üblich, insbesondere bei kleineren Datensätzen und weniger Rechenleistung. Indem wir effektive Methoden zur Nutzung von Revisits identifizieren, bietet diese Forschung wertvolle Einblicke für viele Forscher, die in angewandten Bereichen tätig sind.

In Zukunft wird es wichtig sein, weitere Wege zu untersuchen, wie man Darstellungen in versteckten Schichten zusammenfügt. Es bleiben Fragen offen, wie viele Revisits für optimale Leistung nötig sind und ob es nach einem bestimmten Punkt abnehmende Erträge gibt. Insgesamt sollten unsere Erkenntnisse auch auf andere Aufgaben anwendbar sein, die sich auf stationäre Merkmale konzentrieren, obwohl wir auch potenzielle Vorteile von Revisits sehen, die zeitlich näher beieinander liegen.

#Fazit

Zusammenfassend hebt diese Studie effektive Methoden hervor, um mehrere Beobachtungen in der Analyse von Satellitenbildern zu nutzen. Durch das Zusammenführen von Daten aus mehreren Revisits in den latenten Schichten erzielten wir signifikante Verbesserungen in der Leistung über verschiedene Modellarchitekturen hinweg. Diese Ergebnisse können zukünftige Ansätze in der Analyse von Satellitenbildern und bei Fernerkundungsanwendungen beeinflussen.