Fortschritte in der Cloud-Maskierung in der Atmosphärenwissenschaft

Künstliche Intelligenz (KI) wird in vielen Bereichen immer wichtiger, aber in einigen wissenschaftlichen Feldern wird ihr Potenzial noch nicht voll ausgeschöpft. Es gibt einen Bedarf an Initiativen, die das Bewusstsein schärfen und Innovationen in diesen Bereichen fördern. Eine solche Initiative ist MLCommons, eine Gemeinschaft, die KI in der Wissenschaft durch Benchmarking unterstützt.

Dieser Artikel konzentriert sich auf einen speziellen wissenschaftlichen Benchmark namens Cloud-Masking. Dieser Benchmark ist wichtig für die Atmosphärenwissenschaften. Er zielt darauf ab, herauszufinden, welche Teile von Satellitenbildern Wolken haben und welche nicht. Dieser Prozess ist entscheidend, um Temperaturen aus Satellitendaten genau zu schätzen.

#Cloud-Masking-Benchmark

Der Cloud-Masking-Benchmark besteht darin, Satellitenbilder zu nutzen, um Wolkenpixel zu bestimmen. Die Europäische Weltraumorganisation hat mehrere Satelliten gestartet, darunter Sentinel-3, um die globale Umwelt zu überwachen. Sentinel-3 hilft dabei, Daten über die Ozeanoberflächentopographie und die Oberflächentemperatur zu sammeln. Der erste Schritt zur Analyse dieser Temperaturen ist das Cloud-Masking. Wolken können Temperaturmessungen verzerren, daher ist es wichtig, sie zu identifizieren und auszublenden.

Es gibt verschiedene Methoden für das Cloud-Masking. Diese reichen von einfachen regelbasierten Techniken bis hin zu komplexeren Deep-Learning-Ansätzen. Regelbasierte Methoden könnten Schwellenwerttests oder bayesianisches Masking verwenden. Der bayesianische Ansatz wendet vorherige meteorologische Informationen an, um die Wahrscheinlichkeit zu bestimmen, dass jeder Pixel wolkig oder klar ist. Deep-Learning-Methoden hingegen behandeln das Cloud-Masking als eine Bildsegmentierungsaufgabe, wobei Modelle wie U-Net häufig verwendet werden.

Der Cloud-Masking-Benchmark hilft dabei, zu beurteilen, wie gut verschiedene Modelle in dieser Aufgabe abschneiden. Das Ziel ist es, genaue Wolkenmasken aus Satellitenbildern zu erstellen, wodurch genauere Temperaturabschätzungen möglich werden.

#Studienübersicht

Diese Arbeit beinhaltete Einsendungen zum MLCommons Cloud-Masking-Benchmark und wurde auf Hochleistungsrechnersystemen (HPC) an zwei Universitäten durchgeführt. Die Studie umfasste die Aktualisierung und Modifizierung der Referenzimplementierung des Cloud-Masking-Benchmarks, um ein Frühes Stoppen während des Trainings zu ermöglichen.

Der Benchmark wurde auf verschiedenen Systemen durchgeführt, darunter handelsübliche Desktops und HPC-Cluster. Der modifizierte Code und die Ergebnisse stehen anderen zur Verfügung, um darauf aufzubauen.

#Datenquelle

Der für diesen Benchmark verwendete Datensatz besteht aus einer beträchtlichen Menge an Satellitenbildern, die vom Sentinel-3-Satelliten stammen. Er umfasst 180 GB an Bildern, mit 1070 einzelnen Bildern, die zu unterschiedlichen Tageszeiten aufgenommen wurden. Diese Bilder kommen mit Wolkenmasken, die mit bayesianischen Techniken erstellt wurden.

Der Datensatz ist in Trainings- und Testsets aufgeteilt, was eine umfassende Bewertung der Cloud-Masking-Algorithmen ermöglicht. Das Trainingsset enthält 970 Bilder, während das Testset 100 Bilder umfasst. Jedes Bild wird von verschiedenen Kanälen begleitet, die unterschiedliche Datentypen bereitstellen, wie Helligkeit und Reflektivität.

#Datenvorverarbeitung

Bevor die Satellitenbilder für das Training und die Tests verwendet werden, sind Vorverarbeitungsschritte nötig. In der Trainingsphase werden Bilder zugeschnitten und in kleinere Patches unterteilt. Dieser Prozess hilft, die Menge an Daten zu reduzieren, die das Modell auf einmal verarbeiten muss. Für das Testdatenset werden die Bilder in Patches ohne Randomisierung geschnitten.

Das bedeutet, dass jedes Testbild in kleinere Einheiten unterteilt wird, was es dem Modell erleichtert, sie zu verarbeiten. Nach der Vorhersage werden die Ausgabepatches wieder zu vollständigen Masken zusammengesetzt, damit sie mit der generierten Grundwahrheit bewertet werden können.

#Modellarchitektur

Der Benchmark verwendet ein U-Net-Modell für das Cloud-Masking. Diese Architektur ist darauf ausgelegt, für jeden Pixel in einem Bild ein Label auszugeben, anstatt ein einzelnes Label für das gesamte Bild bereitzustellen. Das Modell erfasst zuerst grössere kontextuelle Informationen in einem kontrahierenden Pfad und verwendet dann einen symmetrischen expandierenden Pfad, um die Auflösung zu verbessern, was eine bessere Lokalisierung der Ausgabe ermöglicht.

#Protokollierung und Ergebnisse

Die Protokollierung spielt eine wichtige Rolle im Management von Experimenten und der Reproduzierbarkeit von Ergebnissen. Die Standard-Protokollierungsbibliothek, MLPerf/MLlog, wird verwendet, um Protokolle zu erstellen, die wichtige Informationen über jeden Lauf enthalten. Allerdings sind die Protokolle möglicherweise nicht leicht für Menschen lesbar. Um dem entgegenzuwirken, verwenden einige Teams alternative Protokollierungstools, die klarere Ausgaben bieten.

Die Ergebnisse des Benchmarks beinhalten sowohl wissenschaftliche Metriken, wie Genauigkeit, als auch Leistungsmetriken, wie die benötigte Zeit für Training und Inferenz.

#Recheninfrastruktur

Die Studie wurde unter Verwendung mehrerer Recheninfrastrukturen durchgeführt. Jedes System hat unterschiedliche Eigenschaften, die seine Leistungsfähigkeit beim Ausführen des Benchmarks beeinflussen. Zum Beispiel ist das NYU Greene HPC ein Allzweck-Cluster, der verschiedene Jobtypen und -grössen verarbeiten kann, während das UVA Rivanna HPC auf einem Kondominium-Modell basiert, bei dem verschiedene Gruppen Ressourcen beisteuern.

Die Ergebnisse des Benchmarking-Prozesses heben die Fähigkeiten der verschiedenen Systeme bei der Ausführung der Cloud-Masking-Algorithmen hervor.

#Code-Modifikationen

Die Referenzimplementierung für diesen Benchmark wurde vom Rutherford Appleton Laboratory bereitgestellt. Einige Modifikationen wurden vorgenommen, um die Funktionalität zu verbessern, darunter die Hinzufügung des frühen Stoppens, um Overfitting zu vermeiden. Frühes Stoppen ermöglicht es dem Modell, das Training zu beenden, wenn sich die Leistung nach einer festgelegten Anzahl von Epochen nicht verbessert.

Die von den Teams vorgenommenen Modifikationen verbesserten die Genauigkeitsberechnungen und ermöglichten einfachere Experimente mit Hyperparametern.

#Verschiedene Ansätze

Die Einsendungen zum Cloud-Masking-Benchmark unterschieden sich zwischen den beiden Universitäten. Das NYU-Team entschied sich für einen manuellen Batch-Skriptansatz, während das UVA-Team ein Tool namens cloudmesh-ee verwendete, das die Verwaltung von Hyperparametersuchen und Experimentdurchführungen vereinfacht.

Cloudmesh-ee ermöglicht es den Nutzern, Bereiche für verschiedene Hyperparameter in einer einzigen Konfigurationsdatei anzugeben, was den Prozess effizienter macht, als mehrere separate Dateien zu erstellen.

#Ergebnisanalyse

Die Ergebnisse aus den Benchmarks zeigten die Leistung für Training und Inferenz über verschiedene Systeme. Das NYU-Team trainierte sein Modell für 200 Epochen und setzte frühes Stoppen mit einer Geduld von 25 Epochen ein. Sie beobachteten Schwankungen im Validierungsverlust, die auf die Natur der Grundwahrheitsdaten zurückzuführen sind.

Die endgültige Genauigkeit des Modells auf NYU Greene betrug 0,896, während die durchschnittliche Inferenzgenauigkeit über fünf Läufe 0,889 betrug.

Im Gegensatz dazu berichtete das UVA-Team über Ergebnisse mit cloudmesh-ee, was einen reibungsloseren Prozess für die Durchführung ihrer Benchmarks ermöglichte. Der Vergleich zwischen den Plattformen zeigte Unterschiede in der Leistungsfähigkeit, wobei jede Plattform unterschiedliche Stärken in Bezug auf Geschwindigkeit und Effizienz aufwies.

#Herausforderungen bei der Reproduzierbarkeit

Während des Benchmarking-Prozesses traten einige Herausforderungen bezüglich der Reproduzierbarkeit auf. Bei der Verwendung von Zufallszahlengeneratoren führen definierte Seeds nicht immer zu denselben Ergebnissen in verschiedenen Experimenten, insbesondere auf GPUs. Zusätzliche Vorsichtsmassnahmen wurden getroffen, indem zusätzliche Seed-Initialisierungen für verschiedene Bibliotheken bereitgestellt wurden.

#Fazit

Diese Studie präsentiert die Einsendung zum MLCommons Cloud-Masking-Benchmark und hebt die Bedeutung des Cloud-Maskings in den Atmosphärenwissenschaften hervor. Der Benchmarking-Prozess zeigt das Potenzial von KI zur Verbesserung wissenschaftlicher Aufgaben und weist gleichzeitig auf die Notwendigkeit einer angemessenen Infrastruktur, Datenhandhabung und Modelltrainingstechniken hin.

Die Arbeit zeigt die Zusammenarbeit von Teams aus verschiedenen Universitäten und betont die Bedeutung von Codes und Benchmarks, die der breiteren Gemeinschaft zugänglich sind. Durch das Teilen von Ergebnissen und Methoden können zukünftige Fortschritte im Cloud-Masking und verwandten KI-Anwendungen darauf aufbauen.

#Zukünftige Arbeit

Wenn man in die Zukunft schaut, gibt es viele Möglichkeiten, diese Forschung zu erweitern. Fortlaufende Verbesserungen in KI-gesteuerten Cloud-Masking-Techniken können die Genauigkeit und Effizienz der Satellitendatenanalyse weiter verbessern.

Das Untersuchen zusätzlicher Modelle und Methoden könnte zu einer besseren Leistung und zu neuen Erkenntnissen in den Atmosphärenwissenschaften führen. Das Teilen von Benchmarks und Ergebnissen innerhalb der wissenschaftlichen Gemeinschaft wird auch Zusammenarbeit und Innovation bei der Anwendung von KI auf verschiedene wissenschaftliche Bereiche fördern.

Mit dem Auftreten neuer Technologien und Techniken wächst das Potenzial von KI in der Forschung weiter und ebnet den Weg für bedeutendere Entdeckungen und Fortschritte im Verständnis unserer Umwelt.