Evaluierung von Selbstüberwachtem Lernen für Sonardaten

Die Nutzung von Computer Vision in Unterwasserrobotern bringt Herausforderungen mit sich, weil die Bedingungen im Ozean schwierig sind. Traditionelle Methoden, die auf Kamerabildern basieren, funktionieren unter Wasser nicht gut. Probleme wie schwaches Licht, trübes Wasser und Partikel erschweren es diesen Systemen, zu sehen. Daher ist Sonartechnologie, besonders synthetisches Apertursonar (SAS), populär geworden. SAS kann klare Bilder des Meeresbodens erstellen. Obwohl diese Bilder detailliert sind, sind sie auch gross und schwer zu kennzeichnen, was notwendig ist, um Deep-Learning-Modelle zu trainieren.

Deep-Learning-Modelle, bekannt als tiefe neuronale Netzwerke (DNNs), gewinnen an Beliebtheit, weil sie wichtige Merkmale in Daten ohne manuelle Eingaben identifizieren können. Allerdings benötigen sie eine Menge gekennzeichneter Daten und leistungsstarker Computer, um gut zu lernen. Das ist besonders herausfordernd für SAS, wo gekennzeichnete Daten im Vergleich zu traditionellen Bildern rar sind.

In letzter Zeit hat sich Selbstüberwachtes Lernen (SSL) als mögliche Lösung herauskristallisiert. SSL ermöglicht es Modellen, Merkmale zu lernen, ohne gekennzeichnete Daten zu benötigen, was helfen könnte, die Herausforderungen bei der Kennzeichnung von SAS-Daten zu bewältigen.

#Studienziel

In dieser Studie werden zwei verschiedene SSL-Modelle in Situationen bewertet, in denen die Kennzeichnung begrenzt ist. Die Leistung von zwei bekannten SSL-Algorithmen, MoCov2 und BYOL, wird mit einem traditionellen überwachten Lernmodell, ResNet18, verglichen. Die Aufgabe besteht darin, Bilder zu klassifizieren, die entweder ein Objekt von Interesse enthalten oder nicht. Das Ziel ist es herauszufinden, wie gut die SSL-Modelle abschneiden, wenn nur eine geringe Anzahl von Labels verwendet wird, und ob sie die volle Leistung des überwachten Modells bei Verfügbarkeit aller Labels erreichen oder übertreffen können.

#Verwandte Arbeiten

SSL hat sich zu einem wichtigen Forschungsbereich entwickelt, besonders in der Fernerkundung. Obwohl SSL in vielen Bereichen Fortschritte gemacht hat, befindet sich die Anwendung in SAS noch in den Anfängen. Einige aktuelle Studien haben gezeigt, dass SSL in Sonaranwendungen gut abschneiden kann und ähnliche Ergebnisse wie traditionelle überwachte Methoden erzielt.

Forschungen haben auch gezeigt, dass SSL in synthetischem Aperturradar (SAR), das mit SAS verwandt ist, effektiv sein kann. Diese Ergebnisse zeigen, dass SSL grosse Mengen ungekennzeichneter Daten nutzen kann, um nützliche Ergebnisse zu erzielen. Allerdings ist die Anwendung dieser Methoden auf SAS-Daten nicht üblich. Das könnte an den spezifischen Schwierigkeiten liegen, die die Arbeit mit SAS-Daten mit sich bringt, wie Sensitivität und der Bedarf an erheblichen Rechenressourcen.

#Experimentelle Methoden

Diese Forschung vergleicht die Leistung verschiedener SSL-Modelle. Die Bewertung erfolgt sowohl qualitativ als auch quantitativ. Qualitative Bewertungen beinhalten die Visualisierung, wie die Modelle Daten darstellen, während quantitative Bewertungen die Klassifikationsresultate betrachten.

Um einen fairen Vergleich sicherzustellen, nutzen alle SSL-Modelle das gleiche ResNet18-Backbone. Das Training fand mit dem PyTorch Lightning Framework über 100 Epochen auf mehreren Nvidia A6000 GPUs statt, um die Leistung zu verbessern. Eine Strategie namens DDP wurde verwendet, um Konsistenz im Training über GPUs hinweg zu gewährleisten.

Die Hauptaufgabe bestand in der binären Bildklassifikation unter Verwendung einer Verlustfunktion namens binäre Kreuzentropie. Bei der Bewertung, ob ein Bild ein Objekt von Interesse enthielt, wurde ein Schwellenwert von 50 % gesetzt. Die SSL-Modelle wurden mit teilweisen Labels feinjustiert, während das Backbone-Modell statisch blieb. Frühes Stoppen wurde während des Trainings verwendet, um unnötige Berechnungen zu vermeiden.

#Trainingsdaten

Gekennzeichnete Multiband-SAS-Daten zu finden, ist schwierig. Aufgrund der hohen Auflösung der SAS-Bilder müssen die Daten oft in kleinere Abschnitte unterteilt werden. Um den Datensatz vorzubereiten, wurde eine Anomalieerkennungsmethode verwendet, um potenzielle Objekte aus hochauflösenden Bildern zu extrahieren. Die Bilder wurden verkleinert und in ein 2x224x224-Format angeordnet. Frühere Studien haben gezeigt, dass dieser Multiband-Ansatz gute Ergebnisse liefern kann.

Der für diese Forschung erstellte Datensatz bestand aus vier Teilen: Vortraining, Training, Validierung und Test. Um die Bewertungen einfach zu gestalten, wurden die gekennzeichneten Datensätze so ausgewogen, dass sie gleich viele positive und negative Fälle enthielten.

#SSL-Modelle und ihre Eigenschaften

Diese Studie konzentrierte sich auf zwei verschiedene SSL-Architekturen: MoCov2 und BYOL. MoCov2 verwendet einen kontrastiven Ansatz, was bedeutet, dass es durch den Vergleich ähnlicher und unterschiedlicher Proben lernt. Diese Methode ist effektiv, erfordert jedoch eine sorgfältige Auswahl negativer Proben. BYOL hingegen ist ein nicht-kontrastives Verfahren, das keine negativen Proben benötigt, was das Training einfacher macht.

Beide Modelle verwendeten ähnliche Parameter für das Training und nutzten stark Datenaugmentierungen, um unterschiedliche Beispiele zu erstellen. Diese Augmentationen helfen, Überanpassung zu vermeiden, indem sie vielfältige Trainingsproben erzeugen. Für diese Forschung wurde Rauschen zu den SAS-Bildern hinzugefügt, und es wurden nur horizontale Spiegelungen während des Trainings verwendet.

#Leistungsbewertung

Um die Fähigkeiten der Modelle in der binären Bildklassifikation zu bewerten, wurden mehrere Leistungskennzahlen ausgewählt.

1. Kontrastiver Verlust: Diese Kennzahl misst, wie gut das Modell lernt, zwischen verschiedenen Probentypen während des Trainings zu unterscheiden.
2. Recall: Dies gibt an, welcher Anteil der tatsächlichen positiven Fälle vom Modell korrekt identifiziert wurde.
3. Präzision: Diese misst die Genauigkeit der positiven Identifizierungen, die vom Modell vorgenommen wurden.
4. Area Under the Receiver Operating Characteristic Curve (AUC-ROC): Dies gibt Einblicke in die Leistung des Modells bei verschiedenen Klassifikationsschwellenwerten.
5. Genauigkeit: Obwohl grundlegend, gibt diese Kennzahl den Gesamtanteil korrekt getätigter Vorhersagen an.

#Ergebnisse und Diskussion

Die Integration von SSL in die Analyse von SAS-Daten führte zu einer verbesserten Leistung, besonders wenn nur 1 % oder 5 % der Labels verwendet wurden. Allerdings übertraf das traditionelle ResNet18-Modell beide SSL-Modelle, als alle 100 % der Labels verfügbar waren. Dies deutet darauf hin, dass SSL zwar wichtige Merkmale aus SAS-Daten extrahieren kann, aber nicht das gleiche Niveau an Effektivität wie das überwachte Lernen erreicht, wenn Datenlabels im Überfluss vorhanden sind.

Die Studie zeigte, dass SSL auf SAS anwendbar ist, ähnlich wie es in anderen Bereichen wie SAR und traditionellen Computer Vision-Aufgaben erfolgreich war. Die Ergebnisse deuten darauf hin, dass SSL die Erkennung von Unterwassertargets verbessern kann, insbesondere wenn gekennzeichnete Daten begrenzt sind.

Die Visualisierungen der gelernten Merkmale zeigten, dass sowohl SSL- als auch überwachte Modelle die Sonarbilder effektiv gruppierten. Bilder, die zur gleichen Klasse gehörten, gruppierten sich zusammen, was darauf hindeutet, dass die Modelle in der Lage waren, relevante Merkmale zur Klassifizierung der Sonarbilder zu identifizieren.

#Implikationen der Ergebnisse

Die Ergebnisse deuten darauf hin, dass SSL die Art und Weise verändern könnte, wie SAS-Daten verarbeitet und analysiert werden. Durch die effektive Nutzung der umfangreichen ungekennzeichneten Daten könnte SSL effizientere und kostengünstigere Methoden zur Erkennung von Unterwasserobjekten schaffen.

Darüber hinaus deutet die verbesserte Leistung bei Klassifikationsaufgaben darauf hin, dass SSL die praktische Nutzung von SAS in verschiedenen Bereichen wie Unterwassererkundung und Meeresarchäologie erhöht.

Während die Forschung weiterhin die Nutzung von SSL in der Fernerkundung unterstützt, könnte sie zu weiteren Innovationen in diesem Bereich führen. Es gibt Chancen für zukünftige Forschungen, den Einsatz von Vision Transformers (ViTs) mit SAS-Daten zu untersuchen und multimodale SSL-Ansätze zu erforschen. Dies könnte reichhaltigere Darstellungen liefern und die Leistung weiter verbessern.

Obwohl die Anwendung von SSL in SAS vielversprechend ist, ist es noch ein sich entwickelndes Feld. Eine fortgesetzte Erkundung in diesem Bereich könnte zu erheblichen Fortschritten in der automatisierten Unterwasseranalyse führen.