Verbesserung der Erkennung kleiner Objekte in Luftbildern

Objekte in Luftbildern zu erkennen ist echt knifflig. Luftbilder haben normalerweise viele kleine Objekte, die eng zusammen gepackt und ungleichmässig verteilt sind. Eine gängige Methode, um die Erkennung in diesen überfüllten Bereichen zu verbessern, nennt sich Dichte-Cropping. Diese Methode konzentriert sich darauf, Teile des Bildes zu extrahieren, wo viele kleine Objekte sind, sodass man sie in hoher Detailgenauigkeit verarbeiten kann. Allerdings erfordert diese Technik oft zusätzliche Komponenten, was den Prozess komplizierter macht.

In diesem Artikel präsentieren wir einen effizienten Weg, um Objekte in hochauflösenden Luftbildern durch eine neue Methode namens Cascaded Zoom-in (CZ) Detector zu erkennen. Diese Methode passt den bestehenden Erkennungsprozess an und leitet das Training und die Inferenz basierend auf Dichte. Während des Trainings finden und kennzeichnen wir Dichte-Crops als eine neue Klasse, die wir dann verwenden, um das gesamte Trainingsdataset zu verbessern. Bei der Inferenz erkennen wir zuerst Dichte-Crops zusammen mit den Hauptobjekten und analysieren die Dichte-Crops dann in einer zweiten Phase nochmal. Diese Methode ist einfach in jedes Erkennungssystem zu integrieren und verändert den traditionellen Erkennungsprozess nicht wesentlich.

#Hintergrund

Mit dem Aufkommen von Deep Learning haben sich die Techniken zur Objekterkennung erheblich verbessert. Diese Techniken werden mittlerweile in verschiedenen Bereichen angewendet, einschliesslich Luftbildaufnahmen von Drohnen und Satelliten. Allerdings gibt es beim Analysieren von Luftbildern im Vergleich zu natürlichen Bildern besondere Herausforderungen. Luftbilder sind oft hochaufgelöst und voll mit kleinen Objekten. In gängigen Datensätzen wie Pascal VOC und MS-COCO enthalten Bilder normalerweise nur wenige Objekte, mit durchschnittlich etwa 3 und 7 Objekten. Im Gegensatz dazu haben beliebte Luftdatensätze wie VisDrone und DOTA im Durchschnitt 53 und 67 Objekte pro Bild. Die Auflösungen von Luftbildern können auch viel grösser sein, wodurch die Erkennungsaufgaben weiter kompliziert werden.

#Herausforderungen bei der Erkennung von Luftbildern

Es gibt mehrere wichtige Herausforderungen, wenn es darum geht, kleine Objekte in hochauflösenden Luftbildern zu erkennen. Erstens kann das Reskalieren der Bilder für die Eingabe zu einem Verlust wichtiger Details führen und die Effektivität der Merkmalsextraktion verringern. Zudem können kleine Verschiebungen in den Begrenzungsrahmen zu einem drastischen Rückgang der Erkennungsgenauigkeit führen, was zu mehr falsch positiven Ergebnissen führt. Die typischen Methoden zur Erkennung kleiner Objekte beinhalten oft das Zuschneiden des Bildes in einheitliche Abschnitte und die Verarbeitung jedes Abschnitts separat. Auch wenn dies die Genauigkeit verbessern kann, berücksichtigt es nicht die tatsächliche Verteilung der Objekte im Bild.

Die beste Praxis ist, eine dichtebasierte Zuschneidetechnik zu verwenden, die sich auf überfüllte Bereiche konzentriert, wo kleine Objekte zu finden sind. Allerdings erfordern viele bestehende Methoden zusätzliche Lernmodule und mehrere Trainingsphasen, was sie komplizierter macht als nötig. Das hat viele Praktiker dazu gebracht, einfachere einheitliche Zuschneidemethoden zu verwenden, auch wenn diese nicht so gut abschneiden.

#Der Cascaded Zoom-in Detector

Um diese Probleme anzugehen, schlagen wir den CZ-Detector vor, der sich darauf konzentriert, Dichte-Crops zu verwenden, um die Erkennung von Luftbildern zu verbessern, während der Prozess einfach bleibt. Unser Ansatz nutzt den Standard-Objektdetektor selbst, um Dichte-Crops zu identifizieren und sie als neue Klasse zu kennzeichnen. Das ermöglicht es dem Detektor, während des gesamten Trainings konsistente Signale zu erhalten. Die Dichte-Crops werden als Vorverarbeitungsschritt extrahiert und verbessern die Trainingsdaten, ohne den Kernprozess der Objekterkennung zu verändern.

#Training mit Dichte-Crops

Um unsere Methode umzusetzen, führen wir eine neue Klasse namens „Dichte-Crop“ in die Trainingsannotation ein. Diese Klasse kennzeichnet Bereiche, die zahlreiche kleine Objekte enthalten. So kann sich der Detektor während des Trainings auf diese Regionen konzentrieren und die Objekterkennung verbessern. Wir führen ein iteratives Zusammenführen der markierten Kästen durch, um Dichte-Crops effektiv zu identifizieren. Dieser Prozess umfasst das Erweitern der Begrenzungsrahmen und das Berechnen ihrer Überlappung, um sicherzustellen, dass wir die überfüllten Objektregionen genau erfassen.

#Inferenzprozess

Sobald der CZ-Detektor trainiert ist, verwendet er einen zweistufigen Inferenzprozess. In der ersten Phase erkennt er sowohl die Standardklassenobjekte als auch die Dichte-Crops aus dem Eingabebild. In der zweiten Phase werden diese erkannten Dichte-Crops erneut analysiert, wobei der Schwerpunkt speziell auf den überfüllten Regionen liegt. Das ermöglicht eine detailliertere Analyse kleiner Objekte. Die Ergebnisse aus beiden Phasen werden dann für eine finale Ausgabe kombiniert.

#Datensätze und Bewertung

Für unsere Experimente verwendeten wir zwei bekannte Datensätze für die Erkennung von Luftbildern: VisDrone und DOTA. Die primäre Kennzahl zur Bewertung der Leistung ist die durchschnittliche Präzisionsbewertung, die die Genauigkeit der Erkennung von Objekten verschiedener Grössen berücksichtigt. Der VisDrone-Datensatz besteht aus Drohnenaufnahmen, während der DOTA-Datensatz Satellitenbilder umfasst. Jeder Datensatz stellt seine eigenen Herausforderungen dar, wie unterschiedliche Auflösungen und eine hohe Anzahl von kleinen Objekten.

#VisDrone-Datensatz

Der VisDrone-Datensatz umfasst über 8.500 Bilder mit einer durchschnittlichen Auflösung von etwa 2000x1500 Pixeln. Diese Bilder enthalten Objekte aus zehn Kategorien, die hauptsächlich Fahrzeuge und Fussgänger zeigen. Der Datensatz stellt Herausforderungen aufgrund extremer Klassen- und Massstabsungleichgewichte dar, was ihn ideal für die Untersuchung der Erkennung kleiner Objekte macht.

#DOTA-Datensatz

Der DOTA-Datensatz besteht aus Satellitenbildern mit Auflösungen von 800x800 bis 4000x4000 Pixel. Er enthält über 280.000 annotierte Instanzen in fünfzehn Kategorien. Diese Bilder enthalten sowohl bewegliche als auch unbewegliche Objekte, was sicherstellt, dass unsere Methode unter verschiedenen Szenarien getestet wird.

#Implementierungsdetails

Wir haben den CZ-Detektor mit dem Detectron2-Toolkit implementiert und hauptsächlich die Faster RCNN-Architektur genutzt. Wir haben auch die Leistungsfähigkeit unserer Methode mit dem modernen ankerfreien Detektor FCOS bewertet, um zu sehen, wie gut unser Ansatz verallgemeinert. Für beide Architekturen verwendeten wir ein Feature Pyramid Network (FPN) mit einem ResNet50-Rückgrat.

Unser Training umfasste Datenaugmentierungsstrategien wie Grössenänderung und horizontales Flippen. Das Modell wurde für 70.000 Iterationen mit einem spezifischen Lernratenzeitplan trainiert. Wir wollten die Methode flexibel und benutzerfreundlich halten, daher war die zusätzliche Klasse „Dichte-Crop“ die einzige Änderung, die an der Standard-Erkennungs-Pipeline vorgenommen wurde.

#Vergleich mit Baselines

Wir haben die Leistung unseres CZ-Detektors mit traditionellen einheitlichen Zuschneidetechniken verglichen. Die Ergebnisse zeigen, dass, während das einheitliche Zuschneiden die Erkennungsgenauigkeit verbessert, es dennoch hinter unserem Dichte-Cropping-Ansatz zurückbleibt. Unser CZ-Detektor hat die Erkennungsgenauigkeit erheblich gesteigert, insbesondere bei kleinen Objekten.

Im VisDrone-Datensatz konnten wir Verbesserungen in der durchschnittlichen Präzision beobachten, insbesondere bei kleinen Objekten. Die Methode wurde auch im DOTA-Datensatz getestet, was ähnliche Verbesserungen der Erkennungsleistung bestätigte. Obwohl die Bildrate im Vergleich zum einheitlichen Zuschneiden etwas langsamer war, rechtfertigten die gestiegene Erkennungsgenauigkeit die zusätzliche Zeit.

#Ablationsstudien

Wir haben mehrere Ablationsstudien durchgeführt, um die Wirksamkeit unseres Ansatzes und der einzelnen Komponenten zu validieren. Diese Studien halfen dabei, den Einfluss verschiedener Parameter zu bewerten, wie zum Beispiel den Vertrauensscore, der für Dichte-Crops verwendet wird, und die Qualität der Crops im Trainingsdatensatz.

#Wirksamkeit von Dichte-Crops

Unsere Studien bestätigten, dass die Einbeziehung von Dichte-Crops während des Trainings und der Inferenz die Erkennungsleistung erheblich steigert. Als die Dichte-Crops nicht im Trainingsset enthalten waren, war die Erkennungsgenauigkeit für kleine Objekte deutlich niedriger. Darüber hinaus spielte die Qualität der Crops eine entscheidende Rolle für die Erzielung optimaler Ergebnisse.

#Iterative Zusammenführungsstrategie

Die iterative Zusammenführungsstrategie für die Kennzeichnung von Dichte-Crops erwies sich ebenfalls als effektiv. Dieser Ansatz verbesserte die Qualität der Dichte-Crops, indem sichergestellt wurde, dass sie Gruppen kleiner Objekte in einer Weise umschlossen, die ihre Dichte im Bild aufrechterhielt.

#Ergebnisse mit anderen Detektoren

Um unsere Methode weiter zu validieren, haben wir sie auch auf andere Erkennungsarchitekturen angewendet, einschliesslich des ankerfreien Ein-Stufen-Detektors FCOS. Die Ergebnisse zeigten, dass unser CZ-Detektor die durchschnittliche Präzision konstant verbesserte, was die Idee verstärkt, dass die Verwendung von Dichte-Crops über verschiedene Modellarchitekturen hinweg vorteilhaft ist.

#Vergleich mit State-of-the-Art-Methoden

Wir haben unseren Ansatz mit bestehenden Methoden im Bereich der Luftdetektion verglichen. Unser CZ-Detektor erzielte die höchste durchschnittliche Präzision im VisDrone-Datensatz, was seine Wirksamkeit bei der Erkennung kleiner Objekte unterstreicht. Trotz geringfügiger Leistungseinbussen bei grösseren Objekten bestätigten die insgesamt verbesserten Ergebnisse bei der Erkennung kleiner Objekte die Vorteile unserer Methode.

#Fazit

Zusammenfassend haben wir den Cascaded Zoom-in (CZ) Detector vorgestellt, der Dichte-Crops effektiv nutzt, um die Erkennung kleiner Objekte in hochauflösenden Luftbildern zu verbessern. Durch die einfache Hinzufügung einer neuen Klasse zu Standard-Erkennungsmodellen können wir die Erkennungsgenauigkeit erheblich steigern und dabei die Benutzerfreundlichkeit beibehalten. Zukünftige Arbeiten werden sich darauf konzentrieren, die Methode für noch bessere Ergebnisse anzupassen, möglicherweise indem der Upscaling-Prozess für Dichte-Crops basierend auf ihrer tatsächlichen Dichte im Bild angepasst wird. Insgesamt heben unsere Ergebnisse die Bedeutung hervor, die einzigartigen Herausforderungen der Luftbilderkennung zu berücksichtigen, und schlagen praktische Lösungen vor, die von Praktikern in diesem Bereich leicht übernommen werden können.