Neue Methode zur Menschenzählung bei schlechtem Wetter

Crowd Counting ist wichtig für verschiedene Bereiche wie öffentliche Sicherheit, Verkehrssteuerung und Videoüberwachung. Viele aktuelle Methoden funktionieren gut bei normalem Wetter, haben aber Probleme bei harschen Bedingungen wie Regen oder Schnee. Das liegt daran, dass die Qualität der Bilder bei schlechtem Wetter oft schlechter ist, was zu ungenauen Schätzungen der Menschenmenge führt.

Forscher haben festgestellt, dass es nicht viele Bilder gibt, um Modelle unter widrigen Wetterbedingungen zu trainieren. Das macht es den Modellen schwer, zu lernen, wie man Menschenmengen genau zählt, wenn sich das Wetter ändert. Um dieses Problem zu lösen, präsentieren wir eine neue Methode, die den Modellen hilft, besser in diesen schwierigen Situationen abzuschneiden.

#Das Problem mit widrigem Wetter

Die Methoden zur Crowd-Zählung haben grossartige Ergebnisse, wenn das Wetter klar ist. Bei widrigem Wetter wie Regen, Nebel oder Schnee sinkt ihre Leistung jedoch. Das liegt an den erheblichen Unterschieden in den Bildern, die unter verschiedenen Wetterbedingungen aufgenommen werden. Zum Beispiel gibt es in aktuellen Datensätzen nur eine kleine Anzahl von regnerischen Bildern, was es den Modellen schwer macht, zu lernen, wie man bei Regen Menschen zählt.

Ein Ansatz zur Verbesserung der Leistung besteht darin, Bilder mithilfe von Restaurierungstechniken zu verbessern, bevor gezählt wird. Aber selbst restaurierte Bilder könnten immer noch anders aussehen als Bilder bei klarem Wetter. Ausserdem kann das Hinzufügen von zusätzlichen Schritten zur Verbesserung der Bilder den Zählprozess verlangsamen.

Getrennte Modelle für jede Wetterart zu trainieren, ist auch keine gute Idee, da es nicht genug Bilder von widrigem Wetter für jede Kategorie gibt.

#Einführung der neuen Methode

Um diese Probleme zu umgehen, haben wir eine zweistufige Methode entwickelt, um die Crowd-Zählung bei schwierigen Wetterbedingungen zu verbessern. In der ersten Phase verwenden wir eine Technik namens Multi-Queue MoCo Kontrastives Lernen. Das hilft dem Modell, wichtige Merkmale verschiedener Wettertypen effektiver zu lernen.

In der zweiten Phase verfeinert das Modell, was es gelernt hat, indem es die wetterbewussten Merkmale an die von klaren Wetterbildern anpasst. Dadurch kann das Modell unabhängig von den Wetterbedingungen gut abschneiden.

Trotz der Verbesserung der Robustheit des Modells erhöht unsere neue Methode dessen Grösse oder Komplexität nicht wesentlich. Wir haben auch einen synthetischen Datensatz erstellt, der verschiedene Arten von schlechtem Wetter umfasst, um beim Testen zu helfen.

#Crowd-Zählung bei schlechtem Wetter

Die Crowd-Zählung ist in den Fokus gerückt, da sie viele Anwendungen hat. Während die meisten aktuellen Methoden unter normalen Bedingungen Menschenmengen genau zählen können, haben sie bei widrigen Wetterbedingungen Schwierigkeiten. Dies ist eine Folge sowohl der begrenzten Anzahl von Bildern, die für das Training verfügbar sind, als auch der Unterschiede zwischen normalen und schlechten Wetterbildern.

Zum Beispiel machen Bilder, die während des Regens im JHU-Crowd++-Datensatz aufgenommen wurden, nur 3% des gesamten Datensatzes aus. Dieser Mangel an Daten für das Training führt zu Problemen, wenn das Modell mit echten Bildern konfrontiert wird, die bei schlechtem Wetter aufgenommen wurden.

Eine einfache Lösung könnte darin bestehen, Werkzeuge zur Bildrestaurierung vor der Zählung zu verwenden. Aber selbst mit diesen Werkzeugen entsprechen die Bilder möglicherweise immer noch nicht den Bedingungen der klaren Wetterbilder. Ausserdem kann das Hinzufügen von zusätzlichen Schritten zur Bildrestaurierung die benötigte Zeit für die Verarbeitung erhöhen.

Es ist auch nicht praktikabel, für jede Wetterbedingung ein anderes Modell zu erstellen. Die begrenzte Anzahl von Bildern unter widrigen Bedingungen kann einen solchen Ansatz nicht unterstützen.

#Methodenübersicht

Ziel dieser Forschung ist es, die Modelle zur Crowd-Zählung zu stärken, wenn sie mit unbekanntem widrigen Wetter konfrontiert sind, während die Leistung unter normalen Bedingungen stabil bleibt. Dazu behandeln wir die Crowd-Zählung als ein Lernproblem, bei dem das Modell verschiedenen Wetterbedingungen begegnet. Diese Methode, die für das Lernen über verschiedene Domänen hinweg entwickelt wurde, erfordert, dass das Modell besondere Merkmale aus jedem Wettertyp erfasst.

Um dies zu erreichen, schlagen wir ein System namens Multi-Queue Contrastive Learning (MQCL) vor. Diese Technik ermöglicht es dem Modell, wetterbewusste Merkmale aus den Bildern zu erfassen, die später weiter verfeinert werden.

In der ersten Phase verwendet das Modell kontrastives Lernen, um die Eigenschaften verschiedener Wettertypen zu identifizieren. Leider bedeutet das Klassenungleichgewicht in den Trainingsdaten, dass typische kontrastive Methoden dazu neigen, normale Wetterbilder zu bevorzugen, was zu einer schlechten Leistung unter widrigen Bedingungen führt.

Um dies anzugehen, haben wir eine einfache und effektive kontrastive Lernmethode namens Multi-Queue MoCo entwickelt. Dieser Ansatz verwendet mehrere Warteschlangen, um den Lernprozess über verschiedene Wetterklassen hinweg auszugleichen.

In der zweiten Phase behandeln wir alle normalen Wetterbilder als positive Proben. Das hilft dem Modell, sein Verständnis zu verfeinern und die Merkmale von widrigem Wetter an die von normalem Wetter anzupassen.

Unser Ansatz ermöglicht es dem Verfeinerer und Dekoder, leichtgewichtig zu bleiben, was sicherstellt, dass die Auswirkungen auf die Gesamtgrösse des Modells minimal sind. Im Vergleich zu unserem Backbone-Modell führt unsere Methode nur zu einem geringen Anstieg der Parameter.

#Neuer Wetterdatensatz

Da es nur einen öffentlich verfügbaren Datensatz mit Bildern aus widrigem Wetter gibt, haben wir einen neuen synthetischen Datensatz namens NWPU-Weather erstellt. Dieser Datensatz basiert auf dem NWPU-Crowd-Datensatz und umfasst regnerische und neblige Bedingungen. Ziel dieses Datensatzes ist es, weitere Forschungen zur Crowd-Zählung bei schlechtem Wetter zu fördern.

Mehrere bekannte Zählmodelle wurden anhand unseres neuen Datensatzes bewertet, um einen Überblick über die aktuelle Leistung zu geben.

#Ergebnisse

Unsere Ergebnisse zeigen, dass die neue Methode die Fähigkeit des Modells zur Crowd-Zählung bei widrigem Wetter erheblich verbessert, während gleichzeitig die Genauigkeit unter normalen Wetterbedingungen erhalten bleibt. Wir haben beobachtet, dass unser Ansatz die Fehler bei der Zählung im Vergleich zu bestehenden Modellen erheblich reduziert.

Die Experimente, die wir durchgeführt haben, haben aufgezeigt, wie das Modell ein viel besseres Verständnis für Wettermerkmale erreicht hat und gleichzeitig seine Fähigkeit verbessert hat, verschiedene Szenen zu identifizieren.

Darüber hinaus haben wir signifikante Verbesserungen in der Leistung festgestellt, insbesondere bei den Modellen, die unter widrigem Wetter getestet wurden. Die im Ansatz verwendete kontrastive Lernmethode hilft nicht nur bei der Wetterwahrnehmung, sondern stärkt auch die Fähigkeit des Modells, verschiedene Szenen zu erkennen.

#Kontrastives Lernen

Kontrastives Lernen ist eine Methode, die viel Aufmerksamkeit für ihren Erfolg im unüberwachten Lernen gewonnen hat. Das Hauptziel dabei ist es, ähnliche Darstellungen näher zusammenzubringen und unterschiedliche weiter auseinander zu halten in Bezug auf Ähnlichkeit.

Trotz des Erfolgs haben einige Forschungsergebnisse gezeigt, dass bestehende kontrastive Lernmethoden einige Aspekte übersehen könnten, insbesondere im Umgang mit unausgewogenen Daten. Um dieses Problem zu beheben, verwendet unsere neue Methode Multi-Queue MoCo, was es dem Modell erleichtert, effektiv zu lernen.

#Umsetzung von Multi-Queue MoCo

Die Multi-Queue MoCo-Methode ermöglicht es dem Modell, eine gleichmässige Verteilung der Klassen aufrechtzuerhalten. Durch die Entwicklung mehrerer kleinerer Warteschlangen, die jeweils mit einem bestimmten Wettertyp verbunden sind, stellen wir sicher, dass das Modell während des Trainings auf eine ausgewogene Klassenrepräsentation zugreifen kann.

Jedes Bild durchläuft verschiedene Augmentierungen, sodass das Modell ähnliche Bilder als positive Proben behandelt, während es solche aus unterschiedlichen Bildern als negativ betrachtet. Dies fördert ein besseres Lernen und steigert die Fähigkeit des Modells, zwischen Wetterbedingungen zu unterscheiden.

#Verfeinerung der Merkmalsdarstellungen

Sobald die erste Phase abgeschlossen ist, wird der Encoder stabilisiert, sodass ein Verfeinerer trainiert werden kann, der wetterbewusste Darstellungen in normale Wetterdarstellungen umwandelt. Dieser Schritt ist entscheidend, da sichergestellt wird, dass der Dekoder sich ausschliesslich auf eine einzige Domäne konzentrieren kann, speziell auf normales Wetter, um genaue Dichtemaps zu erzeugen.

Der gesamte Lernprozess besteht aus bedeutenden Komponenten, die die Leistung und Präzision des Modells bei der Zählung von Menschenmengen verbessern.

#Experimente und Ergebnisse

Um unsere Methode zu validieren, haben wir umfassende Experimente mit unserem neuen NWPU-Weather-Datensatz sowie anderen bestehenden Datensätzen durchgeführt. Die Ergebnisse zeigen deutlich, dass unsere MQCL-Methode deutlich besser abschneidet als andere hochmoderne Methoden.

Wir haben auch die Leistung des Modells unter verschiedenen Wetterbedingungen bewertet, um sicherzustellen, dass die Methode unter einer Vielzahl von Szenarien robust bleibt.

#Fazit

Zusammenfassend haben wir einen neuen Ansatz zur Crowd-Zählung vorgestellt, der die Herausforderungen durch widriges Wetter effektiv angeht. Unsere Methode, MQCL genannt, stärkt nicht nur die Leistung des Modells unter schwierigen Bedingungen, sondern stellt auch sicher, dass die Genauigkeit bei klarem Wetter erhalten bleibt.

Obwohl wir bedeutende Fortschritte bei der Behebung der Einschränkungen bestehender Methoden gemacht haben, bleiben Herausforderungen. Unser Fokus auf die Verwendung eines leichten Modells half, die Leistung aufrechtzuerhalten, ging jedoch auf Kosten einer etwas geringeren Genauigkeit im Vergleich zu komplexeren Methoden mit fortgeschrittenen Architekturen.

Zukünftige Forschungen könnten die Anwendung unseres Ansatzes auf andere Bereiche untersuchen und seine Effektivität mit echten Bildern testen. Wir hoffen, dass unsere Arbeit weitere Studien im Bereich der Crowd-Zählung bei widrigem Wetter und darüber hinaus anregt.