Städtische Bilder für sozioökonomische Vorhersagen nutzen

Städte sind entscheidend für die globale Entwicklung, da über die Hälfte der Weltbevölkerung in urbanen Gebieten lebt. Das Verständnis der sozialen und wirtschaftlichen Bedingungen in Städten ist wichtig, um den Fortschritt in Richtung der von den Vereinten Nationen festgelegten nachhaltigen Entwicklungsziele zu überwachen. Traditionelle Methoden zur Erhebung sozioökonomischer Daten, wie Umfragen, können teuer und langsam sein. Allerdings können städtische Bilder aus Quellen wie Satelliten und Strassenansichten genutzt werden, um diese Informationen effektiver zu sammeln.

Neueste Forschungen haben begonnen, städtische Bilder zusammen mit selbstüberwachtem kontrastivem Lernen zu verwenden – einer Methode, die einem Modell hilft, aus Bildern zu lernen, ohne umfangreiche beschriftete Daten zu benötigen. Dieser Ansatz betrachtet Bilder, um ihre Merkmale zu lernen, und trifft dann Vorhersagen über sozioökonomische Bedingungen. Aber die aktuellen Methoden stehen oft vor Herausforderungen, um effektiv und konsistent zu sein. Dieser Artikel diskutiert eine neue Methode namens Knowledge-infused Contrastive Learning (KnowCL), die darauf abzielt, die Nutzung städtischer Bilder zur Vorhersage sozioökonomischer Daten zu verbessern.

#Der Bedarf an besseren sozioökonomischen Daten

Mit dem Wachstum urbaner Gebiete wird der Bedarf an genauen und zeitnahen sozioökonomischen Daten immer dringlicher. Indikatoren wie Bevölkerungsgrösse, Bildungsniveau und Einkommen sind entscheidend, um die Gesundheit und Entwicklung einer Stadt zu verstehen. Leider können traditionelle Ansätze zur Datenerhebung langsam sein und durch Faktoren wie die COVID-19-Pandemie beeinträchtigt werden, sodass es wichtig ist, neue Wege zu finden, um diese Informationen schnell und effizient zu erhalten.

Neueste Strategien nutzen grosse Mengen an städtischen Bildern, die online verfügbar sind, einschliesslich Satellitenbildern und Strassenfotos. Diese Quellen bieten wertvolle Einblicke in die wirtschaftlichen und sozialen Bedingungen einer Stadt, indem sie visuelle Informationen analysieren.

#Knowledge-Infused Contrastive Learning (KnowCL)

Um die Einschränkungen der aktuellen Methoden zu überwinden, integriert KnowCL Wissensgraphen, um städtische Bedingungen und Beziehungen besser darzustellen. Ein Wissensgraph ist eine strukturierte Art, Informationen zu organisieren, die hervorhebt, wie verschiedene Daten miteinander in Beziehung stehen.

KnowCL beginnt damit, einen Wissensgraphen zu verwenden, um wichtige städtische Merkmale zu identifizieren, wie die Beziehungen zwischen verschiedenen Standorten, ihre Mobilitätsmuster und ihre funktionalen Eigenschaften. Das Modell kombiniert dann diese Informationen mit visuellen Daten in einem zweistufigen Prozess:

1. Visuelle und semantische Repräsentationslernen: Der erste Schritt beinhaltet das Extrahieren von Merkmalen aus städtischen Bildern mit Hilfe von Convolutional Neural Networks (CNNs). Gleichzeitig verarbeitet ein Semantischer Encoder Daten aus dem Wissensgraphen und wandelt sie in eine Form um, die mit den visuellen Daten verglichen werden kann.

2. Kontrastives Lernen: Das Modell verwendet dann einen kontrastiven Lernrahmen, der darauf abzielt, die Ähnlichkeiten zwischen Bildern und ihren entsprechenden Wissensgraphen-Darstellungen zu maximieren. Dieser kombinierte Ansatz verbessert die Fähigkeit des Modells, genaue Vorhersagen über sozioökonomische Indikatoren basierend auf städtischen Bildern zu treffen.

#Urban Knowledge Graph

Die Struktur einer Stadt ist komplex und umfasst viele Elemente wie Stadtviertel, interessante Orte (POIs) und Geschäftsviertel. Der Urban Knowledge Graph (UrbanKG) erfasst diese Komplexität, indem er Verbindungen zwischen verschiedenen städtischen Elementen basierend auf verschiedenen Faktoren schafft:

• Räumliche Beziehungen: Wie nah oder weit voneinander entfernt zwei Regionen sind.
• Mobilitätsmuster: Verständnis von Verkehrs- oder Bewegungsmustern zwischen Orten.
• Funktionales Wissen: Die Arten von Dienstleistungen oder Unternehmen, die in verschiedenen Bereichen vorhanden sind.

Durch die Nutzung dieser unterschiedlichen Aspekte des städtischen Lebens bietet der UrbanKG einen reicheren Kontext für die Analyse städtischer Bilder.

#Herausforderungen in aktuellen Methoden

Die aktuellen Methoden bemühen sich erheblich, aus städtischen Bildern mit vordefinierten Ähnlichkeitsmetriken zu lernen. Allerdings konzentrieren sich diese Metriken oft nur auf ein oder zwei Arten von Informationen, was ihre Wirksamkeit einschränkt.

1. Eingeschränkte Ähnlichkeitsmasse: Aktuelle Ansätze verwenden oft nur Nachbarschaftsbeziehungen oder spezifische Arten von Merkmalen, wie visuelle Ähnlichkeiten zwischen nahegelegenen Bildern.

2. Verpasste umfassende Verständnis: Bestehende Methoden können es versäumen, die gesamte Bandbreite an urbanem Wissen zu erfassen, die für genaue Vorhersagen erforderlich ist. Zum Beispiel, während räumliche Beziehungen wichtig sind, spielt das Verständnis von Mobilitätstrends und Funktionen verschiedener Bereiche ebenfalls eine entscheidende Rolle.

#KnowCL-Rahmen

Das KnowCL-Modell ist strukturiert, um diese Herausforderungen zu bewältigen, indem es Wissen aus dem UrbanKG in den Bildanalyseprozess integriert. So funktioniert es im Detail:

#UrbanKG zur Wissensidentifikation

KnowCL beginnt mit der Schaffung des UrbanKG, der verschiedene städtische Elemente und deren Beziehungen identifiziert. Es umfasst:

• Entitätsknoten: Die städtischen Merkmale wie Gebiete und POIs repräsentierend.
• Beziehungsränder: Die anzeigen, wie diese Elemente verbunden sind, zum Beispiel welche Regionen in der Nähe sind oder ähnliche Funktionen teilen.

Der Wissensgraph dient als Grundlage für das Modell und bietet Kontext für die analysierten Bilder.

#Semantischer Encoder

Um bedeutungsvolle Informationen aus dem Wissensgraphen zu extrahieren, verwendet KnowCL einen semantischen Encoder. Dieser Encoder verarbeitet Beziehungen und generiert Embeddings – mathematische Darstellungen des Wissens, die die Beziehungen zwischen den städtischen Elementen bewahren.

#Visueller Encoder

Für städtische Bilder verwendet KnowCL einen visuellen Encoder, der auf Convolutional Neural Networks (CNNs) basiert, um Merkmale aus den Bildern zu extrahieren. Der visuelle Encoder arbeitet sowohl mit Satelliten- als auch mit Strassenansichts-Bildern und ermöglicht Flexibilität in den Arten von städtischen Bildern, die analysiert werden können.

#Cross-Modality Contrastive Learning

Die Kerninnovation von KnowCL liegt in seinem kontrastiven Lernrahmen, der die visuellen und semantischen Darstellungen optimalpaaren möchte. Ziel ist es, das Modell dazu zu bringen, ähnliche Darstellungen für entsprechende Bild-WG-Paare zu erstellen.

Eine kontrastive Verlustfunktion wurde entwickelt, die es dem Modell ermöglicht, die Verbindungen zwischen den visuellen und semantischen Merkmalen effektiv zu lernen. Durch die Maximierung der Übereinstimmung zwischen diesen beiden Darstellungen kann das Modell besser Wissen aus dem Wissensgraphen in städtische Bilder einfliessen lassen.

#Experimentelles Setup

Um die Wirksamkeit von KnowCL zu validieren, wurden Experimente mit städtischen Bildern aus drei Städten durchgeführt: Peking, Shanghai und New York. Die städtischen Bilder wurden zusammen mit sozioökonomischen Indikatoren verarbeitet, die sich auf Bevölkerung, wirtschaftliche Aktivitäten, Konsummuster und Bildungsniveaus beziehen.

#Datensätze und Methodik

Die Datensätze umfassten Satellitenbilder und Strassenansichtbilder, die gesammelt und verarbeitet wurden, um die unregelmässigen Grenzen städtischer Regionen abzugleichen. Verschiedene sozioökonomische Indikatoren wurden integriert, um sicherzustellen, dass das Modell die aktuellen städtischen Bedingungen genau widerspiegeln kann.

Zwei Hauptmetriken wurden verwendet, um die Leistung des Modells zu bewerten:

1. Wurzel-Mittel-Quadrat-Fehler (RMSE): Misst die Unterschiede zwischen vorhergesagten und tatsächlichen Werten.
2. Determinationskoeffizient (R²): Gibt an, wie gut das Modell die Variabilität der Ergebnisdaten erklärt.

#Leistungsergebnisse

Die Ergebnisse zeigten, dass KnowCL bestehende Modelle bei sozioökonomischen Vorhersageaufgaben erheblich übertroffen hat.

#Ergebnisse der Satellitenbilder

KnowCL zeigte Verbesserungen gegenüber Basismodellen bei der Vorhersage von Indikatoren, die auf Satellitenbildern basierten. Dies war wahrscheinlich auf die umfassende Wissensintegration zurückzuführen, die es ermöglichte, eine breitere Palette städtischer Faktoren zu berücksichtigen.

#Ergebnisse der Strassenansichtbilder

Ähnliche Trends wurden bei Strassenansichtbildern beobachtet, wo KnowCL seine Fähigkeit demonstrierte, städtisches Wissen effektiv zu nutzen. Während traditionelle Modelle Schwierigkeiten hatten, ermöglichte die wissensangereicherte Repräsentation von KnowCL zuverlässigere Vorhersagen.

#Übertragbarkeit des Wissens

Ein Vorteil von KnowCL ist seine potenzielle Übertragbarkeit über verschiedene Städte und Kontexte hinweg. Das bedeutet, dass ein in einer Stadt trainiertes Modell effektiv auf eine andere Stadt angewendet werden kann, selbst wenn der lokale Wissensgraph nicht existiert.

#Tests in verschiedenen Städten

Es wurden Experimente durchgeführt, um zu messen, wie gut Vorhersagen, die in einem städtischen Umfeld gemacht wurden, auf ein anderes angewendet werden konnten. Die Ergebnisse zeigten, dass KnowCL wettbewerbsfähige Leistungen aufrechterhielt, wenn es auf neue Städte angewendet wurde, was das gemeinsame Verständnis zeigt, das durch den UrbanKG erfasst wurde.

#Visuelle Ähnlichkeiten

Durch den Vergleich städtischer Bilder aus verschiedenen Städten half KnowCL, visuelle Ähnlichkeiten zu erkennen, die die sozioökonomischen Bedingungen widerspiegeln. Die wissensangereicherten städtischen Bilddarstellungen erfassten nicht nur visuelle Merkmale, sondern auch die zugrunde liegenden städtischen Eigenschaften, die mit verschiedenen Regionen verbunden sind.

#Fazit

Das KnowCL-Modell stellt einen bedeutenden Fortschritt in der Verwendung städtischer Bilder für sozioökonomische Vorhersagen dar. Durch die Kombination visueller Daten mit umfassendem urbanem Wissen über einen Wissensgraphen bietet KnowCL einen effektiveren Ansatz, um die städtischen Bedingungen zu verstehen.

Während Städte sich weiterhin schnell entwickeln, halten Methoden wie KnowCL grosses Potenzial, um urbane Umgebungen zu überwachen und zu verbessern, um nachhaltige Entwicklungsziele zu erreichen. Weitere Erkundungen in Bezug auf die Interpretierbarkeit des Wissensgraphen und der städtischen Bilddarstellungen werden entscheidend sein, um diese Modelle für Entscheidungsträger und Stadtplaner noch nützlicher zu machen.

#Zukünftige Richtungen

Obwohl KnowCL beeindruckende Ergebnisse erzielt hat, gibt es noch Bereiche zur Verbesserung. Zukünftige Arbeiten könnten sich darauf konzentrieren, die Wissensdarstellung im UrbanKG zu verfeinern, die Interpretierbarkeit des Modells zu verbessern und die Anwendbarkeit des Modells auf unterentwickelte Regionen zu erweitern, in denen urbane Daten knapp sind.

Darüber hinaus könnte die Einbeziehung weiterer Arten urbaner Daten, wie demografische Statistiken oder Umweltfaktoren, die Vorhersagen weiter verbessern und zu einem umfassenderen Verständnis der städtischen sozioökonomischen Dynamik beitragen.

Durch die Nutzung des reichhaltigen Informationspotenzials in urbanen Bildern und Wissensgraphen können Modelle wie KnowCL eine kritische Rolle bei der Förderung einer nachhaltigen städtischen Entwicklung und der Verbesserung der Lebensqualität in Städten weltweit spielen.