WeCLIP: Neue Methode für semantische Segmentierung

Schwach überwachte semantische Segmentierung ist eine Methode in der Computer Vision, um Objekte in Bildern mit minimaler manueller Kennzeichnung zu identifizieren und zu segmentieren. Normalerweise werden dafür Bild-Ebenen-Labels verwendet, die einfacher zu erhalten sind als Pixel-Ebenen-Annotationen. Diese Technologie reduziert den Aufwand, der erforderlich ist, um jedes Pixel in einem Bild für das Training von Machine Learning-Modellen zu kennzeichnen.

In den letzten Jahren haben Modelle wie CLIP an Popularität gewonnen, weil sie in der Lage sind, Bilder mit Text zu verknüpfen. Neuere Studien haben vielversprechende Ergebnisse gezeigt, wenn CLIP verwendet wird, um Pseudo-Labels für das Training von Segmentierungsmodellen zu generieren. Allerdings gab es bisher keinen direkten Ansatz, CLIP als Hauptrahmen für die Segmentierung von Objekten zu verwenden, der sich ausschliesslich auf Bild-Ebenen-Labels stützt.

In dieser Arbeit stellen wir einen neuen Ansatz namens WeCLIP vor. Diese Methode nutzt das eingefrorene CLIP-Modell als Backbone, um Merkmale für die Segmentierung von Bildern in einem einheitlichen Prozess zu extrahieren. Ausserdem führen wir einen Decoder ein, der diese Merkmale interpretiert, um endgültige Vorhersagen für Segmentierungsaufgaben zu erzeugen. Zusätzlich erstellen wir ein Verfeinerungsmodul, um die Qualität der während des Trainings generierten Labels zu verbessern.

#Hintergrund zur schwach überwachten semantischen Segmentierung

Schwach überwachte semantische Segmentierung hat zum Ziel, ein Modell zu trainieren, das Bilder auf Pixel-Ebene versteht, während es begrenzte Aufsicht nutzt. Die Haupttypen schwacher Aufsicht umfassen Scribbles, Bounding Boxes, Punkte und Bild-Ebenen-Labels. Unter diesen ist die Verwendung von Bild-Ebenen-Labels am häufigsten, da sie einfach zu erfassen sind und aus verschiedenen Online-Quellen stammen können.

Es gibt im Allgemeinen zwei Ansätze zur schwach überwachten semantischen Segmentierung mit Bild-Ebenen-Labels: Multi-Stage-Training und Single-Stage-Training. Multi-Stage-Training umfasst typischerweise die Generierung hochwertiger Pseudo-Labels mit mehreren Modellen, gefolgt von der Schulung eines separaten Segmentierungsmodells. Beim Single-Stage-Training hingegen wird versucht, Bilder direkt mit einem Modell zu segmentieren.

Frühere Single-Stage-Modelle stützten sich weitgehend auf vortrainierte Modelle, meist von ImageNet, und wurden während des Trainings feinjustiert. Diese Modelle versuchen oft, ihre Ausgaben mit verschiedenen Techniken zu verfeinern, schnitten aber im Allgemeinen schlechter ab als Multi-Stage-Modelle.

Im Gegensatz dazu können Multi-Stage-Modelle komplexe Pipelines beinhalten, bei denen pixelbasierte Pseudo-Labels aus schwachen Labels erstellt werden, bevor ein Segmentierungsmodell trainiert wird. Neuere Versuche haben versucht, CLIP zu integrieren, um hochwertige Pseudo-Labels durch dessen Fähigkeit zur Erfassung der Beziehung zwischen Bildern und Text zu erzeugen.

#Überblick über WeCLIP

Unsere vorgeschlagene WeCLIP-Methode stellt einen Fortschritt in der schwach überwachten semantischen Segmentierung dar, indem sie das CLIP-Modell direkt als Backbone für die Merkmalsextraktion verwendet. Im Gegensatz zu früheren Methoden, die CLIP nur zur Verbesserung anderer Modelle nutzten, verwendet WeCLIP das eingefrorene CLIP-Modell, um Merkmale zu erzeugen, die direkt in einen Segmentierungs-Decoder eingegeben werden können.

Durch die Verwendung des eingefrorenen CLIP-Modells vermeiden wir den Bedarf an umfangreichem Training des Backbones, was die Gesamtkosten und den Speicherbedarf reduziert. Der neu gestaltete Decoder interpretiert die eingefrorenen Merkmale und ermöglicht den Segmentierungs-Vorhersageprozess mit minimalen lernbaren Parametern.

#Die Struktur unseres Ansatzes

#Rahmenkomponenten

WeCLIP besteht aus vier Hauptkomponenten:

1. Eingefrorenes CLIP-Backbone: Dieser Teil extrahiert Bild- und Textmerkmale aus den Eingangsdaten. Er benötigt kein Training oder Feinabstimmung, was den gesamten Prozess vereinfacht.

2. Klassifikationsprozess: Dieser Schritt generiert anfängliche Klassenaktivierungskarten (CAMs) basierend auf den vom CLIP-Backbone extrahierten Merkmalen. CAMs helfen, interessante Bereiche in den Bildern zu identifizieren.

3. Decoder: Er ist verantwortlich für die Umwandlung der Merkmale vom eingefrorenen Backbone in Vorhersagen für die semantische Segmentierung. Der Decoder interpretiert die extrahierten Merkmale effektiv und hält die Anzahl der Parameter niedrig.

4. Verfeinerungsmodul (RFM): Dieses Modul aktualisiert dynamisch die anfänglichen CAMs, um bessere Pseudo-Labels für das Training des Decoders zu erstellen. Durch die Nutzung von Beziehungen, die aus dem Decoder abgeleitet wurden, verbessert das RFM die Qualität der generierten Labels.

#Generierung der anfänglichen CAM

Der Prozess beginnt damit, dass ein Bild in das eingefrorene CLIP-Modell eingegeben wird. Das Modell extrahiert Bildmerkmale, die den Inhalt des Bildes widerspiegeln. Gleichzeitig werden Klassenlabels verwendet, um Textaufforderungen zu erstellen, die entsprechende Textmerkmale erzeugen. Durch den Vergleich der zusammengeführten Bildmerkmale mit den Textmerkmalen werden Klassifikationswerte generiert, die die Generierung der anfänglichen CAM über GradCAM informieren.

#Funktion des Decoders

Sobald die anfänglichen CAMs erstellt sind, tritt der Decoder ein, um die Merkmale zu interpretieren. Der Decoder nimmt die Bildmerkmale und erzeugt Segmentierungs-Vorhersagen, wobei der Fokus auf der Identifizierung von Objekten im Bild liegt. Eine Affinitätskarte, die aus den Zwischenmerkmalen des Decoders generiert wurde, wird ebenfalls verwendet, um bei der Verfeinerung der CAMs zu helfen.

#Betrieb des Verfeinerungsmoduls

Das Verfeinerungsmodul geht das Problem an, dass das eingefrorene Backbone nur statische CAMs bereitstellt. Durch die Nutzung von Merkmalen aus dem Decoder passt das RFM die CAMs während des Trainings dynamisch an. Dieser Prozess verbessert die Genauigkeit der Pseudo-Labels, indem er zuverlässigere Merkmalsbeziehungen nutzt.

#Experimentelle Einrichtung

Wir haben umfangreiche Experimente durchgeführt, um unseren Ansatz an zwei beliebten Datensätzen zu evaluieren: PASCAL VOC 2012 und MS COCO-2014. Diese Datensätze werden häufig in Aufgaben der semantischen Segmentierung verwendet und enthalten verschiedene Arten von Bildern mit gekennzeichneten Objekten.

#Details zum Datensatz

• PASCAL VOC 2012: Dieser Datensatz enthält 10.582 Trainingsbilder, 1.446 Validierungsbilder und 1.456 Testbilder über 20 Vordergrundklassen. Der Datensatz wird mit zusätzlichen Labels ergänzt, um die Trainingsergebnisse zu verbessern.

• MS COCO-2014: Dieser grössere Datensatz umfasst ungefähr 82.000 Trainingsbilder und 40.504 Validierungsbilder mit 80 Vordergrundklassen. Er stellt aufgrund seiner vielfältigen Objekte und Kontexte eine erhebliche Herausforderung dar.

#Bewertungsmetrik

Wir haben die Mean Intersection-over-Union (mIoU)-Metrik zur Leistungsbewertung eingesetzt. Diese Metrik berechnet die Überlappung zwischen der vorhergesagten Segmentierung und der tatsächlichen Wahrheit und bietet ein klares Mass für die Effektivität des Modells.

#Ergebnisse und Vergleiche

#Leistung auf PASCAL VOC 2012

Unser Ansatz erzielte bemerkenswerte Ergebnisse beim PASCAL VOC 2012-Datensatz. WeCLIP erreichte 76,4% mIoU im Validierungsset und 77,2% im Testset. Diese Werte übertreffen die früheren Single-Stage- und Multi-Stage-Ansätze und zeigen die Effektivität der Verwendung des eingefrorenen CLIP-Modells für Segmentierungsaufgaben.

#Vergleiche mit Methoden auf dem neuesten Stand der Technik

Im Vergleich zu anderen führenden Methoden zeigte WeCLIP signifikante Verbesserungen. Unser Ansatz übertraf beispielsweise den vorherigen Stand der Technik im Single-Stage-Ansatz um mehr als 5% mIoU sowohl im Validierungs- als auch im Testset. Darüber hinaus übertraf WeCLIP konstant die Leistungsmetriken von Multi-Stage-Ansätzen und zeigt die Vorteile unserer Methode.

#Leistung auf MS COCO-2014

WeCLIP zeigte auch starke Leistungen im Validierungsset von MS COCO-2014 mit 47,1% mIoU. Dieses Ergebnis spiegelt eine bemerkenswerte Verbesserung gegenüber bestehenden Single-Stage-Techniken wider und positioniert WeCLIP als wettbewerbsfähige Option unter den Multi-Stage-Methoden.

#Analyse der Trainingskosten

Einer der Hauptvorteile von WeCLIP ist die reduzierte Trainingskosten. Mit nur 6,2 GB GPU-Speicherbedarf erfordert unser Ansatz deutlich weniger Rechenressourcen im Vergleich zu anderen Methoden, die oft 12 GB oder mehr benötigen. Diese Effizienz ist besonders vorteilhaft für Forscher und Praktiker mit begrenztem Zugang zu leistungsstarker Rechenressourcen.

#Ablationsstudien

Um unsere vorgeschlagene Technik weiter zu validieren, führten wir Ablationsstudien durch, die sich auf verschiedene Komponenten von WeCLIP konzentrierten.

#Einfluss des Decoders und RFM

Die Anwesenheit des Decoders ist entscheidend, da er notwendig ist, um Vorhersagen zu generieren. Die Einführung des Verfeinerungsmoduls (RFM) führte zu einer klaren Verbesserung von 6,2% mIoU. Diese Verbesserung spiegelt die Rolle des RFM bei der Verbesserung der Qualität von Pseudo-Labels wider.

#Bewertung der Transformerschichten

Wir haben untersucht, wie sich die Änderung der Anzahl der Transformerschichten im Decoder auf die Leistung auswirkt. Die Erhöhung der Anzahl der Schichten half, mehr Informationen zu erfassen, was zu einer verbesserten Leistung führte. Die Leistung sank jedoch, wenn die Anzahl der Schichten einen bestimmten Schwellenwert überschritt, was darauf hindeutet, dass ein Gleichgewicht notwendig ist, um Überanpassung zu vermeiden.

#Leistung bei voll überwachter semantischer Segmentierung

Neben der schwachen Aufsicht bewerteten wir die Fähigkeit von WeCLIP in vollständig überwachten Szenarien. Ohne die Notwendigkeit des eingefrorenen Textencoders oder des RFM trainierte unser Decoder auf genauen Pixel-Ebenen-Labels aus dem Datensatz.

#Ergebnisse für den voll überwachten Fall

Als wir WeCLIP im PASCAL VOC 2012-Datensatz bewerteten, behielt es eine hohe Segmentierungsleistung bei, während es weniger trainierbare Parameter verwendete. Dieses Ergebnis hebt sein Potenzial in Szenarien hervor, in denen präzise Anmerkungen verfügbar sind, während es dennoch einen Wettbewerbsvorteil in Bezug auf den Ressourcenverbrauch bietet.

#Fazit

Zusammenfassend haben wir WeCLIP vorgestellt, eine neuartige Single-Stage-Pipeline, die für die schwach überwachte semantische Segmentierung entwickelt wurde. Durch die Nutzung des eingefrorenen CLIP-Modells haben wir die Trainingskosten erfolgreich gesenkt und die Leistung im Vergleich zu herkömmlichen Methoden verbessert. Unser Decoder interpretiert die eingefrorenen Merkmale effektiv, während das Verfeinerungsmodul die Qualität der Ausgabe-Labels verbessert. Insgesamt bietet WeCLIP eine wertvolle Alternative zu bestehenden Techniken und fördert die Forschung in der schwach überwachten semantischen Segmentierung.