Innovativer Rahmen für synthetische semantische Segmentierungsdatensätze

Die Vorbereitung von Trainingsdaten für Deep-Vision-Modelle ist eine schwierige und zeitaufwändige Aufgabe. Generative Modelle haben sich als gute Lösung für die Erstellung synthetischer Daten herausgestellt. Die meisten aktuellen Modelle geben Kategorien für Bilder an, aber wir führen eine neue Methode ein, um detaillierte pixelgenaue Labels für die Semantische Segmentierung mithilfe eines Text-zu-Bild-Modells namens Stable Diffusion (SD) zu erstellen. Durch die Verwendung spezifischer Text-Prompts präsentieren wir drei neue Techniken: Class-Prompt-Appending, Class-Prompt-Cross-Attention und Self-Attention-Exponentiation. Diese Techniken helfen uns, Segmentierungskarten zu erstellen, die mit synthetischen Bildern verknüpft sind. Diese Karten fungieren als Pseudo-Labels für das Training von semantischen Segmentierern, was bedeutet, dass wir die harte Arbeit der pixelgenauen Annotation überspringen können.

Die wichtige Aufgabe der semantischen Segmentierung besteht darin, jedem Pixel in einem Bild ein Label zuzuweisen. Diese Aufgabe ist entscheidend für Bereiche wie selbstfahrende Autos, Szenenverständnis und Objekterkennung. Allerdings ist eine der grössten Herausforderungen bei der semantischen Segmentierung die hohe Kosten für manuelle Annotation. Das Labeln grosser Datensätze mit pixelgenauen Tags ist viel Arbeit, dauert lange und erfordert viel menschlichen Aufwand.

Um dieses Problem zu lösen, können wir generative Modelle verwenden, um Datensätze mit pixelgenauen Labels zu erstellen. Frühere Forschungen haben Generative Adversarial Networks (GANs) erfolgreich genutzt, um synthetische Datensätze für die semantische Segmentierung zu erzeugen und den Bedarf an manueller Annotation zu reduzieren. GANs konzentrieren sich jedoch hauptsächlich auf Bilder mit einem oder zwei Objekten und erfassen nicht die reichen Details, die in realen Szenen zu finden sind.

Ein weiterer Ansatz ist die Verwendung von Text-zu-Bild-Diffusionsmodellen, die ein grosses Potenzial gezeigt haben, realistische Bilder aus Textbeschreibungen zu generieren. Diese Modelle sind einzigartig, da sie Bilder basierend auf spezifischen Text-Prompts erzeugen können, die die einzuschliessenden Objekte beschreiben. Zudem nutzen sie Cross- und Self-Attention-Methoden, die das Modell leiten, sich auf bestimmte Teile des Bildes zu konzentrieren, was die Genauigkeit der Objektplatzierung verbessert.

Mit den Vorteilen der Text-zu-Bild-Diffusionsmodelle haben frühere Arbeiten wie DiffuMask und DiffusionSeg Paare von synthetischen Bildern und deren Segmentierungs-Masken erstellt. Zum Beispiel generiert DiffuMask Bilder mit einfachen Text-Prompts wie "ein Foto von einem [Klassenname] [Hintergrundbeschreibung]." Währenddessen zielt DiffusionSeg darauf ab, synthetische Datensätze zu erstellen, um wichtige Objekte in einem Bild zu identifizieren. Obwohl diese Methoden bei der Generierung von Bildern und ihren Segmentierungs-Masken erfolgreich waren, sind sie darauf beschränkt, nur eine Objektmaske pro Bild zu erzeugen.

#Unser Ansatz

In dieser Arbeit führen wir ein neues Framework zur Erzeugung hochwertiger Datensätze zur semantischen Segmentierung ein. Unser Ansatz zielt darauf ab, realistische Bilder zu erstellen, die Szenen mit mehreren Objekten darstellen und gleichzeitig genaue Segmentierungs-Masken bereitstellen. Um dies zu erreichen, präsentieren wir zwei Schlüsseltechniken: Class-Prompt-Appending zur Förderung der Vielfalt in generierten Bildern und Class-Prompt-Cross-Attention zur präzisen Steuerung der Aufmerksamkeit auf jedes Objekt in einer Szene. Ausserdem führen wir Self-Attention-Exponentiation ein, eine Methode, die Selbst-Attention-Karten verwendet, um die Qualität der Segmentierung zu verbessern. Schliesslich verwenden wir die generierten Daten, um einen semantischen Segmentierer mit einer Verlustfunktion zu trainieren, die die Unsicherheit berücksichtigt.

Um die Qualität unserer synthetischen Datensätze zu bewerten, entwickeln wir zwei Benchmark-Datensätze, synth-VOC und synth-COCO. Diese Benchmarks basieren auf beliebten Datensätzen zur semantischen Segmentierung, PASCAL VOC und COCO, um die verwendeten Text-Prompts und die Bewertung der Segmentierungsqualität zu standardisieren.

Auf dem Benchmark synth-VOC erzielt unser Framework beeindruckende Ergebnisse und übertrifft DiffuMask deutlich. Auf dem Benchmark synth-COCO erreicht das DeepLabV3-Modell, das auf unserem synthetischen Datensatz trainiert wurde, starke Ergebnisse im Vergleich zu einem Modell, das auf realen Bildern mit voller Überprüfung trainiert wurde.

Zusammengefasst umfassen unsere Beiträge:

1. Ein Framework, das ein hochmodernes Text-zu-Bild-Diffusionsmodell effektiv nutzt, um synthetische Datensätze mit pixelgenauen Labels zu erstellen.
2. Ein einfaches und effektives Design für Text-Prompts, das die Erstellung komplexer und realistischer Bilder ermöglicht, die realen Szenen ähneln.
3. Eine unkomplizierte Methode, die Selbst- und Cross-Attention nutzt, um genaue Segmentierung zu erreichen und die Qualität und Zuverlässigkeit der generierten Datensätze zu verbessern.
4. Neue Benchmarks synth-VOC und synth-COCO zur Bewertung der Leistung der synthetischen Datensatzsynthese zur semantischen Segmentierung.

#Verwandte Arbeiten

Die semantische Segmentierung ist eine wichtige Aufgabe im Bereich der Computer Vision, bei der jeder Pixel in einem Bild einer bestimmten Kategorie zugeordnet wird. Zu den gängigen Ansätzen gehören vollständig konvolutionale Netzwerke (FCN) und Modelle wie DeepLab und UNet. Kürzlich haben transformerbasierte Modelle Aufmerksamkeit auf sich gezogen, weil sie traditionelle konvolutionale Ansätze übertreffen.

Unser Framework konzentriert sich auf die Herstellung synthetischer Datensätze, die mit jedem semantischen Segmentierer kompatibel sind, insbesondere mit DeepLabv3 und Mask2Former, die weit verbreitet sind.

Text-zu-Bild-Diffusionsmodelle haben das Feld der Bildgenerierung revolutioniert, indem sie von grundlegenden klassenspezifischen Methoden zu komplexeren textbasierten Techniken übergegangen sind. Modelle wie GLIDE, Imagen, Dall-E und Stable Diffusion zeichnen sich durch die Erzeugung von Bildern mit mehreren interagierenden Objekten aus, was sie im Vergleich zu früheren generativen Modellen näher an realen Szenarien orientiert.

Diffusionsmodelle haben auch ihre Stärke bei Aufgaben der semantischen, instanziellen und panoptischen Segmentierung unter Beweis gestellt. Im Allgemeinen sind sie auf reale Eingabebilder für das Training angewiesen, was im Gegensatz zu unserem Framework steht, das nur ein vortrainiertes SD benötigt, um semantische Segmentierungen ohne Labels zu erzeugen.

Generative Adversarial Networks (GANs) wurden verwendet, um synthetische Segmentierungsdatensätze zu erstellen, konzentrieren sich jedoch häufig auf Bilder mit einem einzelnen Objekt und benötigen möglicherweise Ground-Truth-Annotationen. Im Gegensatz dazu ist unser Framework darauf ausgelegt, semantische Segmentierungen für komplexere Bilder mit mehreren interagierenden Objekten zu erzeugen, was die Notwendigkeit menschlicher Eingaben umgeht.

Kürzlich haben einige gleichzeitige Ansätze Stable Diffusion zur Generierung von Objektsegmentierungen ohne Annotationen verwendet, konzentrieren sich jedoch typischerweise auf ein Objekt pro Bild. Ihr Ansatz beinhaltet einfache Prompts, während unser Framework komplexere Text-Prompts nutzt, die es mehreren Objekten ermöglichen, zu koexistieren und zu interagieren.

#Framework-Übersicht

Unser Framework zur Erzeugung synthetischer Datensätze umfasst drei Hauptphasen. Zuerst definieren wir die Zielklassen und generieren Text-Prompts, die aus bestehenden Beschreibungen oder von Sprachmodellen generierten Beschreibungen stammen können. In der zweiten Phase verwenden wir diese Text-Prompts zusammen mit einem vortrainierten Stable Diffusion-Modell, um Bilder und deren entsprechenden Aufmerksamkeitskarten zu generieren. Die letzte Phase beinhaltet das Training eines semantischen Segmentierers mit den generierten Bildern und Segmentierungen sowie die Bewertung seiner Leistung auf Standarddatensätzen.

Um effektive Text-Prompts für Stable Diffusion zu erstellen, können wir grosse Sprachmodelle nutzen, um Sätze zu formulieren, die die Zielklassen beschreiben. Für Bewertungszwecke verlassen wir uns auf etablierte Datensätze wie PASCAL VOC oder COCO, um feste Prompts zu erstellen, was zu zwei neuen Benchmark-Sets führt: synth-VOC und synth-COCO.

Für den COCO-Datensatz können wir vorhandene Beschreibungen nutzen. Für PASCAL VOC generieren wir jedoch Beschreibungen mit einem führenden Bildbeschreibungsmodell. Wir stehen vor Herausforderungen mit den Beschreibungen, da diese möglicherweise keine genauen Begriffe verwenden oder bestimmte Klassen auslassen, was den Generierungsprozess beeinflusst.

Um die Qualität unserer Prompts zu verbessern, führen wir eine Methode ein, die Klassenlabels zu Beschreibungen hinzufügt und sicherstellt, dass alle Zielklassen vertreten sind. Diese Methode, die als Class-Prompt-Appending bezeichnet wird, garantiert vielfältige und genaue Prompts.

#Erzeugung von Segmentierungskarten

Unser Segmentierungsgenerator basiert auf Stable Diffusion und nutzt dessen Aufmerksamkeits-Schichten, um Segmentierungskarten zu erstellen. Zunächst kodieren wir den Text-Prompt in ein Embedding, das seinen Inhalt erfasst, während das Modell das Bild generiert. Bei jedem Generierungsschritt verwendet das Modell eine UNet-Architektur mit Selbst- und Cross-Attention-Schichten, um das Ergebnis zu verfeinern.

Selbst-Attention-Schichten helfen, lokale Merkmale zu verbessern, indem sie Positionen innerhalb des Bildes in Beziehung setzen. Cross-Attention-Schichten modellieren die Verbindung zwischen dem latenten Zustand und den Text-Prompt-Token, um sicherzustellen, dass der Inhalt gut im Ausgabebild repräsentiert ist.

Um uns auf Klassenlabels in der semantischen Segmentierung zu konzentrieren, schlagen wir eine Class-Prompt-Cross-Attention-Methode vor. Wir erstellen neue Text-Prompts, die speziell für die Extraktion von Cross-Attention-Karten gedacht sind, während wir die ursprünglichen Prompts für die Bildgenerierung gleich lassen. Dadurch entstehen Aufmerksamkeitskarten, die die Standorte spezieller Objektklassen hervorheben.

Die anfänglichen Cross-Attention-Karten können jedoch grob sein, daher verwenden wir die Selbst-Attention-Karten, um sie zu verfeinern und die Genauigkeit der Identifizierung von Objektstandorten zu verbessern.

Die endgültige Maske zeigt an, ob ein Pixel zu einer Objektklasse oder zum Hintergrund gehört. Durch die Verwendung spezifischer Schwellenwerte kategorisieren wir Pixel basierend auf ihren Objektwerten und bestimmen deren Labels. Dieser Prozess ermöglicht es uns, unsichere Masken zu berücksichtigen und die Gesamtqualität der Segmentierung zu verbessern.

#Training des semantischen Segmentierers

Mit generierten Bildern und Segmentierungsmasken in der Hand trainieren wir einen semantischen Segmentierer mithilfe einer verlustbewussten Verlustfunktion. Diese Methode ignoriert Verluste von unsicheren Pixeln, was die Leistung des gesamten Datensatzes verbessert.

Nach dem Training verwenden wir einen Selbsttraining-Ansatz, bei dem der Segmentierer eigene Vorhersagen zu den Bildern erstellt, ohne die Unsicherheit zu berücksichtigen. Das endgültige Modell wird mithilfe dieser neuen Vorhersagen erneut trainiert, was seine Fähigkeiten weiter verbessert.

Wir evaluieren unser Framework anhand der PASCAL VOC und COCO Datensätze, die weit verbreitet für Aufgaben der semantischen Segmentierung eingesetzt werden. Der VOC-Datensatz enthält 20 Objektklassen und eine Hintergrundklasse, während der COCO-Datensatz 80 Objektklassen und eine Hintergrundklasse hat. Wir führen eine sorgfältige Untersuchung unseres synthetischen Datensatzes über diese Benchmarks durch und generieren ausgewogene Datensätze für jede Klasse.

#Ergebnisse

Wir präsentieren die quantitativen Ergebnisse unseres Frameworks, die eine signifikante Verbesserung gegenüber bestehenden Methoden zeigen. Auf dem VOC-Benchmark erzielt unser Ansatz einen bemerkenswerten mittleren Intersection over Union (mIoU)-Wert und übertrifft dabei klar den vorherigen Ansatz von DiffuMask. Der COCO-Benchmark zeigt ähnliche Verbesserungen.

Unsere Ergebnisse zeigen, dass, obwohl unser Synthetischer Datensatz die Leistung von realen Datensätzen nicht vollständig erreicht, er dennoch eine wertvolle Alternative für das Training semantischer Segmentierer bietet. Obwohl wir Unterschiede in der Leistung feststellen, insbesondere in komplexeren Datensätzen wie COCO, ebnet unser Framework den Weg für zukünftige Forschungen, die darauf abzielen, verfeinerte Datensätze mit hochwertigen Annotationen zu erstellen.

#Diskussion

Obwohl unsere Methode effektiv bei der Generierung synthetischer Datensätze ist, gibt es Einschränkungen zu berücksichtigen. Unsere Abhängigkeit von Stable Diffusion zur Generierung von Bildern kann zu Herausforderungen führen, insbesondere wenn die Prompts mehrere Objektklassen umfassen. In diesen Fällen kann das Modell nicht gut abschneiden, was zu Bildern führt, die nicht alle angeforderten Objekte genau darstellen.

Zusätzlich ist die Verzerrung, die im Trainingsdatensatz von Stable Diffusion vorhanden ist, ein wichtiger Faktor. Dies kann dazu führen, dass die generierten Bilder diese Verzerrungen widerspiegeln und die Gesamtqualität des synthetischen Datensatzes beeinflussen. Laufende Forschungen werden dazu beitragen, diese Probleme anzugehen, wobei der Fokus darauf liegt, gerechtere generative Modelle zu entwickeln und die Leistung in verschiedenen Kontexten zu verbessern.

Zusammenfassend haben wir ein neues Framework vorgestellt, das die Generierung synthetischer Datensätze zur semantischen Segmentierung mit hochwertigen Bildern und detaillierten Annotationen ermöglicht. Dieses Framework zeigt vielversprechende Ergebnisse und erreicht beträchtliche mIoU-Werte auf etablierten Benchmarks, obwohl es Herausforderungen in komplexeren Szenarien gibt. Die hier gewonnenen Erkenntnisse sind ein Schritt nach vorne in Richtung Erstellung grossflächiger Datensätze mit genauen Labels durch generative Modelle.

#Zukünftige Arbeiten

Für die Zukunft beabsichtigen wir, unser Framework weiter zu verfeinern, um die Qualität der generierten Bilder und Segmentierungs-Masken zu verbessern. Durch die Erforschung besserer Methoden zur Durchsetzung präziserer Anleitungen während des Bildgenerierungsprozesses können wir die Fähigkeit des Modells verbessern, komplexe Szenen mit mehreren Objekten darzustellen. Zukünftige Arbeiten werden auch die Auswirkungen verschiedener Modelltrainingstrategien auf die Datensatzqualität analysieren und versuchen, die Leistungsunterschiede zu realen Datensätzen zu verringern.

Das Erkunden von Wegen zur Integration zusätzlicher Informationen oder Kontexte, wie Objektstandorte oder -anordnungen, wird ebenfalls von Wert sein. Die Umsetzung dieser Strategien kann helfen, die Einschränkungen zu minimieren, die bei überlappenden oder eng verwandten Objekten im Generierungsprozess auftreten. Zusammenfassend sehen wir kontinuierliche Verbesserungen und die Erforschung neuer Ansätze in diesem wachsenden Bereich der Generierung synthetischer Datensätze.