Fortschritte in der 3D-Kleidungssegmentierung

3D-Kleidung ist wichtig in vielen Bereichen wie Unterhaltung, Animation und digitaler Mode. Allerdings hatten frühere Studien oft Schwierigkeiten, ein detailliertes Verständnis zu erreichen oder nutzten gefälschte Datensätze, die nicht realistisch aussehen. Um dieses Problem zu beheben, präsentieren wir einen neuen grossen Datensatz, der Informationen über 3D-Kleidung enthält, einschliesslich wie Kleidung am Körper getragen wird. Dieser Datensatz hat viele verschiedene Kleidungsarten. Zusammen mit dem Datensatz haben wir auch ein neues Modell entwickelt, das verschiedene Arten von Kleidung erkennen und lernen kann, indem es sich farbige Punktwolken ansieht, die 3D-Darstellungen von Oberflächen sind. Unser Modell nutzt spezielle Merkmale, um seine Fähigkeit zu verbessern, Kleidung besser zu verstehen als frühere Methoden. Ausserdem haben wir ein Tool entwickelt, das hilft, die Genauigkeit der Kennzeichnung von Kleidung in 3D-Scans zu verbessern. Durch die Verwendung dieses Tools fanden wir heraus, dass unser Modell bei realen Daten besser abschneidet.

Kleidung ist entscheidend dafür, wie wir uns ausdrücken. Was wir tragen, kann unsere Kultur, Überzeugungen und Gefühle zeigen. Mit dem wachsenden Interesse an der Erstellung digitaler Avatare arbeiten Forscher hart daran, neue Wege zu finden, digitale Kleidung zu modellieren und zu analysieren. Diese Arbeit eröffnet viele Möglichkeiten, von digitalen Modeschauen bis hin zur Verwendung in virtuellen Umgebungen.

Das Verständnis, wie Menschen in Bildern gekleidet sind, hat sich stark verbessert, aber die Verwendung von 3D-Daten ist immer noch eine Herausforderung, insbesondere für Aktivitäten, die im 3D-Raum stattfinden. Obwohl es neue Möglichkeiten zur Erfassung von 3D-Bildern gibt, bleibt die Herausforderung, die richtigen Details über Kleidungsstücke und deren Passform am Körper zu erfassen. Viele Ansätze basieren auf gefälschter Kleidung, die von Experten erstellt wurde, oder teuren Datenerhebungstechniken. Neuere Methoden versuchen, Menschen und Kleidung gleichzeitig zu betrachten, verstehen aber immer noch nicht, wie die verschiedenen Teile zusammenarbeiten. Wir glauben, dass es ein erhebliches Problem ist, dass nicht genügend gut organisierte Daten mit Kleidung und Menschen zusammen verfügbar sind.

Diese Studie zielt darauf ab, diese Lücke mit drei Hauptbeiträgen zu füllen. Erstens haben wir einen neuen grossen Datensatz von Personen erstellt, die Kleidung tragen, mit detaillierten Segmentierungslabels. Das ist der erste Datensatz seiner Art in der realen Welt. Zweitens haben wir diesen Datensatz genutzt, um ein 3D-Kleidungssegmentierungsmodell zu trainieren, das verschiedene Arten von Kleidung identifizieren kann. Unser Modell funktioniert, indem es Körperteile mit Kleidungsarten verbindet und lokale Merkmale des Kleidungsstücks untersucht, um die Genauigkeit der Segmentierung zu verbessern. Schliesslich haben wir ein Tool entwickelt, das es den Nutzern ermöglicht, die Vorhersagen des Modells zu verbessern. Durch die Kombination dieses Tools mit dem Modell zeigen wir, dass es sich gut an reale Daten anpassen kann.

#Verwandte Arbeiten

Diese Studie umfasst einen neuen Datensatz, ein Modell zur Kleidungssegmentierung und ein Tool zur Verfeinerung des Segmentierungsprozesses. Daher werden wir die aktuelle Arbeit in diesen Bereichen betrachten.

#3D-Kleidungsdatensätze

Das Wachstum der digitalen Mode und virtueller Anproben hat zur Erstellung von Kleidungsdatensätzen geführt. Viele dieser Datensätze sind jedoch immer noch zweidimensional und erfassen die vollständige Bandbreite menschlicher Posen oder Kleidungsarten nicht genau. Sie sind nicht zuverlässig für den Aufbau realistischer Modelle, wie Kleidung sitzt oder sich bewegt.

3D-Kleidungsdatensätze können in zwei Kategorien unterteilt werden: synthetische und erfasste Datensätze. Synthetische Datensätze werden mit komplexer Software erstellt, die simuliert, wie sich Kleidung verhält. Dieser Prozess erfordert häufig das Eingreifen von Experten und enthält typischerweise keine realistischen Details. Er hat auch Schwierigkeiten mit mehreren Schichten von Kleidung.

Auf der anderen Seite sind erfasste Datensätze aufgrund von technologischen Verbesserungen in 3D-Erfassungssystemen zugänglicher geworden. Während einige Datensätze anständige Scans von Personen bieten, fehlt oft die detaillierte Kleidungssegmentierung. Vorhandene Datensätze enthalten nur eine begrenzte Anzahl von Kleidungsarten, was ihre Verwendung einschränkt. Unser Datensatz sticht hervor, weil er eine feinkörnige Kleidungssegmentierung umfasst, die in früheren realen Kleidungsdatensätzen nicht zu finden ist.

#3D-Kleidungssegmentierung

In den letzten Jahren haben Forscher versucht, die Segmentierung von Kleidung in 3D zu analysieren. Die meisten Methoden konzentrierten sich früher auf 2D-Szenarien, die sich nicht gut in 3D-Anwendungen übertragen lassen. Die Verwendung eines Modells, das direkt aus 3D-Daten lernen kann, kann jedoch erhebliche Verbesserungen bringen. Die aktuellen Methoden basieren oft auf einfacher Segmentierung, die die Komplexität von Kleidung nicht berücksichtigt.

Einige Methoden benötigen viel manuelle Verarbeitung, was lange dauert und detaillierte Vorkenntnisse über Kleidungsstrukturen erfordert. Andere konzentrieren sich nur auf die Lage und einfache geometrische Daten, die nicht genug Informationen für eine feinkörnige Segmentierung bieten. Es besteht ein klarer Bedarf an Ansätzen, die Kleidungsdetails in den Segmentierungsprozess integrieren. Unsere Arbeit zielt darauf ab, ein Modell zu schaffen, das sowohl die Geometrie als auch das Aussehen von Kleidung direkt aus farbigen 3D-Punktwolken berücksichtigt.

#3D-interaktive Segmentierung und Verfeinerung

Interaktive Tools spielen eine wichtige Rolle bei der Verbesserung der Qualität der segmentierten Daten. In 2D-Umgebungen haben traditionelle Methoden es den Nutzern ermöglicht, Anpassungen vorzunehmen, die Fehlkennzeichnungen korrigieren. Ein ähnlicher Bedarf besteht in 3D-Umgebungen, in denen die Nutzer Segmentierungen effektiv verfeinern sollten. Aktuelle Methoden nutzen das Nutzer-Feedback nicht vollständig, um die Segmentierungsqualität zu verbessern oder sich an neue Kleidungsstile anzupassen.

Wir führen ein interaktives Tool ein, das speziell für die Kleidungssegmentierung entwickelt wurde. Dieses Tool ermöglicht es den Nutzern, Segmentierungsvorhersagen schnell zu verfeinern und Korrekturen vorzunehmen. Durch kontinuierliches Lernen hilft unser Tool, die Leistung über verschiedene Datensätze hinweg aufrechtzuerhalten.

#3D-Kleidungssegmentierungsdatensatz

Wir präsentieren einen neuen gross angelegten 3D-Kleidungssegmentierungsdatensatz, der gekennzeichnete Daten von bekleideten Personen umfasst. Unser Datensatz stammt aus zwei Hauptquellen: Die eine wurde in unserem Labor mit einem 3D-Scanner erfasst, und die zweite stammt aus kommerziellen Datensätzen. Wir werden Segmentierungslabels und andere Metadaten für diese Scans bereitstellen.

#Grundwahrheitssegmentierungslabels

Für unseren Datensatz haben wir einen Prozess entwickelt, um zuverlässige Segmentierungslabels zu erhalten. Unser Pipeline verbessert frühere Studien, indem sie die Notwendigkeit komplexer Registrierungs Schritte beseitigt. Wir wenden unsere Kennzeichnungsmethode direkt auf die Scans an, was einen einfacheren Ansatz ermöglicht. Da es jedoch potenziellen Lärm in der 3D-Segmentierung geben kann, müssen wir die Labels durch die Anwendung spezifischer Regeln reinigen und verfeinern.

#3D-Kleidungssegmentierungsnetzwerk

Wir haben ein Netzwerk erstellt, das Kleidungslabels aus farbigen Punktwolken mithilfe unseres Datensatzes genau vorhersagen kann. Dieses Netzwerk funktioniert durch mehrere Module, die zusammenarbeiten, um die Genauigkeit und Verallgemeinerung für verschiedene Kleidungsarten zu verbessern.

#Eingabe und Ausgabe

Unser Modell nimmt eine farbige Punktwolke als Eingabe, zusammen mit Parametern über die Körperstruktur. Es sagt pro Punkt Segmentierungslabels voraus, die anzeigen, zu welcher Kleidungsart jeder Punkt gehört. Um dies zu erreichen, verwenden wir verschiedene Architekturen und Techniken, die für die Verarbeitung von Punktwolken entwickelt wurden und es uns ermöglichen, bedeutungsvolle Merkmale zu extrahieren.

#Kleidungscodierung und klassenbasierte Aufmerksamkeit

Die Klassifizierung von Kleidung ist oft komplex aufgrund subjektiver Interpretationen verschiedener Stile. Um dies zu adressieren, haben wir unser Modell trainiert, um einzigartige Merkmale für jede Kleidungsart durch ein selbstgelerntes Codebuch zu lernen. Dieser Ansatz ermöglicht es dem Modell, sich besser an verschiedene Stile anzupassen und die Segmentierungsgenauigkeit zu verbessern.

#Segmentierungsdecoder

Unser Modell kombiniert alle Merkmale und leitet sie durch einen Segmentierungsdecoder, der pro Punkt Segmentierungslabels generiert. Wir trainieren dieses Netzwerk mithilfe gängiger Verlustfunktionen, sodass wir seine Leistung bewerten und weiter verfeinern können, basierend auf Nutzerfeedback.

#Kontinuierliche Lernverfeinerung

Wir führen ein kontinuierliches Lernframework ein, um die Leistung unseres Modells im Laufe der Zeit aufrechtzuerhalten. Diese Strategie ermöglicht es dem Modell, sich basierend auf Nutzerinput zu aktualisieren, was hilft, die Verallgemeinerung für neue Datensätze zu verbessern. Unser Tool ermöglicht es Nutzern, Segmentierungsergebnisse zu korrigieren, und durch dieses Feedback passt sich das Modell an und wird robuster.

#Experimente und Ergebnisse

In unseren Experimenten vergleichen wir unser Modell mit vorhandenen Techniken, um seine Effektivität zu messen. Wir bewerten die Leistung mithilfe standardisierter Metriken wie Intersection over Union (IoU) für Segmentierungsaufgaben. Dies gibt uns ein klares Verständnis der Fähigkeiten unseres Modells.

Wir stellen fest, dass unser Modell erheblich besser abschneidet als frühere Methoden unter verschiedenen Bedingungen. Es zeigt Verbesserungen bei komplexen Scans mit mehreren Schichten von Kleidung und kann die Genauigkeit auch bei weniger üblichen Kleidungsarten aufrechterhalten.

#Einschränkungen und zukünftige Arbeiten

Obwohl unsere Arbeit einen bedeutenden Fortschritt in der 3D-Kleidungssegmentierung darstellt, gibt es noch Bereiche, die verbessert werden können. Unser Datensatz kann erweitert werden, um mehr kulturelle Kleidungsstücke und Stile einzuschliessen. Darüber hinaus kann das Modell verfeinert werden, um die Notwendigkeit manueller Kennzeichnungen durch automatische Vorhersage von Kleidungsarten zu beseitigen.

Zukünftige Arbeiten könnten auch verschiedene Strategien des kontinuierlichen Lernens erkunden, um die Leistung weiter zu steigern. Obwohl unser System vielversprechend ist, wird die Vielfalt der Kleidungsstile immer eine Herausforderung für die Verallgemeinerung des Modells darstellen. Nichtsdestotrotz erwarten wir, dass diese Herausforderungen durch weitere Forschung effektiv angegangen werden können.

#Fazit

Wir haben einen innovativen Ansatz zur 3D-Kleidungssegmentierung vorgestellt, der einen grossen Datensatz mit einem leistungsstarken Segmentierungsmodell und einem interaktiven Verfeinerungstool kombiniert. Diese Arbeit fördert nicht nur den Stand der Technik, sondern hat auch praktische Anwendungen in verschiedenen Bereichen. Der Datensatz, das Modell und das Tool, die wir erstellt haben, können als Grundlage für weitere Forschung und Entwicklung im Bereich der digitalen Mode und Kleideranalyse dienen.

Die Kombination unseres Datensatzes und Modells hält Versprechen für verschiedene Branchen, die das Verständnis von 3D-Kleidung nutzen möchten. Durch kontinuierliches Lernen kann unser Ansatz sich an neue Stile anpassen und im Laufe der Zeit verbessern. Diese Arbeit legt das Fundament für zukünftige Fortschritte in diesem Bereich, um aktuelle Einschränkungen zu adressieren und den Weg für neue Anwendungen in virtuellen und erweiterten Realität Kontexten zu ebnen.