Fortschritte in der 3D-Menschlichen Bewegungsgenerierung
Eine neue Methode erzeugt realistische menschliche Bewegungen in 3D-Umgebungen.
― 6 min Lesedauer
Inhaltsverzeichnis
Dieser Artikel bespricht ein neues Verfahren zur Erstellung realistischer menschlicher Bewegungen in 3D-Umgebungen. Die Methode ermöglicht komplexe Aktionen und bietet eine Möglichkeit für Charaktere, reibungslos zwischen Aufgaben in verschiedenen Szenarien zu wechseln.
Das Problem mit den aktuellen Methoden
Viele traditionelle Methoden zur Erstellung menschlicher Bewegungen basieren auf detaillierten Informationen über die 3D-Umgebung. Die meisten dieser Methoden konzentrieren sich auf einzelne Aktionen wie Gehen, Sitzen oder Greifen. Sie benötigen präzise Daten darüber, wie Menschen mit Objekten und Oberflächen in diesen Räumen interagieren, was sie in unterschiedlichen Umgebungen weniger effektiv macht. Unsere Methode bietet eine frische Perspektive, indem sie sich auf das Verständnis der Bewegungsziele konzentriert, anstatt auf die genauen Details der Umgebung.
Wichtige Punkte unserer Herangehensweise
Animatorenführung: Unsere Methode ermöglicht es Animatoren, die Erstellung menschlicher Bewegungen nur mit wenigen Gelenkpositionen zu steuern. Zum Beispiel kann das Wissen, wo die Füsse und eine Hand einer Person sind, helfen, eine vollständige Bewegungssequenz basierend auf einem Ausgangspunkt zu erzeugen.
Zielgerichtete Bewegung: Indem wir uns auf einen Zielort konzentrieren, können wir Bewegungen kreieren, die zielgerichtet wirken. Die Bewegungen des Charakters sind darauf ausgerichtet, spezifische Ziele zu erreichen, wie zum Beispiel zu einer Couch zu gehen oder nach einem Objekt zu greifen.
Nahtlose Bewegung: Wir streben nach reibungslosen Bewegungen über verschiedene Aktionen hinweg, wie zum Beispiel von einem Ort zum anderen zu gehen, sich hinzusetzen oder etwas von einem Regal zu nehmen. Diese Kontinuität ist entscheidend für die Erstellung realistischer Animationen in Spielen und virtueller Realität.
Verwendung von Schlüsselpositionen: Anstatt detaillierte Szenenbeschreibungen zu benötigen, verwendet unsere Methode Schlüsselpositionen. Das sind einfache Marker, die definieren, wo Aktionen stattfinden. Sie können entweder manuell von Animatoren gesetzt oder automatisch mit einfachen Regeln generiert werden.
Unsere Methode im Detail
Der Prozess beginnt mit einer grundlegenden Bewegungssequenz, die als Ausgangspunkt dient. Das könnte eine einfache Geh-Animation sein. Von dort aus werden die Schlüsselpositionen definiert, die angeben, wo der Charakter bestimmte Aktionen ausführen soll.
Bewegung aufschlüsseln: Der Bewegungsprozess wird in mehrere Teile unterteilt:
- Gehen: Der Charakter bewegt sich auf ein Ziel zu.
- Übergang-In: Sanfter Übergang vom Gehen zu einer anderen Aktion, wie Sitzen.
- Übergang-Aus: Zurück zur Geh-Pose, nachdem die Aktion abgeschlossen ist.
Modell trainieren: Unser Modell lernt anhand verfügbarer Motion-Capture-Daten. Diese Daten müssen nicht spezifisch für eine bestimmte Szene sein, was es vielseitiger macht. Es kann auf verschiedene Umgebungen angewendet werden, ohne zusätzliche Anpassungen vorzunehmen.
Bewegungssynthese: Das Modell verwendet zwei Schlüsselteile:
- WalkNet: Das synthetisiert Gehbewegungen entlang eines Pfades und stellt sicher, dass es die angegebenen Ziele erreicht.
- TransNet: Das kümmert sich um die Übergänge zwischen verschiedenen Posen, wie zum Beispiel vom Stehen zum Sitzen.
Realistische Bewegung in verschiedenen Umgebungen
Wir haben unsere Methode in verschiedenen 3D-Szenen getestet, wie zum Beispiel in Innenräumen, im Freien und überall dort, wo es viele Objekte geben könnte. Die Ergebnisse zeigten, dass unsere Methode gut funktioniert, selbst in komplizierten Räumen, wo traditionelle Methoden Schwierigkeiten haben.
Zum Beispiel kann einem Charakter gesagt werden, dass er zu einem bestimmten Punkt gehen und dann einen Gegenstand, wie ein Buch aus einem Regal, aufheben soll. Dank unserer Methode kann sich der Charakter reibungslos bewegen, ohne unangenehme Pausen oder unnatürliche Bewegungen.
Unser Ansatz bewerten
Um die Qualität unserer generierten Bewegungen zu bewerten, haben wir sie mit bestehenden Methoden verglichen. Wir haben Studien durchgeführt, bei denen Teilnehmer Paare von Animationen betrachteten und die auswählten, die realistischer erschienen. Die Ergebnisse zeigten, dass die meisten Teilnehmer unsere Animationen aufgrund ihrer Flüssigkeit und natürlichen Übergänge bevorzugten.
Vergleich mit anderen Methoden
Wir haben uns andere bekannte Methoden angesehen, um zu sehen, wie sich unsere von ihnen abhebt. Die meisten bestehenden Methoden haben strenge Regeln und erfordern oft detaillierte Szenendaten, was ihre Effektivität in unterschiedlichen Umgebungen einschränkt. Unser Ansatz hingegen bietet mehr Freiheit, indem er auf generischen Bewegungsdaten anstelle von szenenspezifischen Informationen beruht.
- SAMP: Kann nur spezifische Aktionen wie Sitzen erstellen und benötigt detaillierte Szeneninformaionen.
- Wang et al.: Wurde hauptsächlich in kontrollierten Umgebungen trainiert und hat Schwierigkeiten mit neuen Szenentypen.
- GAMMA: Konzentriert sich mehr auf Navigation und behandelt Interaktionen mit Objekten nicht effektiv.
Unsere Ergebnisse zeigten, dass wir diese Methoden in Bezug auf Realismus und Flexibilität übertreffen.
Vorteile unserer Methode
Flexibilität: Da unsere Methode nicht auf spezifische Szenendetails angewiesen ist, kann sie in einer Vielzahl von 3D-Umgebungen ohne umfangreiche Modifikationen verwendet werden.
Effizienz: Die Verwendung von Schlüsselpositionen bedeutet, dass Animatoren nicht übermässig viel Zeit mit der Erstellung komplexer Bewegungen verbringen müssen. Einfache Eingaben ermöglichen eine schnelle Bewegungsgenerierung.
Sanfte Übergänge: Die Gestaltung unserer Methode konzentriert sich darauf, die Übergänge zwischen verschiedenen Aktionen natürlich erscheinen zu lassen. Das führt zu ansprechenderen Animationen, die sich gut für Spiele und Simulationen eignen.
Einschränkungen
Obwohl unsere Methode eine signifikante Verbesserung darstellt, hat sie einige Einschränkungen. Sie geht von einem ebenen Boden aus und kann unebene Flächen möglicherweise nicht gut handhaben. Ausserdem benötigt sie eine bestimmte Anordnung von Schlüsselpositionen, um realistische Bewegungen zu erzeugen. Wenn die Schlüsselpositionen nicht korrekt platziert werden, kann es zu unangenehmen Bewegungen kommen.
Zukünftige Richtungen
Wir streben an, unsere Methode weiter zu verbessern. Ein zentrales Ziel ist es, die Anzahl der erforderlichen Schlüsselpositionen zu reduzieren, um es Animatoren einfacher zu machen, unser System zu nutzen, ohne die Realität zu opfern. Wir glauben, dass wir durch die Vereinfachung der Eingabeforderungen unsere Technologie zugänglicher für verschiedene Anwendungen machen können.
Fazit
Zusammenfassend bietet unsere Methode einen bedeutenden Fortschritt bei der Generierung menschlicher Bewegungen in verschiedenen 3D-Szenen. Durch den Fokus auf zielgerichtete Aktionen und die Verwendung von Schlüsselpositionen haben wir ein System geschaffen, das flüssige und realistische Animationen ermöglicht. Dies eröffnet neue Möglichkeiten für Anwendungen in Spielen, virtueller Realität, Robotik und darüber hinaus. Unser Ansatz stellt einen wichtigen Schritt nach vorne im Bereich der Bewegungssynthese dar, und wir hoffen, dass er weitere Innovationen bei der Erstellung menschenähnlicher Bewegungen in digitalen Umgebungen inspiriert.
Titel: Generating Continual Human Motion in Diverse 3D Scenes
Zusammenfassung: We introduce a method to synthesize animator guided human motion across 3D scenes. Given a set of sparse (3 or 4) joint locations (such as the location of a person's hand and two feet) and a seed motion sequence in a 3D scene, our method generates a plausible motion sequence starting from the seed motion while satisfying the constraints imposed by the provided keypoints. We decompose the continual motion synthesis problem into walking along paths and transitioning in and out of the actions specified by the keypoints, which enables long generation of motions that satisfy scene constraints without explicitly incorporating scene information. Our method is trained only using scene agnostic mocap data. As a result, our approach is deployable across 3D scenes with various geometries. For achieving plausible continual motion synthesis without drift, our key contribution is to generate motion in a goal-centric canonical coordinate frame where the next immediate target is situated at the origin. Our model can generate long sequences of diverse actions such as grabbing, sitting and leaning chained together in arbitrary order, demonstrated on scenes of varying geometry: HPS, Replica, Matterport, ScanNet and scenes represented using NeRFs. Several experiments demonstrate that our method outperforms existing methods that navigate paths in 3D scenes.
Autoren: Aymen Mir, Xavier Puig, Angjoo Kanazawa, Gerard Pons-Moll
Letzte Aktualisierung: 2023-10-30 00:00:00
Sprache: English
Quell-URL: https://arxiv.org/abs/2304.02061
Quell-PDF: https://arxiv.org/pdf/2304.02061
Lizenz: https://creativecommons.org/licenses/by/4.0/
Änderungen: Diese Zusammenfassung wurde mit Unterstützung von AI erstellt und kann Ungenauigkeiten enthalten. Genaue Informationen entnehmen Sie bitte den hier verlinkten Originaldokumenten.
Vielen Dank an arxiv für die Nutzung seiner Open-Access-Interoperabilität.