Avancées dans la génération de mouvement humain en 3D
Une nouvelle méthode crée des mouvements humains réalistes dans des environnements 3D.
― 7 min lire
Table des matières
Cet article parle d'une nouvelle méthode pour créer des mouvements humains réalistes dans des environnements 3D. Cette méthode permet des actions complexes, offrant un moyen pour les personnages de passer en douceur d'une tâche à l'autre dans différents contextes.
Le Problème avec les Méthodes Actuelles
Beaucoup de méthodes traditionnelles pour créer des mouvements humains s'appuient sur des infos détaillées sur l'environnement 3D. La plupart de ces méthodes se concentrent sur des actions uniques comme marcher, s'asseoir ou attraper. Elles ont besoin de données précises sur la façon dont les humains interagissent avec les objets et les surfaces dans ces espaces, ce qui les rend moins efficaces dans des contextes divers. Notre méthode offre une nouvelle perspective, se concentrant sur la compréhension des objectifs du mouvement plutôt que sur les détails exacts de l'environnement.
Points Clés de Notre Approche
Guidage de l'Animateur : Notre méthode permet aux animateurs de guider la création du mouvement humain en utilisant seulement quelques emplacements de joints. Par exemple, savoir où se trouvent les pieds d'une personne et une main peut aider à générer une séquence de mouvement complète à partir d'un point de départ.
Mouvement Centré sur le But : En se concentrant sur un emplacement cible, on peut créer des mouvements qui semblent avoir un but. Les mouvements du personnage sont orientés vers l'atteinte d'objectifs spécifiques, comme se déplacer vers un canapé ou atteindre un objet.
Mouvement Continu : On vise un mouvement fluide à travers différentes actions, comme marcher d'un endroit à un autre, s'asseoir ou prendre quelque chose sur une étagère. Cette continuité est essentielle pour créer des animations réalistes dans les jeux et la réalité virtuelle.
Utilisation de Points Clés : Au lieu d'avoir besoin de descriptions détaillées de la scène, notre méthode utilise des points clés. Ce sont des marqueurs simples qui définissent où les actions se produisent. Ils peuvent être définis manuellement par les animateurs ou générés automatiquement à l'aide de règles simples.
Notre Méthode en Détail
Le processus commence par une séquence de mouvement de base qui sert de graine. Cela peut être une simple animation de marche. À partir de là, les points clés sont définis, indiquant où le personnage doit effectuer des actions spécifiques.
Décomposition du Mouvement : Le processus de mouvement est divisé en plusieurs parties :
- Marcher : Le personnage se déplace vers une cible.
- Transition-In : Transition en douceur de la marche à une autre action, comme s'asseoir.
- Transition-Out : Retour à la posture de marche après avoir terminé l'action.
Entraînement du Modèle : Notre modèle apprend à partir des données de capture de mouvement disponibles. Ces données n'ont pas besoin d'être spécifiques à une scène, ce qui le rend plus polyvalent. Il peut être appliqué à différents contextes sans nécessiter d'ajustements supplémentaires.
Synthèse du Mouvement : Le modèle utilise deux composants clés :
- WalkNet : Cela synthétise les mouvements de marche le long d'un chemin tout en garantissant qu'il atteigne des cibles spécifiées.
- TransNet : Cela gère les transitions entre différentes postures, comme de debout à assis.
Mouvement Réaliste à Travers Différents Environnements
On a testé notre méthode dans diverses scènes 3D, comme des environnements intérieurs, extérieurs et tout endroit qui pourrait avoir plusieurs objets. Les résultats ont montré que notre méthode fonctionne bien, même dans des espaces compliqués où les méthodes traditionnelles peinent.
Par exemple, un personnage peut être demandé de marcher vers un point spécifique et ensuite ramasser un objet, comme un livre sur une étagère. Grâce à notre méthode, le personnage peut se déplacer en douceur sans pauses maladroites ou mouvements irréalistes.
Évaluation de Notre Approche
Pour évaluer la qualité de nos mouvements générés, on les a comparés à des méthodes existantes. On a réalisé des études où des participants regardaient des paires d'animations et choisissaient celle qui paraissait la plus réaliste. Les résultats ont montré que la plupart des participants préféraient nos animations en raison de leur fluidité et de leurs transitions naturelles.
Comparaison avec D'Autres Méthodes
On a regardé d'autres méthodes bien connues pour voir comment la nôtre se compare à elles. La plupart des méthodes existantes ont des règles strictes et nécessitent souvent des données détaillées sur la scène, ce qui limite leur efficacité dans différents environnements. Notre approche, en revanche, donne plus de liberté en s'appuyant sur des données de mouvement génériques plutôt que sur des informations spécifiques à la scène.
- SAMP : Ne peut créer que des actions spécifiques comme s'asseoir et nécessite des infos détaillées sur la scène.
- Wang et al. : Entraîné principalement sur des environnements contrôlés et a du mal avec de nouveaux types de scènes.
- GAMMA : Se concentre davantage sur la navigation et ne gère pas bien les interactions avec les objets.
Nos résultats ont montré que nous avons surpassé ces méthodes en termes de réalisme et de flexibilité.
Avantages de Notre Méthode
Flexibilité : Étant donné que notre méthode ne dépend pas de détails spécifiques à une scène, elle peut être utilisée dans une large gamme d'environnements 3D sans modifications approfondies.
Efficacité : L'utilisation de points clés signifie que les animateurs n'ont pas besoin de passer trop de temps à créer des mouvements complexes. Une simple entrée permet une génération rapide de mouvements.
Transitions Fluides : La conception de notre méthode se concentre sur le fait que les transitions entre différentes actions semblent naturelles. Cela donne des animations plus engageantes adaptées aux jeux et aux simulations.
Limitations
Bien que notre méthode soit une amélioration significative, elle a quelques limitations. Elle suppose un sol plat et peut ne pas gérer correctement les surfaces inégales. De plus, elle nécessite un certain agencement de points clés pour créer des mouvements réalistes. Si les points clés ne sont pas placés correctement, cela peut entraîner des mouvements maladroits.
Directions Futures
On vise à améliorer encore notre méthode. Un des objectifs clés est de réduire le nombre de points clés nécessaires, rendant notre système plus facile à utiliser pour les animateurs sans sacrifier le réalisme. On pense qu'en simplifiant les exigences d'entrée, on peut rendre notre technologie plus accessible pour des applications diverses.
Conclusion
En conclusion, notre méthode représente une avancée significative dans la génération de mouvements humains au sein de diverses scènes 3D. En se concentrant sur des actions orientées vers un but et en utilisant des points clés, on a créé un système qui permet des animations fluides et réalistes. Cela ouvre de nouvelles possibilités d'applications dans le jeu, la réalité virtuelle, la robotique et au-delà. Notre approche représente un pas important en avant dans le domaine de la Synthèse de mouvement et nous espérons qu'elle inspirera de nouvelles innovations pour créer des mouvements ressemblant à ceux des humains dans des environnements numériques.
Titre: Generating Continual Human Motion in Diverse 3D Scenes
Résumé: We introduce a method to synthesize animator guided human motion across 3D scenes. Given a set of sparse (3 or 4) joint locations (such as the location of a person's hand and two feet) and a seed motion sequence in a 3D scene, our method generates a plausible motion sequence starting from the seed motion while satisfying the constraints imposed by the provided keypoints. We decompose the continual motion synthesis problem into walking along paths and transitioning in and out of the actions specified by the keypoints, which enables long generation of motions that satisfy scene constraints without explicitly incorporating scene information. Our method is trained only using scene agnostic mocap data. As a result, our approach is deployable across 3D scenes with various geometries. For achieving plausible continual motion synthesis without drift, our key contribution is to generate motion in a goal-centric canonical coordinate frame where the next immediate target is situated at the origin. Our model can generate long sequences of diverse actions such as grabbing, sitting and leaning chained together in arbitrary order, demonstrated on scenes of varying geometry: HPS, Replica, Matterport, ScanNet and scenes represented using NeRFs. Several experiments demonstrate that our method outperforms existing methods that navigate paths in 3D scenes.
Auteurs: Aymen Mir, Xavier Puig, Angjoo Kanazawa, Gerard Pons-Moll
Dernière mise à jour: 2023-10-30 00:00:00
Langue: English
Source URL: https://arxiv.org/abs/2304.02061
Source PDF: https://arxiv.org/pdf/2304.02061
Licence: https://creativecommons.org/licenses/by/4.0/
Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.
Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.