Améliorer la prédiction du mouvement humain avec des tâches auxiliaires

La prédiction du mouvement humain, c'est un peu deviner comment les gens vont bouger à l'avenir en se basant sur leurs mouvements passés. Ça a des applications pratiques dans des domaines comme la robotique, les jeux vidéo et les voitures autonomes. Un des gros défis dans ce domaine, c'est de comprendre comment différentes parties du corps bougent ensemble avec le temps. Les méthodes passées ont essayé de régler ça en utilisant des types de réseaux spécifiques qui regardent à la fois l'espace (la position des articulations) et le temps (comment le mouvement change).

#Le Problème

Quand on observe le mouvement d’une personne, on peut voir comment ses parties du corps (comme les bras et les jambes) interagissent de manière complexe. Pour prédire les mouvements futurs de manière précise, c'est super important de capturer comment ces parties du corps se relient les unes aux autres, autant en termes de leurs positions que de leur évolution dans le temps. Développer des techniques efficaces pour capter ces relations est essentiel pour de meilleures prédictions.

Beaucoup de méthodes existantes se concentrent sur la construction de structures de réseau compliquées, mais cet article présente une approche différente en utilisant des Tâches auxiliaires. Ces tâches aident à améliorer la tâche principale de prédiction du mouvement en faisant apprendre au réseau davantage à partir des données.

#Approche des Tâches Auxiliaires

Dans notre approche, on introduit des tâches auxiliaires où certaines coordonnées des articulations sont volontairement rendues floues en les masquant ou en ajoutant du bruit aléatoire. Le boulot du réseau devient de retrouver les positions d'origine à partir des coordonnées claires restantes. En entraînant le modèle avec ces tâches supplémentaires, il devient meilleur pour comprendre les relations entre les articulations, ce qui mène à une meilleure prédiction des mouvements.

Les tâches auxiliaires sur lesquelles on se concentre sont :

1. Tâche de Dénonciation : On ajoute du bruit aléatoire aux coordonnées des articulations à différents moments, et le but est de récupérer le mouvement fluide d'origine.

2. Tâche de Prédiction de Caractéristiques Masquées : Des coordonnées aléatoires sont cachées, et l’objectif est de prédire ces positions manquantes en se basant sur d'autres données visibles.

Ces tâches obligent le réseau à en apprendre plus sur la façon dont les relations spatiales et temporelles fonctionnent ensemble.

#Comment Fonctionnent les Méthodes Actuelles

Les méthodes traditionnelles s'appuyaient sur certaines structures comme les Réseaux de Neurones Récurrents (RNN) ou les Réseaux de Convolution Graphiques (GCN) pour capturer le timing des mouvements ou comment les articulations se connectent spatialement. Alors que certains utilisaient des GCN pour relier les articulations corporelles comme des nœuds dans un graphe, beaucoup n'ont pas réussi à capturer efficacement à la fois le timing et la position ensemble.

Certaines méthodes avaient du mal à modéliser les dépendances spatiales correctement car elles se concentraient uniquement sur le timing. Notre travail s'ajoute aux méthodes existantes en introduisant des tâches d'apprentissage supplémentaires qui poussent le réseau à mieux capturer ces relations.

#Notre Solution : Transformer Adapté aux Auxiliaires

Pour mettre en œuvre nos tâches auxiliaires dans le processus d'apprentissage, on a conçu un type spécial de réseau appelé le Transformer Adapté aux Auxiliaires. Ce réseau est capable de gérer des données incomplètes tout en capturant comment différentes articulations dépendent les unes des autres.

#Caractéristiques Clés de Notre Réseau

1. Dépendance par Coordonnée : La position de chaque articulation est traitée comme une caractéristique individuelle. Le réseau apprend à relier ces caractéristiques en utilisant des mécanismes d'attention qui modélisent à la fois les dépendances spatiales et temporelles.

2. Adaptable aux Données Manquantes : Le réseau peut reconnaître quand des données sont manquantes (à cause de la tâche de masquage) en utilisant des jetons spéciaux pour indiquer cela.

3. Structure Partagée : La tâche principale de prédiction et les tâches auxiliaires partagent la même structure de réseau, rendant le modèle plus cohérent et efficace.

#Cadre d'Apprentissage

Le cadre d'apprentissage se compose de trois tâches qui travaillent ensemble :

1. Tâche Principale de Prédiction Future : C'est le but principal, prédire comment une personne va bouger à l'avenir.

2. Tâche Auxiliaire de Dénonciation : Aide le réseau à récupérer des données bruitées.

3. Tâche Auxiliaire de Prédiction de Masquage : Aide à prédire les positions d'articulations cachées.

En faisant fonctionner ces tâches ensemble, le modèle apprend mieux les dépendances spatiales-temporelles, ce qui aide à améliorer la prédiction globale des mouvements.

#Résultats Expérimentaux

On a fait des expériences pour voir comment notre méthode fonctionne en pratique. On a testé sur trois ensembles de données différents : Human3.6M, CMU Mocap et 3DPW.

#Prédiction à Court Terme

Pour les prédictions à court terme (jusqu'à 400 millisecondes), notre méthode a montré de meilleures performances par rapport aux techniques existantes. On a vérifié à quel point notre méthode prédisait correctement les positions à différents moments futurs et on a constaté qu'elle surpassait constamment d'autres approches.

#Prédiction à Long Terme

Pour les prédictions plus longues (plus de 400 millisecondes), notre méthode a maintenu son succès. On l'a comparée à plusieurs méthodes établies et on a trouvé qu'elle offrait constamment une meilleure précision sur une gamme d'actions.

#Robustesse à la Qualité des Données

Notre méthode prédit non seulement bien les mouvements, mais elle fonctionne aussi mieux quand les données sont manquantes ou bruitées. On a testé à quel point notre modèle pouvait fonctionner quand des parties des données d'entrée étaient cachées ou déformées. Dans les deux scénarios, notre approche s'est révélée plus efficace comparée aux méthodes traditionnelles, indiquant qu'elle peut gérer les problèmes du monde réel où les données ne sont pas toujours parfaites.

#Conclusion

Dans ce travail, on a introduit un cadre innovant pour prédire le mouvement humain qui utilise des tâches auxiliaires pour améliorer la compréhension des dépendances spatiales-temporelles entre les articulations du corps. Notre approche, connue sous le nom d'AuxFormer, montre une performance améliorée lorsqu'il s'agit de prédire des mouvements futurs par rapport aux méthodes existantes. Non seulement elle atteint des résultats à la pointe de la technologie sur plusieurs ensembles de données, mais elle montre aussi une plus grande robustesse face aux données manquantes ou bruitées.

Cette avancée pourrait ouvrir la voie à des applications plus fiables en robotique et en IA, où prédire avec précision le mouvement humain est vital pour l'interaction et la sécurité.