Nouveau jeu de données MiliPoint fait avancer la recherche sur les radars mmWave

Le radar à onde millimétrique (MmWave) devient un choix populaire pour capter les activités humaines parce qu'il est économique et respecte mieux la vie privée des utilisateurs par rapport aux systèmes de caméras traditionnels. Au lieu de capturer des images, le radar mmWave détecte les signaux réfléchis par les objets. Cependant, cette technologie est sensible au bruit, ce qui complique l'utilisation des méthodes de deep learning dans ce domaine.

Pour soutenir la recherche et le développement dans ce secteur, on a créé un dataset appelé MiliPoint. Ce dataset est grand et ouvert à l'utilisation par les chercheurs et les développeurs. MiliPoint permet d'explorer comment le radar mmWave peut être efficace pour reconnaître les activités humaines. Il inclut une grande variété d'actions humaines et trois tâches importantes : Identification des individus, classification des actions, et Estimation des points clés sur le corps humain.

#Importance du Radar mmWave dans la Détection

Les capteurs sont cruciaux pour les systèmes modernes qui aident à prendre des décisions. Le radar mmWave est souvent utilisé dans divers secteurs comme l'automobile, l'industriel et les applications civiles. Il offre un bon équilibre entre résolution, précision, et coût.

Comparé aux capteurs traditionnels comme le WiFi et le Bluetooth, le radar mmWave fonctionne à des fréquences plus élevées, permettant une meilleure résolution et une capture de détails plus fins. Il peut aussi être fabriqué plus petit et moins cher tout en maintenant la qualité. Cependant, il présente des inconvénients ; il peut souffrir du bruit à cause de sa dépendance aux signaux réfléchis.

La qualité du radar mmWave par rapport aux autres capteurs montre ses avantages. C'est une solution économique et non intrusive qui peut être déployée efficacement dans plusieurs scénarios.

Les chercheurs ont trouvé le radar mmWave utile pour de nombreuses tâches liées à la détection d'activités humaines, mais les conditions variées et les exigences des tâches rendent difficile la comparaison des différentes méthodes. Il y a beaucoup d'études qui se concentrent sur des aspects spécifiques, comme le suivi d'une seule personne ou la différenciation entre deux ou trois personnes, accumulant diverses tailles d'échantillons et types d'actions.

#Création du Dataset MiliPoint

MiliPoint a été développé comme un dataset standardisé pour aider les futures recherches sur la détection d'activités humaines. Ses principales contributions sont les suivantes :

• MiliPoint contient trois tâches clés pour la reconnaissance des activités humaines : identification, classification des actions, et estimation des points clés.
• Le dataset englobe une large gamme d'actions avec plus de 545,000 images, ce qui est beaucoup plus grand que les datasets existants.
• On a aussi testé des réseaux de neurones profonds basés sur des points (DNNs) sur MiliPoint, établissant une base pour de futures améliorations.

#Comprendre les Signaux mmWave

Un signal mmWave est un signal électromagnétique qui se situe généralement entre 30 et 300 GHz, avec une longueur d'onde inférieure à 1 cm. Cette fréquence plus élevée permet une plus grande bande passante, rendant le mmWave idéal pour les applications radar à courte portée puisque meilleure résolution rime avec bande passante plus large.

De plus, la courte longueur d'onde permet d'intégrer de nombreuses antennes dans un dispositif compact, fournissant des données précieuses sur l'angle d'incidence et des caractéristiques spatiales 3D détaillées. Bien que le radar mmWave soit moins précis que les caméras et les systèmes lidar, il présente des avantages comme le coût, la non-intrusivité, et l'indépendance par rapport aux conditions d'éclairage, ce qui le rend de plus en plus populaire pour la détection d'activités humaines.

Typiquement, les radars mmWave utilisent une méthode appelée onde continue modulée en fréquence (FMCW) pour trouver des objets. Le radar émet des signaux d'ondes millimétriques, qui rebondissent sur les objets, et le radar collecte le signal réfléchi. La distance et l'angle d'un objet sont codés dans la fréquence et la phase de ce signal retourné. L'unité de traitement du radar analyse ensuite les signaux pour produire des données sur les coordonnées 3D de l'objet.

#Datasets mmWave Existants

Bien que de nombreux cadres radar mmWave aient été développés pour la reconnaissance d'activités humaines, peu de datasets sont disponibles au public. La plupart de ces datasets se concentrent sur une tâche spécifique, souvent l'estimation des points clés. Il y a quelques datasets spécifiquement conçus pour la classification des actions, mais ils sont limités en taille et en variété d'actions capturées.

MiliPoint est unique car il englobe les trois principales tâches dans la reconnaissance d'activités humaines, offrant des données plus complètes que ce qui était disponible auparavant. Il inclut un total de 11 participants réalisant 49 actions différentes, montrant une variété de mouvements humains et élargissant largement le champ de recherche.

#Réseaux Neurones Basés sur des Points

Les nuages de points se composent de nombreux points 3D représentant la forme d'un objet et sont couramment utilisés dans l'infographie et la détection 3D. Les réseaux de neurones basés sur des points, comme PointNet et PointNet++, gèrent directement ces ensembles de points non ordonnés au lieu d'essayer de les convertir en d'autres formats comme des images ou des grilles.

DGCNN, une variation de réseau neuronal graphique, excelle en utilisant EdgeConv pour recueillir des informations sur le voisinage local, tandis que PointTransformer emploie des méthodes d'auto-attention initialement développées pour le traitement du langage. Il y a aussi des réseaux plus simples, comme PointMLP, qui nécessitent une architecture moins complexe mais atteignent tout de même des résultats compétitifs.

Dans notre travail, nous avons établi des benchmarks en utilisant divers réseaux représentatifs, tels que PointNet++, PointMLP, DGCNN, et PointTransformer, pour évaluer leurs performances sur le dataset MiliPoint.

#Processus de Collecte de Données

La collecte des données a eu lieu en personne, avec des participants réalisant une série d'exercices de cardio à faible intensité. Chaque exercice a été soigneusement choisi pour son intensité et sa variété. Une vidéo montrant ces exercices a été utilisée pour guider les participants à travers leurs mouvements.

Pour préserver la vie privée des participants, nous avons veillé à ce qu'ils restent anonymes, et le dataset ne contient que des données de nuages de points et des points clés dérivés du radar. Tout le contenu vidéo a été supprimé. Le radar mmWave et la caméra stéréo utilisés pour la collecte des données étaient configurés pour garantir des flux de données de haute qualité.

Le radar mmWave que nous avons utilisé est connu pour sa capacité d'imagerie 3D. Il fonctionne dans la plage de fréquences de 77-81 GHz et est conçu avec plusieurs émetteurs et récepteurs. Cette configuration fournit des données significatives sur les mouvements des individus.

Nous avons également utilisé une caméra stéréo pour fournir des données de vérité terrain sur l'estimation des points clés, capturant des informations de profondeur et des coordonnées 3D des participants.

#Recrutement des Participants et Approbation de l'Étude

Onze participants ont volontiers participé à l'étude, recrutés par email et bouche-à-oreille. Le groupe était composé de quatre femmes et sept hommes, tous sans problèmes de mobilité. Les participants ont été informés de l'objectif de l'étude et ont accepté de participer en signant des formulaires de consentement. Ils ont reçu une petite incitation pour leur participation.

L'étude a été approuvée par le Comité d'Éthique de la Recherche de la Faculté de Génie de l'Université.

#Conception des Tâches

Pour évaluer les performances, nous avons établi trois tâches principales : identification, estimation des points clés, et classification des actions.

1. Identification : Cette tâche implique d'analyser les données pour distinguer les individus en fonction de caractéristiques uniques. Chaque participant reçoit une étiquette numérique.

2. Classification des Actions : Cela nécessite de reconnaître des modèles comportementaux à partir des données radar organisées en ensembles d'images, chacune liée à une action spécifiée.

3. Estimation des Points Clés : Cela implique de localiser des points importants sur le corps humain. Nous avons développé deux tâches de points clés : l'une se concentrant sur un ensemble de caractéristiques de base comme les épaules et les genoux, et l'autre nécessitant un ensemble plus détaillé de points incluant le nez et les poignets.

#Pipeline de Traitement des Données

Le radar mmWave génère des paquets de données sous forme de nuages de points. Le nombre de points varie en fonction de la réflexion du sujet. Pour maintenir la cohérence entre les images, nous avons fixé une limite supérieure sur le nombre de points et utilisé un échantillonnage aléatoire ou un remplissage de zéros si nécessaire.

Pour créer des points de données pour l'analyse, nous avons empilé plusieurs images de données des participants. Nous avons également étiqueté les données pour l'identification, dérivé les points clés des résultats de la caméra stéréo, et synchronisé les étiquettes d'action avec les timestamps du contenu vidéo.

#Configuration de l'Expérience

Nous avons testé divers réseaux de neurones basés sur des points avec différentes répartitions de formation, validation et test. Les modèles ont été implémentés en utilisant des frameworks populaires comme PyTorch. Nous avons suivi les performances sur plusieurs essais pour la fiabilité et la précision.

Différentes stratégies de empilement ont été utilisées pour les points de données, avec des résultats variés indiquant que le bon alignement des données améliore les performances.

#Résultats Clés

Les résultats de l'évaluation du dataset MiliPoint ont montré que les méthodes basées sur des points ont bien performé dans l'identification des individus. Cependant, la classification des actions s'est avérée plus difficile, principalement à cause des défis liés à l'extraction de séquences significatives à partir de données éparses et bruitées.

Les performances variaient selon les différents réseaux, avec PointNet++ et PointMLP se démarquant comme les meilleurs performers dans ce benchmark.

#Limitations et Travaux Futurs

Notre dataset a des limitations. Les données ont été collectées avec un seul radar mmWave dans un environnement contrôlé, ce qui pourrait ne pas représenter pleinement les complexités du monde réel. De plus, nous nous sommes concentrés sur un éventail limité d'actions, manquant des postures plus complexes.

Les futures recherches pourraient explorer plusieurs radars pour des données plus complètes, mais cela implique aussi de gérer l'interférence potentielle entre les dispositifs. Nous prévoyons également d'étudier le signal IF brut pour voir s'il offre des avantages supplémentaires par rapport aux nuages de points traités.

#Conclusion

MiliPoint est un dataset substantiel conçu pour promouvoir davantage de recherches sur le radar mmWave pour la détection d'activités humaines. Il fournit une vaste collection de données à travers plusieurs tâches et présente des opportunités d'amélioration des méthodes de deep learning basées sur des points. Les chercheurs peuvent désormais tirer parti de ce dataset pour faire avancer leur travail dans ce domaine en pleine expansion.