Simple Science

La science de pointe expliquée simplement

# Informatique# Robotique# Apprentissage automatique

Avancées dans la prédiction des mouvements humains pour les robots

neuROSym améliore la capacité des robots à prédire les actions humaines en temps réel.

― 7 min lire


Améliorer les prédictionsAméliorer les prédictionsde mouvements des robotsles robots.prévision des mouvements humains pourneuROSym améliore la précision dans la
Table des matières

Ces dernières années, l'utilisation de robots autonomes a vraiment explosé, surtout dans des domaines comme la logistique, le transport et la santé. Un des trucs super importants pour ces robots, c'est de pouvoir bouger en toute sécurité autour des gens. Ça veut dire qu'ils doivent détecter et prédire les mouvements humains de manière précise. Cette capacité est essentielle non seulement pour éviter les collisions, mais aussi pour comprendre ce que les gens vont probablement faire ensuite.

Il existe différents systèmes pour prédire les mouvements humains. Certains ignorent l'environnement autour, tandis que d'autres prennent en compte le contexte dans lequel le robot évolue. Par exemple, savoir si un robot est dans un magasin bondé ou dans un entrepôt calme peut changer sa manière de prédire les actions humaines. Les systèmes qui tiennent compte du contexte ont tendance à mieux performer parce qu'ils peuvent intégrer les nombreuses façons dont les gens interagissent entre eux et avec les objets autour.

Pour améliorer la façon dont les robots comprennent les mouvements humains, on a développé un nouveau système appelé NeuROSym. Ce système utilise une technologie avancée qui combine des règles traditionnelles avec des réseaux neuronaux modernes. L'objectif de neuROSym est d'aider les robots à prédire les mouvements humains plus précisément et en temps réel, quand ils sont déployés dans des environnements réels.

Contexte

Les méthodes actuelles de prédiction des mouvements humains peuvent être divisées en deux grandes catégories : celles qui ne tiennent pas compte du contexte et celles qui le font. Il y a plusieurs approches dans ces catégories. Certains systèmes s'appuient sur des données numériques et des modèles physiques, tandis que d'autres utilisent des représentations plus simples et compréhensibles du mouvement.

Une méthode efficace est le Calcul de Trajectoire Qualitative (QTC), qui représente comment les gens ou les objets se déplacent les uns par rapport aux autres à l'aide de symboles faciles à comprendre. Cette approche est bénéfique car elle simplifie les complexités du mouvement tout en gardant des infos vitales sur comment les agents interagissent.

Dans nos travaux précédents, on a développé le modèle NeuroSyM qui combine à la fois des données de mouvement humain provenant de réseaux neuronaux et des connaissances symboliques pour améliorer les performances. On a constaté que cette combinaison dépassait les systèmes qui reposaient uniquement sur des réseaux neuronaux lors des tests expérimentaux.

Cependant, une grande partie des recherches existantes se concentre sur le test de modèles avec des données préenregistrées plutôt que dans des situations en temps réel. Pour combler cette lacune, on a créé le paquet neuROSym, qui permet des applications plus pratiques de ces théories.

Paquet neuROSym

Le paquet neuROSym est conçu pour être utilisé par des robots dans des scénarios en temps réel. Il se compose de trois composants principaux :

  1. Nœud de Modèle d'Inférence : Ce morceau est responsable de la prédiction des mouvements humains en fonction des données d'entrée. Il analyse les mouvements des gens autour du robot et utilise ces infos pour prévoir ce qu'ils vont faire ensuite. Il fournit aussi des données pour l'évaluation de la performance.

  2. Nœud de Visualisation et d'Analyse des Données : Ce nœud fonctionne en même temps que le modèle d'inférence pour visualiser les mouvements et calculer les indicateurs de performance. Il aide les utilisateurs à voir à quel point le robot prédit bien les mouvements en temps réel.

  3. Nœud de Post-Traitement des Données : Si le système de suivi rate des détections, ce nœud corrige ces erreurs. Ça garantit que le robot peut suivre les individus de manière constante, même si certains mouvements sont perdus à cause d'occlusions ou d'autres défis de suivi.

Chacun de ces composants travaille ensemble pour permettre au robot non seulement de prévoir où une personne va aller, mais aussi d'ajuster ses prédictions en fonction des mouvements en cours dans son environnement.

Application et Test

Pour tester la fonctionnalité de neuROSym, on a utilisé un robot TIAGo équipé de capteurs avancés. Ce robot a été placé dans un environnement contrôlé où il pouvait surveiller les mouvements de deux personnes pendant deux minutes. L'objectif était d'évaluer la performance de neuROSym sous différents schémas de mouvement humain.

On a mené deux types d'expériences principales :

  1. Scénario A : Mouvement Parallèle : Dans ce scénario, les deux personnes marchaient parallèlement. Le système de prédiction du robot devait reconnaître et s'adapter à ce schéma simple de mouvement, qui est souvent vu dans les lieux publics.

  2. Scénario B : Chemins Croisés : Dans ce scénario plus complexe, les deux personnes croisaient leurs chemins. Ici, le robot faisait face à un plus grand défi car il devait prédire des mouvements plus imprévisibles et éviter des collisions potentielles.

Lors des deux expériences, on a collecté des données sur la précision avec laquelle le robot prédisait les chemins des individus et la rapidité avec laquelle il pouvait traiter ces informations. Les résultats nous ont permis de comparer la performance du modèle neuROSym contre un modèle de référence, SGAN, qui n'utilise pas la même approche symbolique.

Résultats

Les résultats des deux expériences ont montré que le modèle neuROSym était plus précis pour prédire les mouvements humains par rapport au modèle de référence SGAN. Plus précisément, les erreurs de déplacement moyennes (la distance par rapport aux chemins réels) étaient plus faibles avec le système neuROSym. Ça indique que le robot pouvait anticiper les actions humaines plus efficacement dans les deux scénarios de test.

En termes de vitesse, le modèle neuROSym prenait un peu plus de temps pour faire des prédictions que le modèle de référence SGAN. Cependant, le compromis en valait la peine puisque neuROSym produisait des résultats beaucoup plus précis. Avec quelques améliorations du code et de la vitesse d'exécution, ça peut devenir encore plus viable pour une utilisation en temps réel dans les systèmes robotiques.

Discussion

Ces résultats soulignent l'importance du contexte dans la prédiction des mouvements humains. En intégrant des connaissances qualitatives sur les mouvements, neuROSym améliore la capacité du robot à naviguer et à interagir en toute sécurité avec les gens. Même si ça peut prendre un peu plus de temps pour traiter les prédictions, les améliorations en précision justifient ce délai, surtout dans des environnements complexes.

À mesure que les robots s'intègrent davantage dans la vie quotidienne, le besoin de systèmes de prédiction de mouvement fiables et efficaces ne fera que croître. La capacité à comprendre et anticiper les actions humaines augmentera la confiance des utilisateurs et la sécurité, rendant ces technologies plus attrayantes dans divers secteurs.

Travaux Futurs

Il reste encore beaucoup de travail à faire pour améliorer le modèle neuROSym. Les recherches futures se concentreront sur le test dans une gamme plus large de scénarios. Cela inclut des schémas de mouvement plus compliqués, des groupes plus larges de personnes, et différentes conditions environnementales. On prévoit aussi d'explorer différents types de systèmes de suivi pour voir comment ils peuvent augmenter la fiabilité des prédictions.

En élargissant l'évaluation de neuROSym, on vise à s'assurer qu'il peut gérer les diverses situations qu'un robot peut rencontrer dans des applications réelles. L'objectif ultime est d'améliorer encore la technologie, rendant les robots plus capables de fonctionner en toute sécurité et efficacement aux côtés des humains dans des environnements quotidiens.

Source originale

Titre: neuROSym: Deployment and Evaluation of a ROS-based Neuro-Symbolic Model for Human Motion Prediction

Résumé: Autonomous mobile robots can rely on several human motion detection and prediction systems for safe and efficient navigation in human environments, but the underline model architectures can have different impacts on the trustworthiness of the robot in the real world. Among existing solutions for context-aware human motion prediction, some approaches have shown the benefit of integrating symbolic knowledge with state-of-the-art neural networks. In particular, a recent neuro-symbolic architecture (NeuroSyM) has successfully embedded context with a Qualitative Trajectory Calculus (QTC) for spatial interactions representation. This work achieved better performance than neural-only baseline architectures on offline datasets. In this paper, we extend the original architecture to provide neuROSym, a ROS package for robot deployment in real-world scenarios, which can run, visualise, and evaluate previous neural-only and neuro-symbolic models for motion prediction online. We evaluated these models, NeuroSyM and a baseline SGAN, on a TIAGo robot in two scenarios with different human motion patterns. We assessed accuracy and runtime performance of the prediction models, showing a general improvement in case our neuro-symbolic architecture is used. We make the neuROSym package1 publicly available to the robotics community.

Auteurs: Sariah Mghames, Luca Castri, Marc Hanheide, Nicola Bellotto

Dernière mise à jour: 2024-06-24 00:00:00

Langue: English

Source URL: https://arxiv.org/abs/2407.01593

Source PDF: https://arxiv.org/pdf/2407.01593

Licence: https://creativecommons.org/licenses/by-nc-sa/4.0/

Changements: Ce résumé a été créé avec l'aide de l'IA et peut contenir des inexactitudes. Pour obtenir des informations précises, veuillez vous référer aux documents sources originaux dont les liens figurent ici.

Merci à arxiv pour l'utilisation de son interopérabilité en libre accès.

Plus d'auteurs

Articles similaires