Récupérer le cadre : Améliorer la gestion des tâches des robots

Les robots deviennent de plus en plus courants dans des lieux où ils interagissent avec les humains. Cependant, ils font parfois des erreurs en exécutant des tâches. Détecter ces erreurs et trouver comment s'en remettre peut être assez difficile. Les méthodes traditionnelles dépendent souvent d'avoir beaucoup de données ou de règles strictes. Récemment, certaines nouvelles méthodes ont commencé à utiliser de grands modèles de langage (LLM) pour vérifier les étapes des tâches et créer de nouveaux plans. Malheureusement, ces méthodes ne fonctionnent souvent pas en temps réel et peuvent être coûteuses.

Pour résoudre ces problèmes, un nouveau système appelé Recover a été développé. Ce système utilise une combinaison de connaissances symboliques et de LLM pour identifier les Échecs au fur et à mesure qu'ils se produisent et décider des étapes de Récupération immédiatement. Une partie clé de ce système est une ontologie qui décrit l'environnement dans lequel le robot opère, permettant au robot de détecter les problèmes en fonction des informations qu'il recueille en temps réel.

#Le défi des échecs des robots

Quand un robot fait un job, il doit non seulement planifier ses actions mais aussi réagir aux changements dans son environnement. Si quelque chose ne va pas, il doit comprendre ce qui s'est passé et comment le réparer rapidement. C'est particulièrement important dans des environnements où les robots travaillent aux côtés des gens, car la fiabilité et la sécurité sont cruciales.

La plupart des robots utilisent soit des méthodes basées sur des modèles soit des méthodes basées sur des politiques pour prendre des décisions. Les approches basées sur des modèles nécessitent souvent que le robot planifie en fonction de ses connaissances actuelles de l'environnement. D'un autre côté, les méthodes basées sur des politiques utilisent des règles pour déterminer les actions en fonction de l'état actuel.

Le système Recover combine les deux approches. Il utilise une ontologie et des règles pour donner au robot une image claire de son environnement. Cela aide le robot à prendre de meilleures décisions, surtout quand il n'a pas assez de données à partir desquelles tirer des conclusions.

#Le système Recover

Recover est un cadre qui combine les connaissances symboliques avec les capacités des grands modèles de langage pour détecter et récupérer des échecs lors de l'exécution des tâches. En utilisant une ontologie, le robot peut mieux comprendre l'environnement et appliquer des règles logiques pour analyser ce qui a mal tourné pendant une action.

Quand le robot effectue une tâche, il suit d'abord une séquence d'étapes. Après chaque action, il vérifie l'environnement pour voir si l'action a réussi ou s'il a rencontré un problème. Si un problème est identifié, Recover utilise les informations de son ontologie pour déterminer une stratégie de récupération.

#Comment fonctionne Recover

Le système Recover commence par un plan de tâche et une ontologie décrivant l'environnement. L'ontologie inclut des détails sur tous les objets, actions et relations dans cet environnement. Pendant que le robot exécute ses tâches, il recueille des données sur les sons et les visuels, qui sont traduits en un format structuré que le système peut comprendre.

Lorsqu'un échec se produit, Recover consulte l'ontologie pour récupérer des instructions sur la manière de revenir sur la bonne voie. Un LLM est ensuite utilisé pour créer un nouveau plan en fonction de la situation actuelle. Cela permet au robot d'adapter sa stratégie sans avoir besoin de recommencer la tâche depuis le début, ce qui fait gagner du temps et des ressources.

#Ontologies dans Recover

Une ontologie est un cadre structuré qui organise des informations sur un domaine spécifique, qui, dans ce cas, est un environnement de cuisine. Le système Recover dispose d'une ontologie appelée OntoThor, qui inclut des détails comme :

• Actions : Descriptions de la manière dont le robot interagit avec les objets.
• Agents : Informations sur les humains et les robots présents dans l'environnement, y compris leurs préférences.
• Objets physiques : Classification des articles de cuisine comme la nourriture et les ustensiles, ce qui aide le robot à comprendre leurs rôles.
• Propriétés physiques : Attributs des objets comme étant cassables ou remplissables.
• Sons : Catégorisation des sons émis pendant les actions, comme les sons des appareils.
• Relations spatiales : Définitions de la façon dont les objets sont positionnés les uns par rapport aux autres.
• État : La condition actuelle des objets à un moment donné.
• Emplacement : Classification des différentes zones dans la cuisine.

Chaque fois que le robot interagit avec un objet, il met à jour l'ontologie avec des détails sur cet objet et tout événement résultant. Cela permet au robot de tenir un registre complet de ses actions et de l'environnement.

#Identifier les échecs

L'ontologie aide également à identifier divers types d'échecs. Ceux-ci incluent :

• Échecs des agents : Erreurs commises par le robot, comme faire tomber un objet.
• Échecs environnementaux : Problèmes liés à l'environnement, comme des chemins bloqués ou des objets sales.
• Échecs de Planification : Erreurs qui surviennent à cause d'étapes manquantes ou incorrectes dans le plan de tâche.
• Violations de préférence : Échecs qui se produisent lorsque les restrictions ou préférences alimentaires d'un humain ne sont pas respectées.
• Échecs de sécurité : Situations qui présentent des risques pour les humains, comme du verre brisé pouvant causer des blessures.

Le cadre s'appuie sur un ensemble de règles prédéfinies pour détecter les échecs en comparant le résultat attendu de chaque action avec ce qui se passe réellement.

#Tester le système Recover

Pour évaluer la performance de Recover, diverses tâches ont été testées dans un environnement de cuisine simulé. Un total de 12 tâches différentes ont été créées, chacune conçue pour défier le système de différentes manières. Les tâches ont été divisées en catégories faciles et complexes en fonction du nombre d'étapes nécessaires pour les compléter.

#Résultats des tests

1. Taux de succès : La capacité du vérificateur de sous-objectifs basé sur des règles à identifier les échecs était parfaite, atteignant un taux de détection de 100 %.
2. Plans de récupération : Le module de re-planification basé sur LLM a réussi à générer de nouveaux plans dans environ 90 % des scénarios d'échecs testés, ce qui signifie qu'il pouvait souvent trouver comment résoudre le problème sans redémarrer la tâche.
3. Problèmes de sécurité : Le système a également réussi à identifier correctement les échecs liés à la sécurité dans plus de 90 % des cas.
4. Comparaison avec d'autres approches : Comparé à une méthode traditionnelle basée sur LLM, Recover a montré une performance nettement meilleure tant dans l'identification que dans la correction des échecs, montrant l'intérêt d'intégrer des connaissances symboliques.

#Rentabilité

Un autre avantage important du système Recover est sa rentabilité. Les méthodes traditionnelles qui reposent sur beaucoup de données et de planification hors ligne nécessitent plus de ressources, tant sur le plan computationnel que financier. La détection rapide des échecs et la capacité de créer des plans de récupération en temps réel entraînent des coûts inférieurs pour l'exécution globale des tâches.

#Directions futures

L'équipe derrière Recover prévoit d'améliorer encore le système en incluant des situations plus complexes impliquant l'interaction humaine. Cela pourrait inclure l'étude de la façon dont les robots peuvent mieux réagir aux changements lorsque des gens sont présents, ou comment des connaissances spécialisées peuvent améliorer les stratégies de récupération.

De plus, des améliorations sur la façon dont le système utilise les LLM en parallèle avec les ontologies pourraient conduire à des capacités de raisonnement et de planification encore meilleures. De meilleurs prompts et méthodes de communication augmenteront probablement le succès global et l'adaptabilité des robots dans des environnements dynamiques.

#Conclusion

Le cadre Recover marque une avancée significative dans le domaine de la robotique, notamment dans la manière dont les robots peuvent gérer les échecs lors des tâches. En fusionnant les connaissances symboliques avec la flexibilité des grands modèles de langage, Recover apporte une nouvelle approche à la résolution de problèmes en temps réel dans les systèmes robotiques.

Alors que les robots deviennent de plus en plus intégrés dans la vie quotidienne, la capacité de détecter et de se remettre d'échecs de manière efficace sera cruciale pour garantir la sécurité et la fiabilité. Le développement continu de ce système ouvre la voie à des applications encore plus avancées à l'avenir.