Assistance robotique adaptative en réhabilitation post AVC

Ces dernières années, les systèmes de réhabilitation basés sur des robots sont devenus un outil super utile pour les gens qui se remettent d'accidents vasculaires cérébraux chez eux. Ces systèmes aident les patients pendant qu'ils s'attaquent à leurs tâches de thérapie. Les robots fournissent du soutien selon des règles qui spécifient quand et combien d'aide le patient reçoit. Trouver le bon niveau d'assistance est essentiel pour une réhabilitation réussie. Si l'aide est trop faible, les patients peuvent galérer et se sentir anxieux, ce qui les pousse à arrêter leur thérapie trop tôt. D'un autre côté, si l'aide est trop forte, les patients peuvent devenir trop dépendants du robot.

Une méthode appelée Assist-As-Needed (AAN) régule combien le robot aide le patient en fonction de sa performance pendant la thérapie. Quand le patient s'en sort bien, l'assistance robotique diminue, et quand il a des difficultés, l'aide augmente. Une méthode AAN simple se concentre sur la réduction de l'erreur dans une tâche où le patient doit suivre un chemin spécifique. L'assistance dans cette méthode est fournie selon deux réglages décidés par un thérapeute : la force à laquelle le robot aide et le maximum d'erreur autorisé. La façon dont l'assistance est donnée peut restreindre les mouvements du patient à une certaine zone. Si le patient s'éloigne trop du chemin, le robot applique une force pour l'aider à revenir sur la bonne voie. Malheureusement, décider des bons réglages nécessite le jugement d'un thérapeute, ce qui peut entraîner une dépendance inutile au robot.

Certaines études ont proposé des moyens de rendre ces systèmes d'assistance plus intelligents, leur permettant d'ajuster automatiquement l'aide qu'ils fournissent en fonction de la performance du patient. Ils ont développé différents types de modèles pour comprendre comment un patient se comporte, mais beaucoup de ces modèles sont spécifiques à chaque patient et ne peuvent pas être appliqués à tout le monde. Dans cet article, nous proposons une nouvelle méthode utilisant le Reinforcement Learning (RL) qui peut adapter l'assistance robotique d'une manière qui pourrait convenir à plus de patients.

L'organisation de cet article est simple. La prochaine section passe en revue les contrôleurs AAN existants. Ensuite, nous décrivons en détail notre système proposé et présentons des évaluations expérimentales. Nous partagerons les résultats de nos expériences et conclurons avec nos réflexions finales.

#Revue de la littérature

#Contrôleurs Assist-As-Needed

Les recherches montrent que les gens utilisant des dispositifs d'assistance s'appuient souvent trop sur eux, ce qui peut ralentir leur rétablissement. Cela a conduit au développement de contrôleurs AAN qui modifient le niveau d'assistance robotique en fonction de la performance du patient.

Un groupe de chercheurs a proposé d'utiliser des modèles spécifiques aux patients pour prédire comment les gens modifient leurs mouvements en réponse à différents niveaux d'assistance. D'autres ont créé des contrôleurs AAN pour des roues, mais ces méthodes nécessitent de nombreux essais pour adapter l'assistance efficacement à chaque personne.

Une autre étude s'est concentrée sur la modélisation de la difficulté des tâches pour ajuster les niveaux d'assistance. Cependant, cette approche dépend d'apprendre à partir de modèles de mouvement idéaux démontrés par des experts, ce qui peut être chronophage. Une autre méthode a utilisé le concept de force d'assistance maximale pour garantir la sécurité du patient, mais nécessitait également des sessions d'étalonnage régulières pour fonctionner efficacement.

Certains chercheurs ont utilisé des signaux provenant d'interfaces cerveau-ordinateur (BCI) et d'électromyographie de surface (sEMG) pour adapter l'assistance en fonction de l'engagement mental ou de l'effort physique. Cependant, ces méthodes peuvent être peu pratiques pour une utilisation à domicile, nécessitant des configurations compliquées et de l'aide supplémentaire.

Dans cet article, nous suggérons une nouvelle approche utilisant le RL qui évite les difficultés associées aux modèles spécifiques aux patients et aux limitations des systèmes basés sur des capteurs.

#Méthodologie

#Aperçu d’AR3n

Notre système de réhabilitation robotique assistive, nommé AR3n, se compose de trois parties principales : un environnement de simulation, un module de reinforcement learning et un dispositif robotique pour les tâches motrices. La partie RL utilise une méthode appelée Soft Actor-Critic (SAC) pour apprendre comment fournir de l'assistance. Le dispositif robotique aide l'utilisateur lors des exercices d'écriture en l'aidant à contrôler un stylo virtuel.

#Tâche Motrice

Dans notre étude, les patients utilisent un robot pour simuler l'écriture manuscrite. Le dispositif fournit du soutien basé sur des règles prédéfinies. En général, un thérapeute règle la force de l'aide du robot. Cependant, nous proposons un moyen d'adapter automatiquement cette aide en fonction de la performance du patient.

Le dispositif robotique utilisé dans l'étude peut fournir des retours à un rythme rapide, rendant l'expérience plus fluide pour l'utilisateur.

#Module de Reinforcement Learning

Le module de reinforcement learning inclut un agent basé sur SAC qui apprend la meilleure façon de soutenir un patient. L'agent RL explore l'environnement de simulation et recueille des données pour améliorer sa capacité à fournir de l'assistance.

#Environnement d’Entraînement

Nous avons conçu une tâche de simulation d'écriture où des patients virtuels essaient de suivre un chemin spécifique. L'agent RL apprend comment assister efficacement ces patients virtuels. Chaque session d'entraînement a un ensemble de tâches pour les patients virtuels, et compléter ces tâches aide l'agent RL à apprendre quand et comment fournir de l'assistance.

#Modèle de Force du Patient Virtuel

Pour créer un modèle de patient virtuel, nous simulons différents comportements à l'aide d'une combinaison de forces comme les forces tangentielle et normale, accompagnées d'une force de vent aléatoire représentant des déficiences motrices. Cela permet à l'agent RL de connaître divers comportements de patients pendant l'entraînement.

#Formulation du Problème de Reinforcement Learning

Nous formalisons le problème de RL pour concevoir un environnement structuré où l'agent peut apprendre efficacement. L'état de l'agent inclut des informations sur la position du patient et sa performance précédente, lui permettant de prendre des décisions basées sur ses actions actuelles et passées.

Les actions entreprises par l'agent incluent la détermination de la quantité d'assistance à fournir en fonction de la performance du patient. La fonction de récompense encourage l'agent à minimiser les erreurs de suivi tout en contrôlant le niveau d'assistance fourni.

#Réseau Soft-Actor-Critic

Le réseau SAC est conçu pour apprendre efficacement à partir de l'expérience. Il utilise un tampon de répétition qui aide l'agent à apprendre de ses actions passées, ce qui améliore ses performances. L'objectif est de trouver un équilibre entre l'apprentissage par essais et erreurs et l'optimisation des retours, lui permettant de mieux s'adapter.

Nous avons expérimenté différentes valeurs de configuration et déterminé les meilleures configurations pour garantir un entraînement stable et de bonnes performances.

#Évaluation Expérimentale

Nous avons cherché à évaluer l'efficacité d'AR3n à fournir une assistance en temps opportun et à améliorer la performance en temps réel. Nous voulions également comparer la performance d'AR3n avec celle d'une méthode traditionnelle.

#Tests Simulés

Nous avons testé la capacité d'AR3n à fournir une assistance fiable dans un environnement simulé. AR3n et une assistance traditionnelle de réduction des erreurs ont été comparés pour voir leurs différences en termes de soutien fourni.

#Étude avec des Sujets Humains

Après avoir évalué AR3n en simulation, nous avons conduit une étude humaine avec huit participants en bonne santé. L'objectif était de voir comment AR3n pouvait s'adapter et aider de vraies personnes alors qu'elles essayaient de suivre différentes formes à l'aide du dispositif robotique.

Les participants ont subi une série d'essais avec des niveaux variés d'assistance robotique. Le but était d'évaluer comment ils s'adaptaient à la tâche et à la technologie.

#Résultats et Discussion

#Résultats des Tests Simulés

Les résultats ont montré qu'AR3n fournissait une assistance fluide et adaptative par rapport aux méthodes traditionnelles. La façon dont AR3n ajustait son soutien était plus variée au lieu de se fier strictement à des seuils manuels. Les méthodes traditionnelles affichaient un soutien plus rigide, ce qui menait à une sensation plus mécanique.

#Résultats de l'Étude avec des Sujets Humains

Lors des études humaines, les participants ont montré une performance de suivi améliorée lorsqu'ils étaient assistés par AR3n. Ils ont constaté une réduction de l'Erreur de suivi, indiquant que l'assistance adaptative aidait leur apprentissage moteur.

Dans nos résultats, les sujets ayant reçu de l'aide d'AR3n ont présenté de meilleurs résultats par rapport à ceux utilisant des méthodes traditionnelles. Cela souligne les avantages des systèmes robotiques adaptatifs en réhabilitation.

#Conclusion

Cet article a présenté AR3n, un nouveau contrôleur d'assistance adaptatif basé sur le RL pour la réhabilitation robotique. AR3n a utilisé la méthode SAC pour une assistance en temps réel basée sur la performance du patient. Notre recherche s'est concentrée sur la réduction des erreurs de suivi et la fourniture d'une aide adaptable sans dépendre de données spécifiques aux patients.

AR3n s'est démarqué des méthodes traditionnelles car il ne nécessite pas d'ajustements manuels de paramètres. Au lieu de cela, nous nous sommes appuyés sur la simulation de différents patients virtuels pour créer un système qui pourrait fonctionner pour plus de gens.

Nos expériences ont montré qu'AR3n est efficace en tant qu'outil de réhabilitation, généralisant avec succès à divers participants et évitant les pièges d'une dépendance excessive souvent présents dans les systèmes traditionnels.

Bien que notre système actuel n'ajuste qu'un aspect de l'assistance robotique, de futures recherches pourraient explorer d'autres variables pour améliorer encore les performances. Tester AR3n sur un plus grand nombre de patients avec des besoins différents sera également essentiel pour confirmer son utilisation pratique en milieu clinique.