Avancées dans la course autonome avec l'apprentissage par renforcement

L'idée des voitures autonomes a capté l'attention de plein de chercheurs dans des domaines comme l'intelligence artificielle, les systèmes de contrôle et la robotique. Une grosse partie de cette recherche se concentre sur comment ces voitures peuvent se déplacer dans des environnements compliqués et en constante évolution. C'est particulièrement difficile quand il s'agit de courses automobiles, où les méthodes traditionnelles dépendent souvent d'une cartographie précise, d'une planification détaillée des itinéraires et de systèmes de règles strictes.

#Défis des Méthodes Traditionnelles

Les méthodes utilisées pour la cartographie et la navigation, comme la Localisation et Cartographie Simultanées (SLAM), nécessitent souvent beaucoup de puissance de calcul, des capteurs de top qualité et du matériel avancé. D'un autre côté, les systèmes basés sur des règles et des plans ont souvent besoin de définitions détaillées des comportements et des situations. Même si ces méthodes fonctionnent bien dans des environnements familiers et structurés, elles galèrent quand elles sont confrontées à des zones inconnues ou compliquées. Ça met en évidence le besoin de moyens plus intelligents qui peuvent s'adapter à plein de situations différentes.

#Apprentissage par renforcement comme Solution

Récemment, l'Apprentissage par Renforcement (RL) a montré un grand potentiel pour gérer ces défis imprévisibles. La force du RL, c'est sa capacité à proposer des solutions qui marchent dans plein de situations différentes sans avoir à créer des plans uniques pour chacune. Il apprend en interagissant avec son environnement et en ajustant ses actions selon les récompenses qu'il reçoit. Au fur et à mesure que l'agent RL rencontre diverses situations, il peut formuler des réponses qui s'appliquent à des défis nouveaux et inconnus.

Dans le monde des courses automobiles, un agent RL peut être entraîné en utilisant des données de capteurs en temps réel (comme des images de caméra) pour comprendre son environnement et prendre des décisions de conduite appropriées. Cette approche réduit la dépendance à la position globale et aux problèmes des méthodes traditionnelles.

#Travaux Précédents et Limitations

Dans des études antérieures, des chercheurs ont démontré qu'il était possible de former un agent RL utilisant des caméras pour naviguer en toute sécurité sur les autoroutes. Cependant, l'utilisation de caméras a un gros inconvénient : elles ne fonctionnent pas bien dans des conditions d'éclairage et météorologiques variées, surtout la nuit. De plus, associer des images de caméra synthétiques d'une simulation avec des données du monde réel pose des défis, rendant difficile l'application des modèles appris à des tests réels.

Pour surmonter ces limitations, ce travail se concentre sur l'entraînement d'un agent RL en utilisant des Données LiDAR brutes et d'odométrie pour conduire en toute sécurité sur des circuits de course. Après avoir terminé l'entraînement dans un environnement simulé, la capacité de l'agent entraîné à gérer des situations réelles est testée sur des circuits de course à petite échelle.

#Structure de l'Étude

Le document est organisé en plusieurs sections. La première section parle de l'algorithme RL utilisé pour entraîner l'agent de course. La section suivante couvre l'environnement de simulation utilisé pour l'entraînement. Ensuite, les techniques appliquées pour rendre l'entraînement plus adaptable sont expliquées. Enfin, les résultats de l'entraînement et les performances de l'agent dans les simulations et les tests réels sont présentés.

#Conception de l'Agent d'Apprentissage par Renforcement

#Mise en Place du Problème

L'objectif est de créer un agent RL qui puisse naviguer avec succès sur un circuit de course tout en évitant des obstacles et d'autres véhicules. À chaque étape, l'agent utilise plusieurs entrées :

• Données Lidar : C'est le principal outil de l'agent pour détecter les bords de l'environnement et identifier les obstacles.
• Données d'Odométrie : Cela aide l'agent à connaître sa vitesse actuelle, ce qui est important pour faire des manœuvres sûres.
• Action Précédente : Cela donne du contexte à l'agent en lui rappelant quelle action il a prise à la dernière étape.

Ces entrées sont conçues pour garantir que le problème conserve une certaine propriété, ce qui signifie que l'état au moment suivant dépend uniquement de l'état actuel et non des états passés. Cela permet de voir le problème comme un Processus de Décision de Markov (MDP), ce qui aide à la planification et à la prise de décision.

#Le Cadre MDP

Un MDP peut être simplifié comme ayant :

• Un ensemble d'états possibles que l'agent peut rencontrer.
• Une gamme d'actions que l'agent peut entreprendre.
• Une méthode pour déterminer comment l'environnement réagit à ces actions.
• Un système de récompenses qui encourage l'agent à apprendre les comportements souhaités.

Dans ce cadre, le but ultime de l'agent est d'apprendre une politique, qui est une règle pour choisir des actions, qui maximise les récompenses.

#Optimisation de Politique Proximale

Une méthode efficace pour y parvenir est l'Optimisation de Politique Proximale (PPO), une méthode RL populaire connue pour sa performance et son efficacité. PPO fonctionne en limitant combien la politique peut changer lors d'une seule mise à jour. Cela se fait à travers un objectif spécial qui maintient la politique stable pendant l'apprentissage.

#Conception du Modèle

La conception du modèle de l'agent RL inclut deux composants principaux : le réseau de politique et le réseau de valeur. Les deux sont composés de couches simples avec quelques couches cachées. Le réseau de valeur a une structure plus grande, tandis que le réseau de politique est conçu pour être plus petit. Les deux modèles utilisent un type spécifique de fonction mathématique pour les aider à mieux apprendre.

#Espaces d'Entrée et d'Action

L'espace d'état pour l'agent est composé de :

• Lectures lidar brutes (2155 points de données).
• Un seul float représentant la vitesse.
• Un tableau de float contenant l'action précédente réalisée.

L'espace d'action se compose de deux valeurs float représentant la vitesse forward et l'angle de direction (en radians).

Pour améliorer l'efficacité de l'entraînement, il est courant de normaliser les entrées avant de les utiliser dans le réseau de neurones, ce qui signifie que les données sont ajustées pour correspondre à une plage spécifique.

#Techniques de Randomisation

Pour empêcher le modèle de s'appuyer trop sur des caractéristiques spécifiques d'un circuit de course unique, la randomisation de domaine est appliquée. Cela inclut :

• S'entraîner sur une grande variété de circuits de course avec différentes formes et longueurs.
• Placer aléatoirement des obstacles de tailles variées le long du circuit.
• Ajouter un peu de bruit aux lectures lidar et aux capteurs de vitesse pour imiter les problèmes de capteurs du monde réel.

#Conception du Système de Récompense

La fonction de récompense est cruciale pour guider les actions de l'agent. Elle fournit des retours sur combien certaines actions sont souhaitables. La conception aborde plusieurs comportements clés :

• Plus l'agent va vite sur le circuit, plus il gagne de récompenses.
• L'agent est pénalisé pour les mouvements latéraux.
• Rester près du centre du circuit donne plus de points à l'agent.
• Une direction agressive entraîne moins de récompenses, favorisant une conduite plus douce.
• Les collisions avec des obstacles entraînent de sévères pénalités.

Si une collision se produit, une grande valeur négative est appliquée, et l'épisode se termine.

#L'Environnement de Simulation

Pour l'étude, un environnement de simulation open-source appelé F1TENTH est utilisé. Cette simulation est conçue pour imiter le comportement des capteurs lidar sur le véhicule. Cependant, la dynamique dans la simulation diffère légèrement des dynamiques réelles, ce qui peut entraîner des différences de performance.

#Analyse des Résultats de l'Entraînement

Après avoir entraîné l'agent RL pendant un bon moment, les performances sont évaluées en fonction de sa capacité à compléter des tours sans toucher d'obstacles. Les résultats montrent une amélioration claire des performances au fil du temps, avec une augmentation continue des récompenses et des taux de réussite.

L'agent apprend à suivre efficacement le circuit tout en évitant diverses formes d'obstacles. Il s'adapte rapidement, réduisant sa vitesse dans des situations délicates ou lorsque le chemin n'est pas clair. Cependant, il y a encore des problèmes, surtout quand il est confronté à des virages serrés ou à des obstacles qui bloquent le chemin.

#Tests Réels

Après des simulations d'entraînement réussies, l'agent RL est testé dans des conditions réelles en utilisant la voiture F1TENTH. Ce véhicule est une option à petite échelle conçue pour la recherche en conduite autonome. Le circuit de test comprend divers défis, y compris des virages serrés et des obstacles inattendus.

À la surprise générale, l'agent se transfère bien de la simulation à la réalité. Il navigue le circuit efficacement, tournant et évitant les obstacles de manière similaire à ce qu'il faisait dans l'environnement simulé. Cependant, il a des difficultés dans des zones sur lesquelles il n'a pas été spécifiquement entraîné, comme s'adapter à des changements soudains de la largeur du circuit ou gérer des situations où les lectures lidar sont incertaines.

#Conclusion

En conclusion, utiliser le RL avec des données lidar et d'odométrie montre un grand potentiel pour faire avancer la technologie des courses autonomes. Bien que l'agent démontre des performances satisfaisantes à la fois dans les simulations et les tests réels, des améliorations supplémentaires sont nécessaires pour mieux gérer les caractéristiques complexes des circuits. Un travail continu dans ce domaine aidera à améliorer la compréhension par l'agent des dynamiques du monde réel, menant à des solutions de course autonome plus fiables et efficaces.