Faire avancer la course autonome avec la technologie AI

Avec l'essor de la technologie de conduite autonome, beaucoup de compétitions incluent maintenant des catégories sans conducteur. L'une d'elles est l'événement Formula Student, où des équipes universitaires construisent et font courir leurs propres voitures de course de style formule. Cet article parle d'une étude axée sur l'utilisation d'un type d'intelligence artificielle appelé Deep Reinforcement Learning (RL) pour contrôler une voiture de course autonome dans ces compétitions.

Dans cette étude, nous avons entraîné deux méthodes avancées de RL dans un environnement simulé qui imitait les conditions de course réelles sur une plateforme robotique Turtlebot2. Notre objectif était de voir si ces méthodes pouvaient apprendre à courir efficacement en simulation, puis appliquer ce savoir à la course sur un circuit réel.

#Contexte

La popularité de l'intelligence artificielle a énormément augmenté, et elle est utilisée dans divers domaines, y compris la conduite autonome. En 2017, la première compétition Formula Student avec une catégorie sans conducteur a eu lieu en Allemagne. D'autres compétitions, comme celle en Australie, prévoient aussi d'introduire des catégories sans conducteur bientôt.

La navigation pour les véhicules autonomes est une tâche complexe. Un robot doit comprendre où il se trouve (localisation), où il doit aller (reconnaissance de l'objectif), et comment y parvenir (planification de trajet). Si le robot connaît la configuration de son environnement, il peut planifier un itinéraire global et puis le suivre tout en évitant des obstacles. Cependant, les conditions réelles manquent souvent de cette connaissance préalable, et les obstacles dynamiques peuvent compliquer les méthodes de navigation traditionnelles.

Pour surmonter ces défis, on a besoin d'un système de navigation qui peut apprendre par l'expérience. Le Reinforcement Learning est un domaine de recherche qui vise à résoudre des problèmes de contrôle robotique. En interagissant directement avec l'environnement, un robot peut s'adapter à de nouvelles situations et améliorer ses performances au fil du temps.

#L'Étude

Dans cette étude, nous avons examiné l'utilisation du Deep Reinforcement Learning pour contrôler une voiture de course autonome Formula Student. Au lieu de travailler avec une voiture de course de taille normale, nous avons utilisé la plateforme Turtlebot2, qui est plus lente mais nous permet de tester nos méthodes de manière fiable.

Nous avons comparé deux algorithmes de RL populaires : DQN (Deep Q-Network) pour les actions discrètes et TD3 (Twin Delayed DDPG) pour les actions continues. Nous avons effectué des tests dans des environnements simulés et réels pour évaluer comment ces algorithmes pouvaient apprendre à courir.

#Méthodologie

#Mise en Place de l'Expérience

Avant de commencer les tests, nous avons créé un ensemble de directives basées sur les règles existantes de Formula Student pour les véhicules sans conducteur. Les circuits étaient définis à l'aide de cônes, mais pour notre étude, nous avons remplacé les cônes par des Marqueurs ArUco. Ce changement a simplifié le problème de reconnaissance visuelle tout en permettant une comparaison claire entre la simulation et le monde réel.

Notre objectif principal était de former la plateforme Turtlebot2 à rester centrée sur la piste. La position des marqueurs ArUco les plus proches par rapport à la Turtlebot2 a été utilisée comme base pour l'entraînement. Le système de contrôle du robot a été réglé pour maintenir une vitesse constante tout en ajustant sa vitesse de rotation en fonction des positions des marqueurs.

#Entraînement du Robot

La Turtlebot2 a suivi une série de sessions d'entraînement, courant le long de segments de piste courts. Différentes formes de piste, y compris des chemins droits et des virages, ont été utilisées pour aider le robot à apprendre à naviguer dans diverses conditions de course. Le robot a été entraîné pendant plus de 5000 épisodes pour améliorer sa capacité à terminer les pistes avec succès.

Nous avons utilisé un système de récompense pour fournir des retours au robot pendant l'entraînement. La récompense était basée sur la façon dont le robot restait aligné avec la piste. Plus le robot était aligné au centre de la piste, plus la récompense qu'il recevait était élevée.

#Test des Résultats

Après l'entraînement, nous avons testé les performances du robot dans des environnements simulés et réels. Nous avons mesuré combien de fois le robot a complété la piste et jusqu'où il a réussi à aller lors de chaque parcours. L'objectif était de quantifier sa capacité de course et de voir comment il pouvait transférer ses acquis de l'environnement simulé aux conditions réelles.

#Résultats

#Performance en Simulation

Les deux algorithmes, DQN et TD3, ont montré des progrès pendant l'entraînement, avec des récompenses croissantes indiquant qu'ils apprenaient efficacement. Alors que DQN continuait à s'améliorer tout au long de l'entraînement, TD3 a atteint un plateau après environ 2000 épisodes.

Lors des tests sur des segments de piste, l'algorithme TD3 a montré de bonnes performances, surtout pour compléter les virages et rester sur la piste. Le taux de réussite pour les deux modèles a démontré qu'ils avaient appris à naviguer dans des segments de course dans la simulation.

#Test en Conditions Réelles

Ensuite, nous avons testé à quel point les modèles fonctionnaient dans des situations réelles. Nous avons mis en place des marqueurs ArUco physiques sur la piste réelle et demandé à la Turtlebot2 d'essayer les mêmes segments qu'elle avait pratiqués en simulation.

Les modèles TD3 ont de nouveau surpassé les modèles DQN lors de ces tests. Cependant, il était intéressant de noter que la performance variait selon la direction des virages. Les modèles TD3 avaient tendance à mieux performer sur les virages à gauche par rapport à ceux à droite dans le monde réel.

#Défis Rencontrés

Malgré les résultats positifs, il y avait quelques défis. La caméra utilisée pour détecter les marqueurs ArUco avait des difficultés avec les différentes conditions d'éclairage, ce qui affectait sa capacité à reconnaître les marqueurs. De plus, le mouvement de rotation rapide du robot causait parfois du flou dans le flux vidéo de la caméra, entraînant des problèmes de détection.

Il y avait aussi des préoccupations concernant la précision du placement des marqueurs dans le monde réel. Les méthodes utilisées pour placer les marqueurs devaient être précises, ce qui posait des difficultés lors des tests. Si les marqueurs n'étaient pas positionnés correctement, cela affecterait les performances des modèles.

#Discussion

Cette étude a mis en lumière plusieurs aspects importants de l'utilisation du RL pour les applications de course.

#Efficacité des Algorithmes

Les deux algorithmes ont montré des résultats prometteurs, mais TD3 avait un avantage distinct sur DQN en termes de contrôle et d'adaptabilité. L'espace d'action continu de TD3 permettait des ajustements plus fins, ce qui est particulièrement précieux dans des environnements dynamiques comme les courses.

#Transfert de Simulation à Réalité

L'une des découvertes marquantes était que les compétences acquises en simulation se transféraient efficacement au monde réel. La capacité des modèles à compléter des pistes après avoir été formés dans un environnement simulé est un signe positif pour les applications futures.

Cependant, nous devons reconnaître les écarts entre simulation et réalité, tels que les problèmes d'éclairage et le besoin de placements précis des marqueurs. Ces facteurs doivent être pris en compte pour les applications réelles afin d'assurer une performance cohérente.

#Améliorations Futures

Pour améliorer les résultats, nous proposons plusieurs orientations futures. Ajuster l'espace d'action et la fonction de récompense pourrait mener à un contrôle plus fluide, réduisant le tremblement observé lors des tests. De plus, incorporer des scénarios d'entraînement plus divers, y compris différentes conditions environnementales, peut améliorer la robustesse des modèles.

Nous recommandons aussi de changer le système de détection pour peut-être utiliser des cônes de couleur au lieu de marqueurs, car cela pourrait améliorer la reconnaissance dans différentes situations d'éclairage. Cet ajustement aiderait à développer un système de navigation plus fiable capable de fonctionner dans divers environnements.

#Conclusion

Cette étude a jeté les bases de l'utilisation du Deep Reinforcement Learning pour contrôler des véhicules de course autonomes. Les résultats prometteurs dans les tests en simulation et en conditions réelles suggèrent que le RL peut efficacement résoudre des problèmes de navigation complexes dans des environnements de course.

En avançant, il sera crucial de s'attaquer aux limitations identifiées pour améliorer les performances et garantir l'adaptabilité dans des situations diverses. Grâce à la recherche et au développement continus, nous pouvons travailler vers la mise en œuvre réussie de ces systèmes dans des voitures de course à grande échelle.

Avec l'avancement de la technologie et des techniques, la course autonome pourrait devenir un domaine fiable et excitant dans le sport automobile, permettant aux équipes de repousser les limites de l'ingénierie et de l'intelligence artificielle. Le chemin vers la course autonome ne fait que commencer, et nous avons hâte de voir les innovations et les percées à venir.