Avancées dans le contrôle des véhicules de surface autonomes

Cet article présente un cadre pour contrôler des Véhicules de surface autonomes (ASVs) sur des voies navigables intérieures (IWs) en utilisant l'Apprentissage par renforcement profond (DRL). Le cadre a deux niveaux : une unité de planification de chemin locale (LPP) et une unité de suivi de chemin (PF). Chacune de ces unités est contrôlée par son propre agent DRL.

L'agent LPP planifie le parcours du navire tout en tenant compte des vaisseaux à proximité, des règles de navigation et de la conception de la voie navigable. En appliquant un design spécifique de réseau de neurones pour des actions continues, l'agent LPP montre une amélioration significative de la sécurité opérationnelle, augmentant la distance minimale par rapport aux autres vaisseaux de 65 % en moyenne par rapport aux méthodes traditionnelles.

D'un autre côté, l'agent PF gère les commandes du navire, tenant compte des effets de l'eau peu profonde et des forces environnementales comme le vent, les vagues et les courants. Comparé à une méthode de contrôle couramment utilisée, l'agent PF réduit l'erreur moyenne dans le suivi du chemin de 61 % et diminue l'effort nécessaire pour contrôler le navire.

Les deux agents ont été testés dans des simulations informatiques, utilisant une section de l'Elbe inférieur en Allemagne du Nord avec des mouvements de navires réels pour rendre les scénarios réalistes.

#Contexte sur le transport fluvial

Le transport fluvial est considéré comme un choix écologique pour déplacer des marchandises. C'est plus efficace et produit moins de gaz à effet de serre que les options routières et ferroviaires. De plus, ça peut transporter une grande quantité de fret, jouant un rôle essentiel dans un transport durable. Le contrôle des navires sur ces voies navigables a généralement été géré par des opérateurs humains. Cependant, des études récentes ont commencé à envisager l'utilisation d'ASVs pour ces tâches.

Un facteur clé qui impacte les compagnies maritimes est le coût des membres d'équipage. Comme les ASVs peuvent fonctionner avec peu ou pas d'équipage, ces coûts peuvent être réduits. Bien que les accidents soient moins fréquents dans le transport fluvial par rapport à d'autres modes, l'erreur humaine présente encore des risques. En fait, les erreurs humaines ont représenté un pourcentage significatif des accidents maritimes dans plusieurs pays des années 2000 à 2017.

#Niveaux d'autonomie des navires

Différentes méthodes existent pour catégoriser à quel point un navire peut être indépendant. Dans ce contexte, un ASV est défini comme un vaisseau capable de prendre des décisions et de fonctionner seul, sans guidance humaine. Un ASV génère en continu un chemin qu'il doit suivre.

Il existe deux types principaux de planification de chemin : la planification de chemin globale (GPP) et la planification de chemin locale (LPP). La GPP se concentre sur la planification d'un itinéraire pour l'ensemble du voyage sans tenir compte des changements en temps réel. La LPP, quant à elle, est un processus continu qui répond à des informations actuelles pour développer un chemin local pratique. La tâche de suivre ce chemin planifié s'appelle le suivi de chemin, où un navire doit rester sur un chemin donné sans s'inquiéter du timing à des points spécifiques.

#Avancées dans le contrôle maritime avec l'apprentissage par renforcement profond

Ces dernières années, la recherche maritime a commencé à utiliser les avancées en intelligence artificielle, en particulier l'apprentissage par renforcement profond (DRL). Cette approche combine l'apprentissage par renforcement avec des réseaux de neurones profonds. Le DRL s'est avéré efficace pour traiter des tâches complexes, y compris la navigation maritime.

Dans le contexte de la LPP, l'agent représente son propre navire et doit adapter sa direction en fonction des navires cibles à proximité et de la forme de la voie navigable. L'agent reçoit des retours sous forme de récompenses, qui fournissent un renforcement positif ou négatif pour ses actions.

Contrairement aux méthodes de contrôle traditionnelles, le DRL n'a pas besoin d'informations préalables ou d'un modèle complet de l'environnement. Cela le rend adapté à des scénarios maritimes où les conditions peuvent changer considérablement. L'avantage d'utiliser des réseaux de neurones profonds est qu'ils peuvent apprendre de l'expérience et s'adapter à de nouvelles situations.

#Études antérieures et limitations

Bien qu'il y ait eu des études sur le DRL pour la planification de chemin maritime, la plupart se sont concentrées sur des eaux dégagées et non spécifiquement sur les défis rencontrés dans les IWs. Ces défis incluent la navigation dans des canaux étroits, la prise en compte de l'effet de la profondeur de l'eau sur le mouvement des vaisseaux, et la gestion de nombreux navires cibles. Notre étude vise à combler cette lacune en tenant compte des vaisseaux cibles en mouvement dynamique lors du processus de planification.

Des recherches récentes ont également commencé à explorer l'utilisation du DRL pour le suivi de chemin des ASVs. Certaines études notables ont montré du succès dans le fait de faire suivre un chemin fixé aux navires sous diverses conditions. Cependant, beaucoup de ces études n'ont pas pris en compte l'impact des influences environnementales comme le vent et les courants.

#Architecture proposée pour le contrôle des navires

Notre approche introduit un système à deux niveaux pour contrôler les ASVs dans les IWs avec l'aide du DRL. Cette méthode consiste en deux agents séparés axés sur les tâches LPP et PF. L'architecture prend en compte divers facteurs environnementaux, suit les règles de circulation, et s'adapte à la forme de la voie navigable.

Pour gérer efficacement les actions continues, nous utilisons une architecture de réseau de neurones spécifique appelée un réseau récurrent spatio-temporel dans l'unité LPP.

#Tester l'efficacité de l'approche

Nous avons effectué des tests approfondis sur les deux agents dans diverses situations difficiles qui représentent des scénarios du monde réel. En particulier, l'accent était mis sur des manœuvres complexes et des forces environnementales fortes. L'ensemble du système a été validé en utilisant des données AIS réelles pour simuler le comportement d'autres navires.

#Contexte sur les règles de circulation maritime

En ce qui concerne la planification des chemins, il y a des règles spécifiques de circulation maritime qui doivent être prises en compte. Les Règlements internationaux pour prévenir les abordages en mer (COLREGs) décrivent les comportements requis pour les vaisseaux. Cependant, ces règles peuvent être vagues et ne tiennent pas compte des systèmes autonomes modernes.

Chaque pays a ses propres réglementations supplémentaires, qui peuvent varier. Dans notre étude, nous examinons les règles pour la partie inférieure de la rivière Elbe. Certaines règles clés incluent l'obligation de dépasser les vaisseaux sur le côté gauche et pour le vaisseau doublé d'assister dans cette manœuvre.

#Systèmes de capteurs pour ASVs

Le LPP repose sur des données de navigation actuelles, y compris la position, la vitesse et divers facteurs environnementaux. Ces détails proviennent d'une gamme de capteurs, bien que tous les vaisseaux ne soient pas équipés de la même technologie. De plus, les données des capteurs peuvent ne pas toujours être exactes, donc des techniques avancées pour estimer l'état du navire sont nécessaires.

#Algorithmes de suivi de chemin

La tâche de suivi de chemin implique de générer des commandes de contrôle de bas niveau à partir d'un chemin local donné. Divers algorithmes peuvent être utilisés pour créer ces commandes, le contrôleur proportionnel-intégral-dérivé (PID) étant l'une des méthodes les plus courantes. Dans cette étude, nous comparons également la performance de notre agent PF à un contrôleur PID.

#Algorithmes de planification de chemin

Historiquement, de nombreuses approches ont été développées pour la planification de chemin maritime. Celles-ci incluent des algorithmes qui se concentrent sur la LPP, bien que moins d'études ciblent spécifiquement les IWs. Notre travail vise à combler cette lacune en employant des techniques novatrices pour gérer les ASVs dans des scénarios de voie navigable contraints.

#Vue d'ensemble de l'architecture proposée

Le cadre pour contrôler les ASVs comprend trois composants principaux : un module GPP, un module LPP et un module PF. Un agent de haut niveau gouverne le module LPP, tandis qu'un agent de bas niveau contrôle la tâche PF. Le module GPP fournit un chemin global qui informe le module LPP, lequel génère ensuite un chemin local pour que le module PF le suive.

#Unité de Planification de chemin local

Le module LPP génère un nouveau plan local basé sur des informations actuelles. Ce processus se produit toutes les quelques secondes, selon la situation. S'il n'y a pas de navires cibles à proximité, un chemin simple peut être créé pour revenir à l'itinéraire global.

Lorsque l'unité LPP est activée, l'agent DRL traite les signaux du navire et les données de navigation. Sur la base de ces informations, l'agent décide de la direction que le navire doit prendre.

#Unité de suivi de chemin

Le module PF utilise le chemin local généré par la LPP pour calculer les commandes de contrôle nécessaires. Il prend en compte l'impact des forces environnementales et s'assure que le navire suit le chemin prédéterminé.

#Dynamiques des navires

Les dynamiques du navire sont importantes pour simuler avec précision son comportement sur l'eau. Cette étude utilise un modèle pour simuler le mouvement des ASVs tout en tenant compte de diverses forces environnementales.

#Guidage par champ vectoriel

Les unités LPP et PF utilisent toutes deux le guidage par champ vectoriel (VFG) pour assurer un suivi précis du chemin. Cette méthode crée un champ vectoriel qui guide le vaisseau de retour vers son chemin souhaité.

#Évaluation des risques de collision

Évaluer le risque de collision avec des navires voisins est crucial dans la navigation maritime. Deux concepts principaux sont utilisés : le domaine du navire, qui définit une zone sûre autour d'un vaisseau, et le point de rapprochement le plus proche (CPA), qui aide à mesurer les risques d'événements de collision.

#Apprentissage par renforcement et algorithme RL

L'apprentissage par renforcement est une partie essentielle de notre approche, car il permet aux agents d'apprendre par l'interaction avec leur environnement. Les systèmes sont conçus pour optimiser leurs actions en fonction des récompenses cumulées, qui guident leur processus d'apprentissage.

#Configuration de l'environnement d'entraînement

Pour configurer l'environnement de simulation, nous créons d'abord un chemin global pour que les ASVs le suivent. Cela implique de générer des voies navigables avec diverses profondeurs et largeurs.

#Comportement des navires cibles

Pour l'entraînement de l'agent LPP, nous créons des scénarios réalistes avec des navires cibles agissant selon des règles spécifiques, y compris des manœuvres de dépassement de base. Certains navires peuvent également être considérés comme non-coopératifs, ne changeant ni de cap ni de vitesse.

#Validation du module de planification de chemin local

Nous testons rigoureusement la performance de l'agent LPP à travers une série de scénarios difficiles. Cela inclut la navigation dans des situations de dépassement complexes et l'évitement de collisions avec des obstacles statiques. La performance de notre agent DRL est comparée aux méthodes traditionnelles.

#Validation du module de suivi de chemin

L'agent PF est testé dans différentes conditions environnementales, y compris les effets du vent et des courants. Sa performance est comparée à celle d'un contrôleur PID, où l'agent DRL montre une supériorité en adaptabilité et en précision dans le suivi du chemin.

#Évaluation complète de l'architecture

Après avoir validé chaque module, nous évaluons l'ensemble du système en utilisant des données AIS réelles. La performance montre que l'architecture peut naviguer avec succès dans des situations du monde réel tout en respectant les règles maritimes établies.

#Défis pratiques et travaux futurs

Bien que notre validation montre de bons résultats, il y a des défis dans la façon dont les navires autonomes interagissent avec les navires pilotés par des humains. De futurs travaux pourraient se concentrer sur l'amélioration de la communication entre les navires et sur le traitement des limitations liées aux facteurs environnementaux.

#Conclusion

L'utilisation des ASVs pour le transport fluvial présente une opportunité prometteuse pour un système de transport plus durable et rentable. Notre étude introduit une architecture à deux niveaux basée sur le DRL qui prend en compte divers facteurs pour assurer une navigation sûre et efficace.

#Remerciements

Nous remercions diverses personnes et organisations pour leurs contributions et leur soutien tout au long du processus de recherche. Leurs idées et ressources ont grandement influencé le développement de notre travail.

#Annexe

L'annexe fournit des détails supplémentaires sur les règles de circulation maritime prises en compte dans notre recherche, le comportement des navires cibles lors des tests, et des spécificités sur la méthode de champ potentiel artificiel utilisée comme référence pour comparaison.