Sviluppi nel Controllo dei Veicoli di Superficie Autonomi

Questo articolo presenta un framework per controllare Veicoli di Superficie Autonomi (ASVs) su vie navigabili interne (IWs) utilizzando deep reinforcement learning (DRL). Il framework ha due livelli: un'unità di Pianificazione del percorso locale (LPP) ad alto livello e un'unità di seguimento del percorso (PF) a basso livello. Ognuna di queste unità è gestita dal proprio agente DRL.

L'agente LPP pianifica il percorso della nave tenendo conto delle imbarcazioni vicine, delle regole di navigazione e del design della via navigabile. Applicando un design specifico di rete neurale ad azioni continue, l'agente LPP mostra un miglioramento significativo nella sicurezza operativa, aumentando la distanza minima da altre imbarcazioni di una media del 65% rispetto ai metodi tradizionali.

D'altra parte, l'agente PF gestisce i controlli della nave, tenendo conto degli effetti delle acque basse e delle forze ambientali come venti, onde e correnti. Rispetto a un metodo di controllo comunemente usato, l'agente PF riduce l'errore medio nel seguire il percorso del 61% e diminuisce lo sforzo necessario per controllare la nave.

Entrambi gli agenti sono stati testati in simulazioni al computer, utilizzando un tratto del basso Elba nel nord della Germania con movimenti di navi reali per rendere gli scenari realistici.

#Contesto sul Trasporto Fluviale

Il trasporto fluviale è visto come un'opzione ecologica per il movimento delle merci. È più efficiente e produce meno gas serra rispetto alle opzioni su strada e ferrovia. Inoltre, può trasportare un grande quantitativo di merci, svolgendo un ruolo fondamentale nel trasporto sostenibile. Il controllo delle navi su queste vie navigabili è stato tradizionalmente gestito da operatori umani. Tuttavia, studi recenti hanno cominciato a esaminare l'uso di ASVs per questi compiti.

Un fattore chiave che influisce sulle compagnie di navigazione sono i costi dei membri dell'equipaggio. Poiché gli ASVs possono operare con poco o nessun equipaggio, questi costi possono essere ridotti. Anche se gli incidenti sono meno comuni nel trasporto fluviale rispetto ad altri modi, l'errore umano presenta ancora rischi. Infatti, gli errori umani hanno rappresentato una percentuale significativa degli incidenti marittimi in diversi paesi dal 2000 al 2017.

#Livelli di Autonomia nelle Navi

Ci sono diversi metodi per categorizzare quanto possa essere indipendente una nave. In questo contesto, un ASV è definito come un'imbarcazione in grado di prendere decisioni e funzionare da sola, senza guida umana. Un ASV genera continuamente un percorso che deve seguire.

Ci sono due tipi principali di pianificazione del percorso: pianificazione globale del percorso (GPP) e pianificazione locale del percorso (LPP). La GPP si concentra sulla pianificazione di un percorso per l'intero viaggio senza considerare cambiamenti in tempo reale. L'LPP, d'altra parte, è un processo in corso che risponde a informazioni correnti per sviluppare un percorso locale pratico. L'attività di seguire quel percorso pianificato si chiama seguire il percorso, dove una nave deve rimanere su un percorso dato senza preoccuparsi dei tempi in determinati waypoint.

#Progressi nel Controllo Marittimo con il Deep Reinforcement Learning

Negli ultimi anni, la ricerca marittima ha cominciato a utilizzare i progressi nell'intelligenza artificiale, in particolare il deep reinforcement learning (DRL). Questo approccio combina il reinforcement learning con le reti neurali profonde. Il DRL si è dimostrato efficace nella gestione di compiti complessi, inclusa la navigazione marittima.

Nel contesto dell'LPP, l'agente rappresenta la propria nave e deve adattare la sua direzione in base alle navi bersaglio vicine e alla forma della via navigabile. L'agente riceve feedback sotto forma di ricompense, che forniscono rinforzo positivo o negativo per le sue azioni.

A differenza dei metodi di controllo tradizionali, il DRL non ha bisogno di informazioni preesistenti o di un modello completo dell'ambiente. Questo lo rende adatto a scenari marittimi dove le condizioni possono cambiare drasticamente. Il vantaggio dell'utilizzo delle reti neurali profonde è che possono apprendere dall'esperienza e adattarsi a nuove situazioni.

#Studi Precedenti e Limitazioni

Sebbene ci siano stati studi sul DRL per la pianificazione del percorso marittimo, la maggior parte si è concentrata su acque libere e non specificamente sulle sfide affrontate nelle IWs. Queste sfide includono la navigazione in canali stretti, considerando l'effetto della profondità dell'acqua sul movimento delle navi e gestendo molte navi bersaglio. Il nostro studio mira a colmare questa lacuna tenendo conto delle navi bersaglio in movimento dinamico durante il processo di pianificazione.

Ricerche recenti hanno anche cominciato a esaminare l'uso del DRL per il seguire il percorso degli ASVs. Alcuni studi notevoli hanno mostrato successo nel far seguire a navi un percorso stabilito sotto varie condizioni. Tuttavia, molti di questi studi non hanno considerato l'impatto delle influenze ambientali come il vento e le correnti.

#Architettura Proposta per il Controllo delle Navi

Il nostro approccio introduce un sistema a due livelli per controllare gli ASVs nelle IWs con l'aiuto del DRL. Questo metodo consiste in due agenti separati focalizzati su compiti di LPP e PF. L'architettura tiene conto di vari fattori ambientali, segue le regole del traffico e si adatta alla forma della via navigabile.

Per gestire efficacemente azioni continue, utilizziamo un'architettura di rete neurale specifica chiamata rete ricorrente spaziale-temporale nell'unità LPP.

#Testare l'Efficacia dell'Approccio

Abbiamo effettuato ampi test su entrambi gli agenti in varie situazioni difficili che rappresentano scenari del mondo reale. In particolare, ci si è concentrati su manovre complesse e forze ambientali forti. L'intero sistema ha ricevuto convalida utilizzando dati AIS del mondo reale per simulare il comportamento di altre navi.

#Contesto sulle Regole del Traffico Marittimo

Quando si tratta di pianificare percorsi, ci sono specifiche regole del traffico marittimo da considerare. Le Regolamentazioni Internazionali per la Prevenzione delle Collissioni in Mare (COLREGs) delineano i comportamenti richiesti per le navi. Tuttavia, queste regole possono essere vaghe e non tengono conto dei moderni sistemi autonomi.

Ogni paese ha le proprie regolamentazioni aggiuntive, che possono variare. Nel nostro studio, consideriamo le regole per la parte inferiore del fiume Elba. Alcune regole chiave includono la necessità di sorpassare le navi sul lato sinistro e che la nave sorpassata deve aiutare in quella manovra.

#Sistemi di Sensori per ASVs

L'LPP si basa su dati navigazionali attuali, inclusi posizione, velocità e vari fattori ambientali. Questi dettagli provengono da una gamma di sensori, anche se non tutte le navi sono dotate della stessa tecnologia. Inoltre, i dati dei sensori potrebbero non essere sempre accurati, quindi sono necessarie tecniche avanzate per stimare lo stato della nave.

#Algoritmi di Seguimento del Percorso

Il compito di seguire il percorso implica generare comandi di controllo a basso livello da un dato percorso locale. Possono essere utilizzati vari algoritmi per creare questi comandi, con il controller proporzionale-integrale-derivativo (PID) che è uno dei metodi più comuni. In questo studio, confrontiamo anche le prestazioni del nostro agente PF con un controller PID.

#Algoritmi di Pianificazione del Percorso

Storicamente, sono stati sviluppati molti approcci per la pianificazione del percorso marittimo. Questi includono algoritmi che si concentrano sull'LPP, anche se ci sono meno studi che mirano specificamente alle IWs. Il nostro lavoro mira a colmare questa lacuna impiegando tecniche innovative per gestire gli ASVs in scenari di vie navigabili ristrette.

#Panoramica dell'Architettura Proposta

Il framework per controllare gli ASVs comprende tre componenti principali: un modulo GPP, un modulo LPP e un modulo PF. Un agente di alto livello governa il modulo LPP, mentre un agente di basso livello controlla il compito PF. Il modulo GPP fornisce un percorso globale che informa il modulo LPP, il quale genera poi un percorso locale che il modulo PF deve seguire.

#Unità di Pianificazione del Percorso Locale

Il modulo LPP genera un nuovo piano locale basato su informazioni attuali. Questo processo avviene ogni pochi secondi, a seconda della situazione. Se non ci sono navi bersaglio vicine, può essere creato un percorso semplice per tornare al percorso globale.

Quando l'unità LPP è attivata, l'agente DRL elabora i segnali dalla nave e dai dati navigazionali. Basandosi su queste informazioni, l'agente decide la direzione che la nave deve prendere.

#Unità di Seguimento del Percorso

Il modulo PF utilizza il percorso locale generato dall'LPP per calcolare i comandi di controllo necessari. Tiene conto dell'impatto delle forze ambientali e garantisce che la nave segua il percorso predefinito.

#Dinamiche della Nave

Le dinamiche della nave sono importanti per simulare accuratamente il suo comportamento sull'acqua. Questo studio utilizza un modello per simulare il movimento degli ASVs considerando varie forze ambientali.

#Guida a Campo Vettoriale

Sia l'unità LPP che l'unità PF utilizzano la guida a campo vettoriale (VFG) per garantire un tracciamento accurato del percorso. Questo metodo crea un campo vettoriale che riporta l'imbarcazione verso il percorso desiderato.

#Valutazione del Rischio di Collisione

Valutare il rischio di collisione con navi vicine è fondamentale nella navigazione marittima. Vengono utilizzati due concetti principali: il dominio della nave, che definisce un'area sicura attorno a un'imbarcazione, e il punto di avvicinamento più vicino (CPA), che aiuta a misurare i rischi di eventi di collisione.

#Reinforcement Learning e l'Algoritmo RL

Il reinforcement learning è una parte cruciale del nostro approccio, poiché consente agli agenti di apprendere attraverso l'interazione con i loro ambienti. I sistemi sono progettati per ottimizzare le loro azioni in base a ricompense cumulative, che guidano il loro processo di apprendimento.

#Configurazione dell'Ambiente di Addestramento

Per impostare l'ambiente di simulazione, prima creiamo un percorso globale per gli ASVs da seguire. Questo implica generare vie navigabili con varie profondità e larghezze.

#Comportamento delle Navi Bersaglio

Per l'addestramento dell'agente LPP, creiamo scenari realistici con navi bersaglio che agiscono secondo regole specifiche, incluse manovre di sorpasso di base. Alcune navi possono anche essere trattate come non cooperative, senza cambiare rotta né velocità.

#Validazione del Modulo di Pianificazione del Percorso Locale

Testiamo approfonditamente le prestazioni dell'agente LPP attraverso una serie di scenari sfidanti. Questo include la navigazione in situazioni complesse di sorpasso e l'evitare collisioni con ostacoli statici. Le prestazioni del nostro agente DRL vengono confrontate con metodi tradizionali.

#Validazione del Modulo di Seguimento del Percorso

L'agente PF viene testato in diverse condizioni ambientali, inclusi gli effetti del vento e delle correnti. Le sue prestazioni vengono confrontate con quelle di un controller PID, dove l'agente DRL mostra una superiorità in adattabilità e precisione nel seguire il percorso.

#Valutazione Completa dell'Architettura

Dopo aver convalidato ciascun modulo, valutiamo l'intero sistema utilizzando dati AIS reali. Le prestazioni mostrano che l'architettura può navigare con successo in situazioni del mondo reale rispettando le regole marittime stabilite.

#Sfide Pratiche e Lavori Futuri

Sebbene la nostra convalida mostri risultati solidi, ci sono sfide nel modo in cui le navi autonome interagiscono con le navi operate da esseri umani. I lavori futuri potrebbero concentrarsi sul miglioramento della comunicazione tra le navi e sull'affrontare limitazioni legate a fattori ambientali.

#Conclusione

Usare ASVs per il trasporto sulle vie navigabili interne rappresenta un'opportunità promettente per un sistema di trasporto più sostenibile ed economico. Il nostro studio introduce un'architettura a due livelli basata su DRL che considera vari fattori per garantire una navigazione sicura ed efficiente.

#Riconoscimenti

Ringraziamo diverse persone e organizzazioni per i loro contributi e supporto durante il processo di ricerca. I loro suggerimenti e risorse hanno avuto un grande impatto sullo sviluppo del nostro lavoro.

#Appendice

L'appendice fornisce ulteriori dettagli sulle regole del traffico marittimo considerate nella nostra ricerca, il comportamento delle navi bersaglio durante i test e specifiche sul metodo del campo potenziale artificiale utilizzato come baseline per il confronto.