Progressi nelle corse autonome con l'apprendimento per rinforzo

L'idea delle auto a guida autonoma ha catturato l'attenzione di molti ricercatori in settori come l'intelligenza artificiale, i sistemi di controllo e la robotica. Gran parte di questa ricerca si concentra su come queste auto possano muoversi in ambienti complicati e in continuo cambiamento. Questo è soprattutto difficile quando si parla di corse automobilistiche, dove i metodi tradizionali dipendono spesso da mappe precise, pianificazione dettagliata dei percorsi e sistemi di rispetto rigido delle regole.

#Sfide nei Metodi Tradizionali

I metodi utilizzati per la mappatura e la navigazione, come la Localizzazione e Mappatura Simultanea (SLAM), richiedono generalmente molta potenza di calcolo, sensori di alta qualità e hardware avanzato. D’altra parte, i sistemi basati su regole e pianificazione spesso necessitano di definizioni dettagliate di comportamenti e situazioni. Anche se questi metodi hanno funzionato bene in ambienti familiari e strutturati, faticano quando si trovano di fronte a aree sconosciute o complicate. Questo evidenzia la necessità di modi più intelligenti che possano adattarsi a molte situazioni diverse.

#Apprendimento per rinforzo come Soluzione

Recentemente, l'Apprendimento per Rinforzo (RL) ha dimostrato di avere grandi potenzialità per affrontare queste sfide imprevedibili. La forza del RL è la sua capacità di trovare soluzioni che funzionano in molte situazioni diverse senza dover creare piani unici per ciascuna di esse. Impara interagendo con l'ambiente e adattando le sue azioni in base alle ricompense che riceve. Man mano che l'agente RL incontra varie situazioni, può formulare risposte che si applicano a nuove sfide mai viste prima.

Nel mondo delle corse automobilistiche, un agente RL può essere addestrato utilizzando dati sensoriali in tempo reale (come output delle telecamere) per capire l'ambiente circostante e prendere decisioni di guida appropriate. Questo approccio riduce la dipendenza dalla posizione globale e dai problemi riscontrati nei metodi tradizionali.

#Lavori Precedenti e Limitazioni

Negli studi precedenti, i ricercatori hanno dimostrato che è possibile addestrare un agente RL utilizzando telecamere per navigare in sicurezza sulle autostrade. Tuttavia, l'uso delle telecamere presenta un grande svantaggio: potrebbero non funzionare bene in diverse condizioni di luce e meteo, specialmente di notte. Inoltre, abbinare immagini sintetiche da una simulazione con dati del mondo reale presenta delle sfide, rendendo difficile applicare i modelli appresi ai test reali.

Per affrontare queste limitazioni, l'obiettivo di questo studio è addestrare un agente RL utilizzando dati raw di lidar e odometria per guidare in sicurezza sui circuiti di gara. Dopo aver completato l'addestramento in un ambiente simulato, la capacità dell'agente addestrato di gestire situazioni del mondo reale viene testata su circuiti di gara in scala ridotta.

#Struttura dello Studio

Il documento è organizzato in diverse sezioni. La prima sezione discute l'algoritmo RL utilizzato per addestrare l'agente da corsa. La sezione successiva tratta l'ambiente di simulazione utilizzato nell'addestramento. A seguire, vengono spiegate le tecniche impiegate per rendere l'addestramento più adattabile. Infine, vengono presentati i risultati dell'addestramento e le prestazioni dell'agente sia nelle simulazioni che nei test nel mondo reale.

#Progettazione dell'Agente di Apprendimento per Rinforzo

#Impostazione del Problema

L'obiettivo è creare un agente RL che possa navigare con successo su un circuito di gara evitando ostacoli e altri veicoli. Ad ogni passo, l'agente utilizza diversi input:

• Dati LiDAR: Questo è lo strumento principale dell'agente per rilevare i bordi dell'ambiente e identificare eventuali ostacoli.
• Dati di Odometria: Questi aiutano l'agente a conoscere la sua velocità attuale, importante per effettuare manovre sicure.
• Azione Precedente: Questo fornisce all'agente un contesto, ricordandogli quale azione ha intrapreso nell'ultimo passo.

Questi input sono progettati per garantire che il problema mantenga una certa proprietà, il che significa che lo stato nel momento successivo dipende solo dallo stato attuale e non dagli stati passati. Questo consente di vedere il problema come un Processo di Decisione di Markov (MDP), il che aiuta nella pianificazione e nella presa di decisioni.

#Il Framework MDP

Un MDP può essere semplificato come avere:

• Un insieme di stati possibili che l'agente può incontrare.
• Una gamma di azioni che l'agente può intraprendere.
• Un metodo per determinare come l'ambiente risponde a queste azioni.
• Un sistema di ricompensa che incoraggia l'agente a imparare i comportamenti desiderati.

In questa configurazione, l'obiettivo finale dell'agente è apprendere una politica, che è una regola per scegliere azioni, che massimizza le ricompense.

#Ottimizzazione della Politica Prossimale

Un approccio efficace per ottenere ciò è l'Ottimizzazione della Politica Prossimale (PPO), un metodo RL popolare noto per le sue prestazioni e efficienza. PPO funziona limitando quanto può cambiare la politica in un singolo aggiornamento. Questo viene fatto attraverso un obiettivo speciale che mantiene la politica stabile durante l'apprendimento.

#Design del Modello

Il design del modello dell'agente RL include due componenti principali: la rete di politica e la rete di valore. Entrambe sono costituite da strati semplici con alcuni strati nascosti. La rete di valore ha una struttura più grande, mentre la rete di politica è progettata per essere più piccola. Entrambi i modelli usano un tipo specifico di funzione matematica per aiutarli a imparare meglio.

#Spazi di Input e Azione

Lo spazio di stato per l'agente è composto da:

• Letture raw di lidar (2155 punti dati).
• Un singolo float che rappresenta la velocità.
• Un array di float contenente l'azione precedente intrapresa.

Lo spazio delle azioni consiste in due valori float che rappresentano la velocità in avanti e l'angolo di sterzata (in radianti).

Per migliorare l'efficacia dell'addestramento, è comune normalizzare gli input prima di usarli nella rete neurale, il che significa che i dati vengono regolati per adattarsi a un intervallo specifico.

#Tecniche di Randomizzazione

Per evitare che il modello dipenda troppo da caratteristiche specifiche di un singolo circuito di gara, viene applicata la randomizzazione del dominio. Questo include:

• Allenarsi su una grande varietà di circuiti di gara con forme e lunghezze diverse.
• Posizionare casualmente ostacoli di dimensioni diverse lungo il circuito.
• Aggiungere un po' di rumore alle letture del lidar e dei sensori di velocità per mimare problemi reali dei sensori.

#Progettazione del Sistema di Ricompensa

La funzione di ricompensa è cruciale per guidare le azioni dell'agente. Fornisce feedback su quanto siano desiderabili certe azioni. Il design affronta diversi comportamenti chiave:

• Più veloce va l'agente lungo il circuito, più ricompense guadagna.
• L'agente viene penalizzato per muoversi lateralmente.
• Restare vicino al centro del circuito guadagna più punti all'agente.
• Sterzate aggressive portano a ricompense più basse, promuovendo una guida più fluida.
• Collisioni con ostacoli comportano severe penalità.

Se si verifica una collisione, viene applicato un grande valore negativo e l'episodio termina.

#L'Ambiente di Simulazione

Per lo studio, viene utilizzato un ambiente di simulazione open-source chiamato F1TENTH. Questa simulazione è progettata per imitare il comportamento dei sensori lidar sul veicolo. Tuttavia, le dinamiche nella simulazione differiscono leggermente dalle dinamiche del mondo reale, il che può portare a differenze nelle prestazioni.

#Analisi dei Risultati dell'Addestramento

Dopo aver addestrato l'agente RL per un periodo sostanziale, le prestazioni vengono valutate in base a quanto bene completa i giri senza colpire ostacoli. I risultati mostrano un chiaro miglioramento delle prestazioni nel tempo, con un aumento costante sia delle ricompense che dei tassi di successo.

L'agente impara a seguire il circuito in modo efficace evitando vari tipi di ostacoli. Si adatta rapidamente, riducendo la velocità in situazioni difficili o dove il percorso è poco chiaro. Tuttavia, ci sono ancora problemi, soprattutto quando si trova di fronte a curve strette o ostacoli che bloccano il percorso.

#Test nel Mondo Reale

Dopo le simulazioni di addestramento di successo, l'agente RL viene testato in condizioni reali utilizzando l'auto F1TENTH. Questo veicolo è un'opzione in scala ridotta progettata per la ricerca sulla guida autonoma. Il circuito di test include varie sfide, comprese curve strette e ostacoli inaspettati.

Con sorpresa di tutti, l'agente si trasferisce bene dalla simulazione alla realtà. Naviga il circuito in modo efficace, sterzando e evitando ostacoli in modo simile a come faceva nell'ambiente simulato. Tuttavia, affronta difficoltà in aree su cui non è stato specificamente addestrato, come adattarsi a cambiamenti improvvisi nella larghezza del circuito o gestire situazioni in cui le letture del lidar sono incerte.

#Conclusione

In conclusione, l'uso del RL con dati di lidar e odometria mostra un grande potenziale per far avanzare la tecnologia delle corse autonome. Anche se l'agente dimostra prestazioni soddisfacenti sia nelle simulazioni che nei test nel mondo reale, sono necessari ulteriori affinamenti per gestire meglio le caratteristiche complesse dei circuiti. Lavorare ulteriormente in quest'area aiuterà a migliorare la comprensione dell'agente delle dinamiche del mondo reale, portando a soluzioni di corsa autonoma più affidabili ed efficienti.