Comandi in linguaggio naturale per squadre di robot

Introduciamo un modo nuovo per aiutare più robot a seguire istruzioni date in linguaggio naturale. Questo metodo permette ai robot di capire e svolgere compiti come "vai nell'angolo a sinistra" o "prendi la lattina" senza necessitare di formazione speciale o configurazioni complesse.

Utilizziamo potenti modelli linguistici, che sono strumenti progettati per elaborare il linguaggio, per aiutare i nostri robot a capire le istruzioni. I nostri robot possono apprendere da soli 20 minuti di dati raccolti casualmente senza dover fare affidamento su simulazioni o mappe ambientali dettagliate. Abbiamo testato il nostro metodo con un team di cinque robot reali, e hanno dimostrato di saper gestire comandi mai visti prima, dimostrando di poter afferrare le informazioni del modello linguistico in modo efficace.

Questo approccio è entusiasmante perché ci permette di creare politiche di controllo rapide che possono essere direttamente implementate nei robot reali senza necessità di aggiustamenti. Condividiamo anche video dei nostri esperimenti con i robot.

#L'importanza del linguaggio naturale per i robot

Usare il linguaggio naturale per istruire i robot crea un modo più semplice e intuitivo di comunicare i compiti. Questo metodo è più diretto rispetto a fornire coordinate specifiche o configurazioni complesse. Permette agli operatori di dare comandi in uno stile più conversazionale senza richiedere formazione speciale.

Ricerche recenti evidenziano l'uso di modelli grandi pre-addestrati per l'elaborazione del linguaggio e il controllo dei robot. Questi modelli prendono compiti e osservazioni e producono azioni o sequenze di azioni. Tuttavia, ci sono limiti nell'uso di questi modelli. Possono essere lenti, il che è un problema se i robot devono reagire rapidamente in ambienti dinamici, specialmente in situazioni multi-agente dove sono necessari aggiustamenti veloci in base alle azioni degli altri robot.

Trovare modi affinchè molti robot lavorino insieme rapidamente con l'aiuto di grandi modelli linguistici è una sfida significativa.

#Il nostro nuovo metodo

Introduciamo un nuovo metodo che collega i comandi linguistici di alto livello direttamente alle azioni eseguite da un gruppo di robot. Prima traduciamo le istruzioni in linguaggio naturale in una forma semplificata usando un modello linguistico pre-addestrato. Poi, alleniamo le nostre politiche di controllo basandoci su queste istruzioni semplificate. Questa configurazione ci permette di ottenere un controllo in tempo reale mantenendo il modello linguistico separato dal processo decisionale immediato.

Per creare un ampio dataset per l'addestramento, raccogliamo casualmente azioni del mondo reale da un singolo robot. Poi alleniamo le nostre politiche su questo dataset attraverso l'Apprendimento per rinforzo offline. Il vantaggio dell'utilizzo di dati reali è che possiamo implementare subito le politiche apprese senza alcun aggiustamento.

Affermiamo i seguenti contributi principali del nostro lavoro:

• Una nuova struttura che supporta il controllo rapido per più robot basato su comandi in linguaggio naturale.
• Un modo per creare enormi quantità di dati di addestramento dalle azioni di un singolo robot.
• Prova che anche una piccola modifica può migliorare significativamente la stabilità dell'addestramento nell'apprendimento offline.
• Dimostrazione che i nostri metodi possono gestire comandi mai visti prima basandosi solo su stime di valore.
• Il primo test di Apprendimento Multi-agente offline con robot reali.

#Come lavorano insieme i nostri robot

I nostri robot dimostrano di poter lavorare insieme in modo efficace mentre seguono compiti in linguaggio naturale. Ogni robot riceve un compito assegnato e deve navigare verso un obiettivo evitando collisioni. Il percorso di ogni robot è codificato a colori.

In un test, tre robot cercavano di raggiungere i loro obiettivi individuali ma inizialmente si bloccavano a vicenda. Attraverso un comportamento cooperativo, sono riusciti a cedere il passo e far passare gli altri, dimostrando un modo efficace di navigare intorno agli ostacoli.

#Lavori correlati

Altri modelli come GPT e LLM come LLaMa e Mistral mostrano forti capacità di ragionamento. Collegano token di input e output attraverso un’architettura speciale chiamata trasformatore. Sebbene questi modelli frequentemente generino output testuali, studi recenti hanno iniziato a usarli per compiti robotici grazie alle loro capacità di ragionamento. Alcuni lavori hanno dimostrato che gli LLM possono aiutare a navigare verso obiettivi visivi utilizzando output testuali che si traducono in azioni fisiche.

Tuttavia, molti metodi esistenti affrontano ancora sfide quando si tratta di controllo in tempo reale, specialmente nei sistemi multi-robot. La maggior parte degli studi è stata condotta in ambienti simulati, che differiscono dalle applicazioni del mondo reale.

#Politiche condizionate da compiti

Esistono nomi diversi per quello che chiamiamo apprendistato per rinforzo condizionato da compiti. Questo coinvolge l'aggiunta di un compito o obiettivo direttamente nelle funzioni di ricompensa e valore. Pertanto, invece di apprendere per un singolo compito, costruiamo uno che può essere usato in vari compiti.

Il nostro obiettivo principale è addestrare molti robot a seguire compiti di navigazione in linguaggio naturale. Il nostro processo include due parti principali: creare il dataset e poi addestrare il modello.

Per raccogliere dati, registriamo le azioni di un singolo robot mentre svolge compiti. Raccogliamo molti comandi in linguaggio naturale per abbinare queste azioni. Combinando questi compiti e le azioni corrispondenti, creiamo un grande dataset per più robot.

#Creazione del nostro dataset

Per i nostri esperimenti, utilizziamo un robot chiamato DJI RoboMaster, che può operare in modo olistico con quattro ruote. Raccogliamo dati registrando le azioni nel tempo, ottenendo migliaia di coppie azione-stato. Le informazioni che raccogliamo includono dati di posizione e velocità, con ogni azione corrispondente a diverse direzioni di movimento.

Ogni compito nel nostro setup consiste in un comando in linguaggio naturale che istruisce un robot a raggiungere un obiettivo specifico. Prepariamo un set di addestramento di compiti riservando anche alcuni compiti per testare le abilità dei robot.

#Combinare i dati da più robot

Invece di raccogliere dati da più robot direttamente, possiamo utilizzare i dati di un robot per creare un dataset più ampio organizzando le sue azioni in scenari che coinvolgono più robot. Questa strategia ci permette di espandere artificialmente il nostro dataset senza richiedere test fisici estesi con più robot, il che richiederebbe un tempo impraticabile.

#Progettazione delle ricompense e delle condizioni di terminazione

Per ogni robot, costruiamo una struttura di ricompensa allineata con i compiti assegnati. Questa configurazione non solo incoraggia il raggiungimento dell'obiettivo, ma scoraggia anche le collisioni con altri robot o muri.

Stabilendo ricompense chiare per il raggiungimento degli obiettivi e penalità per le collisioni, aiutiamo a garantire che ogni robot impari a comportarsi in modo efficiente e sicuro.

#Addestramento dei nostri modelli

La nostra architettura di modello multi-robot significa che ogni robot riceve il proprio set di compiti e osservazioni. Dopo aver riassunto questi compiti in una rappresentazione semplificata, utilizziamo questi dati per addestrare una politica locale per ogni robot.

L'apprendimento della politica avviene interamente basandosi sul dataset che abbiamo raccolto, il che significa che i nostri robot possono agire rapidamente. Mentre molti approcci di addestramento esistenti si concentrano su scenari a singolo agente, noi adattiamo il nostro modello per soddisfare le esigenze di più robot che operano insieme.

Attraverso il nostro addestramento, decidiamo di utilizzare un nuovo approccio chiamato Expected SARSA, che aiuta a minimizzare gli errori durante il processo di apprendimento. Il nostro approccio può affrontare problemi di sovrastima che possono sorgere durante l'addestramento, portando a un'esperienza di apprendimento più stabile.

#Test e risultati

I nostri test mirano a rispondere a quattro domande principali:

1. Può la nostra politica generalizzare allo spazio latente del modello linguistico?
2. Qual è la migliore funzione di perdita per addestrare la nostra politica?
3. Quanti dati abbiamo bisogno per addestrare una politica funzionale?
4. Quanto bene si comporta la nostra politica sui robot reali?

#Controllo dello spazio latente

Nel nostro primo esperimento, vogliamo vedere se la politica può generalizzare attraverso le rappresentazioni del modello linguistico. Addestriamo un decodificatore per convertire queste rappresentazioni nuovamente in coordinate obiettivo. Se il decodificatore prevede correttamente valori per nuovi comandi, è un segno che ha imparato bene.

Attraverso vari test, scopriamo che alcuni modelli linguistici funzionano meglio di altri per le nostre esigenze. Selezioniamo un particolare modello per esperimenti ulteriori basandoci sulle sue prestazioni.

#Test di simulazione

Sebbene il nostro approccio non dipenda dalla simulazione per l'addestramento, le simulazioni possono aiutare ad analizzare le prestazioni. Costruiamo un modello semplice per simulare i comportamenti dei robot basati sui dati raccolti. Questo ci dà spunti su come diversi obiettivi influenzano il processo decisionale dei robot.

#Valutazione degli obiettivi

Guardiamo a diversi metodi di addestramento e confrontiamo i risultati. Esaminando le prestazioni di varie politiche, riportiamo metriche su quanto bene completano compiti mai visti prima. Alcuni metodi danno risultati migliori, mostrando che il giusto obiettivo può migliorare notevolmente le prestazioni dei robot.

#Efficienza dei dati

Controlliamo quanto bene si comporta la nostra politica mentre diminuiamo la quantità di dati di addestramento. Sorprendentemente, le prestazioni rimangono forti anche con una raccolta di dati minima, suggerendo che i nostri metodi sfruttano efficacemente i compiti disponibili.

#Test nel mondo reale

Conduciamo test di navigazione nel mondo reale, dove a ciascun robot viene assegnato un nuovo compito ogni 30 secondi. Monitoriamo quanto si allontanano dai loro obiettivi assegnati. I nostri risultati indicano che i robot possono adattarsi con successo a compiti che non hanno mai incontrato prima.

I robot addestrati con funzioni di perdita specifiche raggiungono costantemente i loro obiettivi, mostrando nessun incidente di collisione durante il testing.

#Limitazioni e direzioni future

Data la complessità di unire l'apprendimento per rinforzo offline, i modelli linguistici e i sistemi multi-robot, limitiamo per ora il nostro focus ai compiti di navigazione. Ricerche future potrebbero espandere i nostri metodi a scenari più complessi.

Siamo ottimisti riguardo al potenziale per applicare le nostre strategie a compiti più ampi, ma alcune complessità dovrebbero essere affrontate.

In conclusione, abbiamo mostrato un nuovo modo di mappare compiti espressi in linguaggio naturale ad azioni per più robot. Sfruttando grandi modelli linguistici insieme all'apprendimento per rinforzo offline, possiamo creare dataset da esperienze di un singolo agente e addestrare politiche efficienti che si generalizzano a nuovi comandi senza richiedere aggiustamenti quando implementate in ambienti reali.