Presentiamo VLN-GPT: Un Nuovo Approccio alla Navigazione Visione-Linguaggio

Nel campo della tecnologia, la Navigazione Visione-Linguaggio (VLN) si riferisce al compito in cui un agente, come un robot o un personaggio virtuale, si muove attraverso ambienti reali seguendo istruzioni date in linguaggio naturale. Questo processo permette all'agente di comprendere e seguire le indicazioni mentre naviga in scene complesse. L'obiettivo principale qui è capire come far seguire efficacemente queste istruzioni all'agente durante il viaggio di navigazione.

Una delle principali sfide nella VLN è garantire che l'agente ricordi le sue azioni e posizioni passate. Molti metodi esistenti utilizzano sistemi complicati per tenere traccia di cosa ha fatto l'agente, il che può rendere i modelli complessi e costosi da gestire.

Per affrontare questi problemi, proponiamo un nuovo metodo chiamato Trasformatore Generativo Pre-addestrato per la Navigazione Visione-Linguaggio (VLN-GPT). Questo metodo utilizza un modello più semplice basato sul trasformatore GPT-2. In questo modo, evitiamo la necessità di sistemi complessi di registrazione che sono di solito richiesti per ricordare le azioni passate. Il nostro approccio consente un accesso più diretto alle informazioni storiche attraverso le sequenze di movimento, rendendolo più efficiente. Inoltre, il processo di addestramento è diviso in due fasi: una fase offline in cui il modello impara da dati precedenti e una fase online in cui si migliora in base a feedback in tempo reale. Questa separazione dell'addestramento consente risultati di apprendimento migliori.

I test sul dataset VLN mostrano che il nostro modello funziona meglio rispetto ai modelli complessi esistenti che utilizzano codificatori, confermando la sua efficacia.

#Importanza della Navigazione Visione-Linguaggio

L'emergere di modelli linguistici ampi e modelli multi-modali segna un progresso significativo verso l'intelligenza artificiale generale (AGI). Tra i vari percorsi che portano all'AGI, la VLN è particolarmente importante nella comunità focalizzata sugli agenti incarnati. Quest'area richiede che gli agenti navigino abilmente attraverso ambienti realistici seguendo istruzioni specifiche basate su linguaggio.

Una sfida chiave nella VLN è la necessità per gli agenti di trattenere una sequenza di osservazioni e feedback. A differenza di altri compiti visione-linguaggio, come rispondere a domande su immagini dove i visuali rimangono statici, la VLN richiede che gli agenti si adattino ai contesti visivi in cambiamento mentre si muovono. I primi tentativi di risolvere questo problema utilizzavano Reti Neurali Ricorrenti (RNN) per catturare questi ambienti in cambiamento riassumendo osservazioni e azioni passate in modo compatto. Tuttavia, le RNN hanno limitazioni, particolarmente nel ricordare l'inizio di sequenze di movimento più lunghe. Questo ne limita l'efficacia per la complessa navigazione richiesta nella VLN.

In risposta, molti studi recenti hanno introdotto sistemi di memoria che aiutano a tracciare informazioni storiche, ma si basano ancora su RNN per gestire gli stati attuali. Con il successo dell'architettura trasformatore, i ricercatori si sono rivolti ai trasformatori per i compiti VLN. I trasformatori sono migliori nel gestire lunghe sequenze di dati ma possono anche aggiungere complessità ai modelli e aumentare le richieste computazionali.

Le tecniche di addestramento nella VLN presentano anche sfide significative. Il Reinforcement Learning (RL) è comunemente usato per perfezionare le decisioni dell'agente. Sono state esplorate varie tecniche come l'Imitation Learning (IL) e l'Asynchronous Advantage Actor-Critic (A3C). Tuttavia, gestire il bilanciamento tra esplorare nuove opzioni e sfruttare azioni conosciute e di successo rimane difficile. L'IL incoraggia gli agenti a imitare il comportamento esperto, mentre il RL spinge l'esplorazione basata su politiche apprese, portando a conflitti negli obiettivi di addestramento. Trovare un metodo per combinare efficacemente questi obiettivi è cruciale. I metodi attuali tendono a mescolare queste strategie con parametri fissi, il che non è ideale.

I metodi presi in prestito dal processamento del linguaggio naturale, come l'addestramento preliminare seguito da affinamento, hanno trovato spazio nella ricerca VLN. L'obiettivo dell'addestramento preliminare è preparare una solida comprensione degli input visivi e linguistici. Vengono impiegati diversi compiti e perdite durante questa fase, aumentando la complessità dell'addestramento.

Per superare queste sfide, introduciamo il modello VLN-GPT, un'architettura trasformatore progettata per il processo decisionale nei compiti VLN. Il nostro modello utilizza un modulo di embedding testuale basato su BERT, un modulo di embedding di osservazione basato su Vision Transformer (ViT) e un decoder GPT-2 per connettere istruzioni e osservazioni nella sequenza di movimento. Questo design rende inutile avere sistemi complessi di codifica storica, risparmiando risorse computazionali. Il modello utilizza un meccanismo di attenzione mascherata per garantire che faccia riferimento solo alle osservazioni e azioni precedenti, mimando gli encoder di informazioni storiche utilizzati in altri metodi basati su trasformatore.

#Struttura del Modello VLN-GPT

Nel nostro approccio, definiamo chiaramente gli obiettivi durante le diverse fasi di addestramento: il pre-addestramento offline si concentra sull'apprendimento della rappresentazione, e l'affinamento online enfatizza l'esplorazione pratica. Utilizziamo il reinforcement learning offline durante la fase di pre-addestramento, concentrandoci su un compito di previsione dell'azione a un singolo passo. Questo metodo semplifica il processo di pre-addestramento, rendendolo più efficace.

Il modello VLN-GPT è in grado di afferrare ulteriormente le connessioni tra istruzioni e sequenze di movimento durante l'addestramento. Inoltre, potenziamo l'esplorazione durante l'affinamento online incorporando l'entropia della Politica per aiutare il modello a gestire efficacemente nuovi ambienti.

Per valutare le prestazioni di VLN-GPT, conduciamo esperimenti utilizzando il dataset Room-to-Room (R2R) e lo confrontiamo con algoritmi avanzati esistenti. I nostri risultati rivelano che il nostro metodo supera modelli più complessi che si basano su sistemi basati su encoder.

#Lavori Correlati nella Navigazione Visione-Linguaggio

L'interesse per la VLN è cresciuto dall'introduzione del dataset R2R, che consente agli agenti di navigare attraverso spazi 3D utilizzando istruzioni linguistiche. Le prime ricerche si sono concentrate sulla costruzione di modelli utilizzando architetture LSTM, progettate per migliorare i compiti di navigazione. Molti modelli di successo hanno utilizzato il reinforcement learning per migliorare le strategie di navigazione combinando approcci di imitation learning e reinforcement learning.

I recenti progressi hanno visto molti ricercatori integrare modelli trasformatore nei compiti VLN, seguendo il successo dei trasformatori nel processamento del linguaggio naturale. Modelli più recenti hanno sostituito gli encoder LSTM con trasformatori, migliorando le prestazioni grazie alla loro capacità di catturare meglio le relazioni all'interno dei dati.

Nonostante questo progresso, la maggior parte degli studi focalizzati sulla VLN continua a basarsi fortemente su RNN o encoder trasformatore per la gestione dei dati storici. Questi metodi spesso aggiungono complessità non necessaria, il che può ostacolare le prestazioni complessive.

#Esplorare le Informazioni Storiche

La maggior parte degli studi nella VLN ha utilizzato Processi Decisionali Markoviani (MDP) mantenendo comunque le informazioni storiche. Ad esempio, i modelli LSTM codificano efficacemente i ricordi, consentendo di includere traiettorie passate nel modello attuale. Altri sforzi hanno proposto metodi alternativi utilizzando strutture di memoria basate su mappe per facilitare il decision-making a lungo termine.

Tuttavia, mentre l'architettura trasformatore continua a mostrare promesse nell'utilizzo delle dipendenze a lungo termine nei dati sequenziali, i ricercatori hanno anche iniziato a implementare trasformatori nei compiti VLN. Sono emerse varie adattamenti, gestendo dati storici all'interno di un'unità ricorrente o integrando diversi framework di codifica per rappresentare in modo completo le informazioni passate.

Nonostante tutti gli approcci discussi, tendono a utilizzare moduli dedicati, sia encoder LSTM che trasformatore, per gestire i dati storici, portando a una maggiore complessità del modello.

#Il Ruolo dei Trasformatori Pre-addestrati Multi-Modale

I modelli transformer pre-addestrati come BERT, BLIP e GPT hanno guadagnato popolarità nei campi del linguaggio naturale e della visione computerizzata. Nei compiti VLN, l'esplorazione dell'integrazione di trasformatori multi-modali è diventata un focus. Ad esempio, ViLT ha sostituito le tradizionali CNN con Vision Transformers per estrarre caratteristiche visive, consentendo l'addestramento simultaneo con input linguistici.

Vari metodi hanno anche esaminato strategie di pre-addestramento multi-modale per i compiti VLN. Tuttavia, molti di questi approcci non hanno utilizzato dati di movimento storici durante la fase di pre-addestramento, limitandone l'efficacia.

Il VLN-GPT adotta un decoder trasformatore per modellare efficacemente le connessioni tra istruzioni, azioni, osservazioni e ritorni, mentre prevede le azioni a ogni passo del processo di navigazione.

#Codifica degli Input

Nei compiti VLN, l'agente riceve istruzioni in linguaggio naturale insieme a osservazioni visive panoramiche del suo ambiente. L'agente deve quindi eseguire una serie di azioni per raggiungere la sua posizione target. Il nostro approccio incorpora sia le istruzioni che le osservazioni separatamente utilizzando modelli trasformatore specifici prima di integrarle per ulteriori analisi.

A differenza di altri studi che richiedono encoder di storia dedicati per le informazioni precedenti, il nostro metodo non ne ha bisogno grazie al nostro approccio decisionale sequenziale, che cattura questi dati intrinsecamente all'interno delle sequenze di movimento.

Per il testo, utilizziamo un modello sentence-bert per codificare le istruzioni, e per le osservazioni, applichiamo un vision transformer (ViT) per ottenere rappresentazioni visive.

#Fusione delle Modalità

Il nostro modello utilizza un metodo semplice ed efficace per combinare istruzioni e osservazioni. Invece di utilizzare complessi trasformatori cross-modali, utilizziamo la moltiplicazione elemento per elemento per unire i due tipi di dati. Questo metodo è efficiente poiché le embeddings da BERT o ViT portano già ricche rappresentazioni dei rispettivi input.

La rappresentazione fusa, nota come stato, combina sia l'istruzione che l'osservazione, consentendo al modello di elaborare efficacemente l'informazione.

#Utilizzo del Decoder Trasformatore

Data la VLN definita precedentemente, impieghiamo l'architettura del decoder GPT-2 per il nostro modello. Questa struttura ci consente di beneficiare delle capacità di elaborazione sequenziale dei trasformatori. Il nostro metodo inizia proiettando i ritorni, gli stati e le azioni in uno spazio unificato, incorporando embeddings passo-temporali per mantenere le informazioni contestuali attraverso le decisioni.

Dopo l'embedding, i vettori passano attraverso diversi blocchi trasformatore, portando a un output che prevede la prossima azione a ogni passo temporale. Invece di concentrarci sui ritorni e sugli stati, ci concentriamo sulla previsione delle azioni poiché è la nostra principale preoccupazione nel compito.

#Fase di Pre-Addestramento

Invece di utilizzare più compiti proxy come visto in altri metodi, ci concentriamo su un compito specifico di previsione dell'azione per il pre-addestramento del nostro modello. Prevedendo azioni basate sulla traiettoria storica che porta a uno stato attuale, permettiamo al modello di apprendere efficacemente la relazione tra osservazioni e azioni senza aggiungere complessità non necessaria.

Questo compito è inquadrato come un problema di classificazione, e utilizziamo reti completamente connesse per la previsione.

#Affinamento

Nel nostro modello, differenziamo tra esplorazione e sfruttamento assegnandoli alle fasi di pre-addestramento e affinamento. Durante la fase di affinamento, incoraggiamo l'agente a esplorare usando l'entropia della politica. Questo aiuta ad adattare il processo decisionale in base ai dati ricevuti durante la navigazione.

#Set di dati e Metodi di Valutazione

Per la valutazione, utilizziamo il dataset Room-to-Room (R2R), che contiene numerosi percorsi attraverso case foto-realistico, completi di istruzioni corrispondenti. Il dataset è diviso in categorie di addestramento, validazione vista e validazione non vista.

Per valutare le prestazioni del modello, utilizziamo diversi metriche, tra cui Lunghezza della Traiettoria, Errore di Navigazione, Tasso di Successo e Tasso di Successo normalizzato in base alla lunghezza del percorso più breve.

#Dettagli di Implementazione

Il modello VLN-GPT si basa sulle impostazioni stabilite da modelli precedenti e utilizza il modello base GPT-2 come suo decoder. Addestriamo il modello per un numero specifico di iterazioni, regolando la velocità di apprendimento e la dimensione del batch per sia il pre-addestramento offline che l'affinamento online.

#Risultati Principali

I nostri esperimenti confrontano le prestazioni del modello VLN-GPT con tecniche avanzate esistenti sul dataset R2R. Questa valutazione evidenzia l'efficacia del nostro modello, in particolare nella fase di pre-addestramento. I risultati indicano che il nostro modello mantiene prestazioni competitive attraverso varie metriche, dimostrando la sua capacità anche con una struttura semplificata rispetto a modelli più complessi.

#Studi di Ablazione

Conduciamo esperimenti per analizzare l'impatto di vari elementi all'interno del nostro modello VLN-GPT. Questo include la valutazione dell'efficacia della modellazione sequenziale, l'analisi del numero di blocchi trasformatore e l'esame di come sia il pre-addestramento che l'affinamento contribuiscono alle prestazioni complessive del compito.

Troviamo che l'uso della modellazione sequenziale migliora significativamente le metriche di prestazione rispetto alle impostazioni non sequenziali. Inoltre, sperimentare con diverse quantità di blocchi trasformatore porta a miglioramenti notevoli fino a un certo punto, dopodiché le prestazioni si stabilizzano.

Confrontando i risultati del pre-addestramento rispetto all'affinamento, convalidiamo la necessità di entrambe le fasi, poiché producono migliori prestazioni complessive insieme piuttosto che separatamente.

#Conclusione

Il modello VLN-GPT introduce un'architettura trasformatore innovativa solo decoder nel campo della Navigazione Visione-Linguaggio. Catturando efficacemente le relazioni tra azioni, stati e ritorni durante le sequenze di movimento, il nostro modello semplifica i sistemi tradizionalmente complessi che si basano su encoder di dati storici presenti negli studi precedenti.

Mostriamo l'utilità del nostro definito framework di pre-addestramento e affinamento, separando chiaramente gli obiettivi di esplorazione e sfruttamento in fasi distinte. Confrontando i nostri risultati con tecniche all'avanguardia, stabiliamo che il VLN-GPT è una scelta convincente per navigare in ambienti basati su istruzioni linguistiche.

La minore dimensione dei dataset nel dominio VLN rispetto a quelli tipici del processamento del linguaggio naturale impatta sulle prestazioni di modelli più grandi. Ulteriori esplorazioni nella navigazione di percorsi più lunghi e nel trattamento di istruzioni più intricate saranno preziose per la ricerca futura, poiché potrebbero fornire intuizioni sui benefici dell'addestramento con dataset più ampi e sul miglioramento delle capacità del modello.