Apresentando o VLN-GPT: Uma Nova Abordagem para Navegação Visão-Linguagem

Na área de tecnologia, Navegação Visão e Linguagem (VLN) se refere à tarefa onde um agente, como um robô ou um personagem virtual, se move por ambientes do mundo real usando instruções dadas em linguagem natural. Esse processo permite que o agente entenda e siga direções enquanto navega por cenas complexas. O foco aqui é em como fazer o agente realmente seguir essas instruções durante a jornada de navegação.

Um dos principais desafios em VLN é garantir que o agente lembre suas ações e locais passados. Muitos métodos existentes usam sistemas complicados para acompanhar o que o agente fez, o que pode tornar os modelos complexos e caros de operar.

Para resolver essas questões, propomos um novo método chamado Vision-and-Language Navigation Generative Pretrained Transformer (VLN-GPT). Esse método usa um modelo mais simples baseado no Transformador GPT-2. Fazendo isso, evitamos a necessidade de sistemas de registro complexos que normalmente são exigidos para lembrar ações passadas. Nossa abordagem permite um acesso mais direto às informações históricas através das sequências de movimento, tornando tudo mais eficiente. Além disso, o processo de treinamento é dividido em duas fases: uma fase offline onde o modelo aprende a partir de dados anteriores e uma fase online onde ele melhora com base no feedback em tempo real. Essa separação de treinamento permite melhores resultados de aprendizado.

Testes no conjunto de dados VLN mostram que nosso modelo se sai melhor do que os modelos complexos existentes que usam codificadores, confirmando sua eficácia.

#Importância da Navegação Visão e Linguagem

O surgimento de grandes modelos de linguagem e modelos multi-modais marca um progresso significativo em direção à inteligência geral artificial (AGI). Entre os vários caminhos que levam à AGI, VLN é especialmente importante dentro da comunidade focada em agentes incorporados. Essa área exige que os agentes naveguem habilmente por ambientes realistas seguindo instruções baseadas em linguagem específicas.

Um desafio-chave em VLN é a necessidade de os agentes reterem uma sequência de observações e feedback. Diferente de outras tarefas visão-linguagem, como responder perguntas sobre imagens onde os visuais permanecem estáticos, VLN exige que os agentes se adaptem a contextos visuais em mudança à medida que se movimentam. Tentativas iniciais de resolver esse problema utilizaram Redes Neurais Recorrentes (RNNs) para capturar esses ambientes em mudança resumindo observações e ações passadas de maneira compacta. No entanto, as RNNs têm limitações, principalmente em lembrar o início de sequências de movimento mais longas. Isso restringe sua eficácia para a navegação complexa exigida em VLN.

Em resposta, muitos estudos recentes introduziram sistemas de memória que ajudam a rastrear informações históricas, mas ainda dependem de RNNs para gerenciar estados atuais. Com o sucesso da arquitetura de transformadores, os pesquisadores voltaram-se para transformadores para tarefas de VLN. Transformadores são melhores em lidar com longas sequências de dados, mas também podem adicionar complexidade aos modelos e aumentar as demandas computacionais.

As técnicas de treinamento em VLN também apresentam desafios significativos. O Aprendizado por Reforço (RL) é comumente usado para refinar decisões feitas pelo agente. Variadas técnicas como Aprendizado por Imitacão (IL) e Ator-Crítico com Vantagem Assíncrona (A3C) foram exploradas. No entanto, equilibrar a exploração de novas opções e a exploração de ações conhecidas e bem-sucedidas continua sendo difícil. IL encoraja os agentes a imitarem comportamentos de especialistas, enquanto o RL impulsiona a exploração baseada em Políticas aprendidas, levando a conflitos nos objetivos de treinamento. Encontrar um método para combinar esses objetivos de forma eficaz é crucial. Os métodos atuais tendem a misturar essas estratégias com parâmetros fixos, o que não é ideal.

Os métodos emprestados do processamento de linguagem natural, como pré-treinamento seguido de ajuste fino, encontraram seu caminho na pesquisa de VLN. O objetivo do pré-treinamento é preparar uma forte compreensão tanto das entradas visuais quanto das linguísticas. Diferentes tarefas e perdas são empregadas durante essa fase, aumentando a complexidade do treinamento.

Para superar esses desafios, apresentamos o modelo VLN-GPT, uma arquitetura de transformador projetada para tomada de decisão em tarefas de VLN. Nosso modelo usa um módulo de incorporação de texto baseado em BERT, um módulo de incorporação de observação baseado em Vision Transformer (ViT) e um decodificador GPT-2 para conectar instruções e observações na sequência de movimentos. Esse design dispensa a necessidade de sistemas complexos de codificação histórica, economizando recursos computacionais. O modelo usa um mecanismo de atenção mascarada para garantir que só referência observações e ações anteriores, imitando os codificadores de informações históricas usados em outros métodos baseados em transformadores.

#Estrutura do Modelo VLN-GPT

Na nossa abordagem, definimos claramente os objetivos durante diferentes estágios de treinamento: o pré-treinamento offline foca em aprender representação, e o ajuste fino online enfatiza a exploração prática. Utilizamos aprendizado por reforço offline durante a fase de pré-treinamento, concentrando-nos em uma tarefa de previsão de ação de um único passo. Esse método agiliza o processo de pré-treinamento, tornando-o mais eficaz.

O modelo VLN-GPT é capaz de entender melhor as conexões entre instruções e sequências de movimento durante o treinamento. Também melhoramos a exploração durante o ajuste fino online incorporando a entropia da política para ajudar o modelo a lidar com novos ambientes de forma eficaz.

Para avaliar o desempenho do VLN-GPT, conduzimos experimentos usando o conjunto de dados Room-to-Room (R2R) e o comparamos com algoritmos avançados existentes. Nossos resultados revelam que nosso método supera modelos mais complexos que dependem de sistemas baseados em codificadores.

#Trabalhos Relacionados em Navegação Visão e Linguagem

O interesse por VLN cresceu desde a introdução do conjunto de dados R2R, que permite que os agentes naveguem por espaços 3D usando instruções em linguagem. As pesquisas iniciais se concentraram na construção de modelos usando arquiteturas LSTM, que foram projetadas para melhorar tarefas de navegação. Muitos modelos bem-sucedidos têm utilizado aprendizado por reforço para aprimorar estratégias de navegação ao combinar abordagens de aprendizado por imitação e aprendizado por reforço.

Avanços recentes viram muitos pesquisadores integrando modelos de transformadores em tarefas de VLN, seguindo o sucesso dos transformadores no processamento de linguagem natural. Modelos mais novos substituíram codificadores LSTM por transformadores, melhorando o desempenho devido à sua capacidade de capturar melhor as relações dentro dos dados.

Apesar desse progresso, a maioria dos estudos focados em VLN ainda depende muito de RNNs ou codificadores de transformadores para gerenciamento de dados históricos. Esses métodos muitas vezes adicionam complexidade desnecessária, o que pode prejudicar o desempenho geral.

#Explorando Informações Históricas

A maioria dos estudos em VLN utilizou Processos de Decisão de Markov (MDP), mantendo ainda informações históricas. Por exemplo, modelos LSTM codificam efetivamente memórias, permitindo que trajetórias passadas sejam incluídas no modelo atual. Outros esforços propuseram métodos alternativos usando estruturas de memória baseadas em mapas para ajudar na tomada de decisões de longo prazo.

No entanto, à medida que a arquitetura de transformadores continua a mostrar promessas em utilizar dependências de longo prazo em dados sequenciais, os pesquisadores também começaram a implementar transformadores em tarefas de VLN. Várias adaptações surgiram, gerenciando dados históricos dentro de uma unidade recorrente ou integrando diferentes estruturas de codificação para representar de forma abrangente informações passadas.

Apesar de todas as abordagens discutidas, elas tendem a usar módulos dedicados, seja LSTM ou codificadores de transformadores, para gerenciar dados históricos, levando a um aumento na complexidade do modelo.

#O Papel de Transformadores Pré-Treinados Multi-Modais

Modelos de transformadores pré-treinados como BERT, BLIP e GPT ganharam popularidade nas áreas de processamento de linguagem natural e visão computacional. Em tarefas de VLN, a exploração da integração de transformadores multi-modais se tornou um foco. Por exemplo, ViLT substituiu CNNs tradicionais por Transformadores de Visão para extrair características visuais, permitindo o treinamento simultâneo com entradas de linguagem.

Vários métodos também investigaram estratégias de pré-treinamento multi-modais para tarefas de VLN. No entanto, muitas dessas abordagens não utilizaram dados de movimento históricos durante a fase de pré-treinamento, limitando sua eficácia.

O VLN-GPT adota um decodificador de transformador para modelar efetivamente as conexões entre instruções, ações, observações e retornos, enquanto prevê ações a cada passo de tempo durante o processo de navegação.

#Codificação de Entradas

Nas tarefas de VLN, o agente recebe instruções em linguagem natural junto com observações visuais panorâmicas de seu ambiente. O agente deve então executar uma série de ações para alcançar seu local alvo. Nossa abordagem incorpora tanto as instruções quanto as observações separadamente usando modelos de transformadores específicos antes de integrá-los para uma análise mais profunda.

Diferente de outros estudos que requerem codificadores de história dedicados para informações anteriores, nosso método não precisa disso devido à nossa abordagem de tomada de decisão sequencial, que captura esses dados de forma inerente nas sequências de movimento.

Para texto, utilizamos um modelo sentence-bert para codificar as instruções, e para observações, aplicamos um transformador de visão (ViT) para obter representações visuais.

#Fusões de Modalidades

Nosso modelo usa um método simples, mas eficaz, para combinar instruções e observações. Em vez de usar transformadores cross-modal complexos, usamos multiplicação elemento a elemento para fundir os dois tipos de dados. Esse método é eficiente, uma vez que as incorporações de BERT ou ViT já carregam representações ricas de suas respectivas entradas.

A representação fundida, conhecida como estado, combina tanto a instrução quanto a observação, permitindo que o modelo processe as informações de forma eficaz.

#Utilizando o Decodificador de Transformador

Dada a tarefa de VLN definida anteriormente, utilizamos a arquitetura de decodificador GPT-2 para nosso modelo. Essa estrutura nos permite aproveitar as capacidades de processamento sequencial dos transformadores. Nosso método começa projetando os retornos, estados e ações em um espaço unificado, incorporando incorporações de passo de tempo para manter informações contextuais ao longo das decisões.

Após a incorporação, os vetores passam por vários blocos de transformadores, levando a uma saída que prevê a próxima ação a cada passo de tempo. Em vez de focar em retornos e estados, nos concentramos na previsão de ações, já que esse é nosso principal foco dentro da tarefa.

#Fase de Pré-Treinamento

Em vez de usar várias tarefas proxy como visto em outros métodos, focamos em uma tarefa específica de previsão de ação para o pré-treinamento do nosso modelo. Ao prever ações com base na trajetória histórica até um estado atual, permitimos que o modelo aprenda a relação entre observações e ações de forma eficaz, sem adicionar complexidade desnecessária.

Essa tarefa é enquadrada como um problema de classificação, e utilizamos redes totalmente conectadas para previsão.

#Ajuste Fino

No nosso modelo, diferenciamos entre exploração e exploração ao atribuí-los às fases de pré-treinamento e ajuste fino. Durante a fase de ajuste fino, encorajamos o agente a explorar usando a entropia da política. Isso ajuda a ajustar o processo de tomada de decisão com base nos dados recebidos durante a navegação.

#Conjuntos de dados e Métodos de Avaliação

Para avaliação, usamos o conjunto de dados Room-to-Room (R2R), que contém inúmeros caminhos por casas foto-realistas, completos com instruções correspondentes. O conjunto de dados é dividido em categorias de treino, validação vista e validação não vista.

Para avaliar o desempenho do modelo, usamos várias métricas, incluindo Comprimento de Trajetória, Erro de Navegação, Taxa de Sucesso e Taxa de Sucesso normalizada pelo comprimento do caminho mais curto.

#Detalhes de Implementação

O modelo VLN-GPT é baseado nas configurações estabelecidas por modelos anteriores e utiliza o modelo base GPT-2 como seu decodificador. Treinamos o modelo por um número específico de iterações, ajustando a taxa de aprendizado e o tamanho do lote tanto para pré-treinamento offline quanto para ajuste fino online.

#Principais Resultados

Nossos experimentos comparam o desempenho do modelo VLN-GPT com técnicas avançadas existentes no conjunto de dados R2R. Essa avaliação destaca a eficácia do nosso modelo, particularmente na fase de pré-treinamento. Os resultados indicam que nosso modelo mantém um desempenho competitivo em várias métricas, demonstrando sua capacidade mesmo com uma estrutura simplificada em comparação a modelos mais complexos.

#Estudos de Ablação

Conduzimos experimentos para analisar o impacto de vários elementos dentro do nosso modelo VLN-GPT. Isso inclui avaliar a eficácia do modelamento sequencial, analisar o número de blocos de transformadores e examinar como tanto o pré-treinamento quanto o ajuste fino contribuem para o desempenho geral da tarefa.

Descobrimos que usar modelagem sequencial melhora significativamente as métricas de desempenho em comparação com configurações não sequenciais. Além disso, experimentar diferentes contagens de blocos de transformadores leva a melhorias notáveis até um ponto específico, após o qual o desempenho se estabiliza.

Ao comparar os resultados do pré-treinamento versus o ajuste fino, validamos a necessidade de ambas as fases, já que elas geram melhor desempenho geral juntas do que separadamente.

#Conclusão

O modelo VLN-GPT apresenta uma arquitetura de decodificador única dentro do campo da Navegação Visão e Linguagem. Ao capturar efetivamente as relações entre ações, estados e retornos ao longo das sequências de movimento, nosso modelo simplifica os sistemas tradicionalmente complexos que dependem de codificadores de dados históricos presentes em estudos anteriores.

Mostramos a utilidade de nossa estrutura definida de pré-treinamento e ajuste fino, separando claramente os objetivos de exploração e exploração em fases distintas. Ao comparar nossos resultados com técnicas de ponta, estabelecemos o VLN-GPT como uma escolha atraente para navegar em ambientes com base em instruções de linguagem.

O tamanho menor dos conjuntos de dados no domínio VLN em comparação com os típicos de Processamento de Linguagem Natural impacta o desempenho de modelos maiores. Explorar mais a fundo a navegação por caminhos mais longos e o processamento de instruções mais intrincadas será valioso para a pesquisa futura, já que pode trazer insights sobre os benefícios de treinar com conjuntos de dados maiores e aprimorar as capacidades do modelo.