Avaliação de Modelos Fundamentais Multimodal em Planejamento de Tarefas

Recentemente, tem rolado um baita interesse em juntar Modelos de Fundamentos Multimodais (MFMs) com Inteligência Artificial Incorporada (EAI). Essa mistura tem como objetivo criar sistemas que lidem melhor com tarefas que envolvem entender vários tipos de informação e agir em ambientes reais. Esse trabalho foca em avaliar como esses modelos se saem em tarefas de planejamento que exigem interação física com objetos.

#Estrutura de Avaliação

Pra avaliar o desempenho dos MFMs no planejamento de tarefas incorporadas, criamos uma estrutura baseada em quatro habilidades principais: Compreensão de Objetos, Percepção Espacial e Temporal, Compreensão de Tarefas e Raciocínio Incorporado. Cada habilidade é essencial pros modelos funcionarem bem em tarefas do mundo real.

#Compreensão de Objetos

Essa habilidade envolve reconhecer diferentes tipos de objetos e suas propriedades. Por exemplo, saber se um objeto pode ser aberto ou pegado é crucial pra planejar tarefas. Se um modelo não identifica um objeto corretamente, pode dar ruim na hora de realizar as tarefas de forma segura e eficiente.

#Percepção Espacial e Temporal

Aqui a parada é entender as relações espaciais e temporais dos objetos no ambiente. Um modelo precisa saber a distância entre os objetos, como eles se relacionam e a ordem das ações a serem tomadas. Isso é vital pra planejar ações na sequência certa e evitar erros.

#Compreensão de Tarefas

Essa habilidade de nível mais alto envolve reconhecer quais objetos são relevantes pra uma tarefa e entender como operá-los. Os modelos precisam saber os passos necessários pra completar uma tarefa e quando esses passos devem acontecer. Uma má compreensão de tarefas pode resultar em erros de planejamento, como sequências de ações erradas.

#Raciocínio Incorporado

Essa habilidade junta todas as anteriores. Um modelo deve usar seu entendimento sobre objetos, espaço, tempo e tarefas pra criar um plano de ação coerente. Avaliar isso envolve analisar quão bem o modelo consegue realizar tanto tarefas típicas quanto complexas com base nas descrições fornecidas.

#Desenvolvimento de Benchmark

Pra avaliar de forma metódica o desempenho dos MFMs no planejamento de tarefas incorporadas, estabelecemos um benchmark chamado MFE-ETP. Este benchmark consiste em vários cenários projetados pra desafiar os modelos de diferentes formas.

#Coleta de Dados

Selecionamos tarefas domésticas típicas pra criar nosso benchmark. Essas tarefas foram coletadas de duas plataformas, BEHAVIOR-100 e VirtualHome, que simulam várias atividades domésticas. Dessas fontes, identificamos vinte tipos diferentes de tarefas, garantindo diversidade em nosso benchmark.

#Estrutura do Benchmark

O benchmark compreende seis formatos de instrução de tarefas diferentes, que ajudam a avaliar as diversas habilidades dos modelos:

1. Q&A com Vocabulário Aberto: Modelos identificam e respondem perguntas sobre objetos.
2. Q&A de Escolha Única: Modelos escolhem a resposta certa entre as opções oferecidas.
3. Q&A de Múltipla Escolha: Modelos podem ter mais de uma resposta correta pra uma pergunta.
4. Q&A de Classificação: Modelos classificam quadros visuais com base no tempo ou distância espacial.
5. Q&A de Sim/Não: Perguntas simples determinam se um objetivo de tarefa foi alcançado.
6. Q&A de Planejamento: Modelos criam planos de tarefa com base em descrições gerais.

#Plataforma de Avaliação

Desenvolvemos uma plataforma pra avaliação automática dos modelos com base no benchmark. Essa plataforma permite testar múltiplos modelos de forma eficiente, possibilitando comparações rápidas de desempenho.

#Preparação de Dados

A plataforma padroniza o formato dos dados para os casos de avaliação. Cada caso é organizado de maneira uniforme, facilitando o processamento das informações pelos modelos.

#Implementação de Modelos

A plataforma permite a integração fácil de vários modelos, permitindo que eles recebam entradas e devolvam resultados de forma consistente. Isso torna simples incluir novos modelos nas avaliações.

#Cálculo de Métricas

Duas métodos de avaliação são usados: avaliação automática e avaliação humana. Pra tarefas mais simples, o método automático é aplicado, enquanto as tarefas de planejamento mais complexas precisam de avaliadores humanos pra uma análise mais profunda.

#Resultados Experimentais

Avaliaram-se vários MFMs conhecidos usando o benchmark. Os resultados mostraram que, mesmo modelos avançados, têm dificuldade em igualar o desempenho humano no planejamento de tarefas incorporadas.

#Resultados em Tarefas de Q&A Incorporadas

A avaliação focou em três capacidades principais: Compreensão de Objetos, Percepção Espacial e Temporal e Compreensão de Tarefas. Os dados mostraram que, embora alguns modelos tenham se saído bem, havia lacunas notáveis em suas habilidades.

1. Compreensão de Objetos: Os modelos mostraram sucessos variados em reconhecer tipos e propriedades de objetos. Os melhores modelos superaram os outros, mas ainda tinham bastante espaço pra melhorar.

2. Percepção Espacial e Temporal: A maioria dos modelos enfrentou desafios em entender as relações espaciais e sequências de tarefas. Apenas alguns modelos conseguiram se sair bem nessa área.

3. Compreensão de Tarefas: Essa foi a área mais forte pra alguns modelos, principalmente na compreensão das operações necessárias pras tarefas e dos objetivos finais necessários. No entanto, identificar objetos relevantes ainda foi uma fraqueza.

#Resultados em Tarefas de Q&A de Planejamento

As tarefas de Planejamento Q&A mais complexas foram particularmente difíceis, com modelos como GPT-4V mostrando baixas taxas de sucesso na criação de planos de tarefa precisos. Os dados indicaram que nenhum dos modelos avaliados alcançou resultados satisfatórios, frequentemente falhando em planejar de forma eficaz.

#Conclusão

Esse estudo estabeleceu uma estrutura de avaliação detalhada e um benchmark pra avaliar Modelos de Fundamentos Multimodais no planejamento de tarefas incorporadas. Os resultados indicam que, embora tenham sido feitos avanços significativos, muitos modelos ainda não atingem os padrões de desempenho necessários pra aplicações no mundo real.

#Limitações e Trabalhos Futuros

Algumas limitações foram notadas nessa pesquisa. Primeiro, o uso de ambientes virtuais pra coleta de dados pode afetar a generalidade dos resultados. Segundo, expandir a gama de modelos avaliados poderia trazer mais insight sobre a eficácia de diferentes abordagens.

Pesquisas futuras poderiam também explorar formatos de avaliação adicionais, como tarefas que envolvem corrigir ações passadas ou prever ações futuras. Esses avanços ajudariam a refinar a compreensão de como os modelos podem ser melhores utilizados em várias situações.