Avaliando a Colaboração Entre Modelos de Linguagem e Humanos

Modelos de linguagem que conseguem interagir com o mundo têm um grande potencial para automatizar Tarefas online. Esses modelos melhoraram em tarefas como jogar games baseados em texto ou gerenciar páginas da web. Mas muitas tarefas na vida real precisam de cooperação com humanos ou outros modelos de linguagem. Isso requer entender o que cada parte quer, coordenar o trabalho e comunicar de forma clara.

Para ver como esses modelos podem trabalhar juntos, criamos um ambiente chamado "mundo dos blocos". Nesse cenário, dois Agentes, cada um com objetivos e habilidades diferentes, constroem uma estrutura juntos. Eles podem agir e se comunicar em linguagem simples para alcançar suas Metas.

Criamos diferentes cenários que ficam progressivamente mais difíceis para ver como os agentes colaboram. Isso vai desde fazer tarefas sozinhos até precisar de mais trabalho em equipe. Também usamos dicas que ajudam os modelos a pensar sobre o que seu parceiro está fazendo e corrigir quaisquer erros.

Testamos tanto configurações de humano-máquina quanto de máquina-máquina. Os resultados mostraram que modelos de linguagem conseguem entender bem seu ambiente, e nossa abordagem ajuda a melhorar seu desempenho nessas tarefas.

#Visão Geral da Tarefa

No nosso esquema, uma agente humana chamada Amy colabora com um modelo de linguagem chamado Bob. Cada um tem objetivos e blocos disponíveis diferentes. A cooperação deles é essencial para completar toda a estrutura.

#Processo da Tarefa

1. Comunicação dos Objetivos: Amy e Bob compartilham o que querem alcançar e criam um plano para chegar lá.
2. Passos de Ação: Amy coloca blocos amarelos de acordo com o plano deles.
3. Coordenação: Eles trabalham juntos para terminar suas metas restantes.

À medida que os modelos de linguagem avançam, espera-se que eles trabalhem de perto com humanos e assumam papéis iguais. Isso é importante para uma gestão de tarefas eficiente e planejamento de projetos. Embora estudos anteriores tenham analisado a Colaboração entre múltiplos agentes, não houve muita pesquisa focada em como modelos de linguagem podem trabalhar lado a lado com humanos como iguais, em vez de apenas seguir instruções.

Para preencher essa lacuna, projetamos nosso ambiente colaborativo do mundo dos blocos. Isso permite uma avaliação lado a lado de como os modelos de linguagem podem se unir a humanos ou a outros modelos para completar tarefas.

#Tipos de Tarefas de Colaboração

O ambiente que criamos permite três tipos diferentes de tarefas de colaboração, cada uma exigindo diferentes níveis de trabalho em equipe.

#Tarefas Independentes

Nesse tipo de tarefa, cada agente pode completar sua parte da estrutura sem depender do outro. Mesmo que eles possam trabalhar sozinhos, ainda precisam se comunicar para garantir que entendem que podem prosseguir separadamente.

#Tarefas Dependentes de Habilidade

Aqui, um agente precisa da ajuda do outro para terminar seu objetivo. Por exemplo, se Bob precisar de ajuda para construir uma seção que requer blocos amarelos, ele deve pedir os blocos a Amy. Comunicação eficaz e entender as necessidades um do outro são cruciais para o sucesso.

#Tarefas Dependentes de Objetivo

Nessas tarefas, o trabalho de um agente está diretamente ligado ao progresso do outro. Por exemplo, Amy deve terminar sua parte antes que Bob possa começar a dele. Isso requer planejamento avançado e comunicação clara entre eles.

#Construindo Agentes de Modelo de Linguagem

Usamos um modelo de linguagem como agente central e pedimos para ele decidir seu próximo movimento com base no estado atual do mundo dos blocos.

#Dados de Entrada

Os agentes recebem informações em um formato estruturado que inclui seus objetivos, o estado atual da estrutura e o histórico de mensagens entre eles. Eles podem escolher entre várias ações: colocar um bloco, remover um bloco, enviar uma mensagem ou esperar.

#Passos de Raciocínio

Para ajudar o modelo a fazer melhores escolhas, o guiamos através de vários passos de raciocínio:

1. Análise do Estado do Mundo: O agente analisa a situação atual e identifica o que precisa fazer a seguir.
2. Previsão do Estado do Parceiro: O agente tenta adivinhar o que o outro agente precisa e planeja de acordo.
3. Auto-reflexão: O agente verifica se cometeu erros e ajusta sua abordagem com base em ações e mensagens passadas.
4. Previsão de Ação: Por fim, o agente decide qual ação tomar a seguir com base em tudo que raciocinou.

Fizemos testes tanto em configurações de agente único quanto multi-agente para avaliar quão bem os modelos de linguagem conseguiam completar as tarefas e trabalhar com os outros.

#Configuração do Experimento

#Experimento de Agente Único

Dividimos o experimento de agente único em três partes para avaliar quão bem o modelo de linguagem poderia seguir instruções e completar tarefas sozinho.

1. Descrição em Texto: O agente gerou uma descrição textual de uma estrutura a partir de um formato dado.
2. Conversão em Ações: O agente converteu essa descrição em uma sequência de ações que precisaria realizar.
3. Geração de Comandos: O agente produziu uma sequência de ações com base em uma descrição em linguagem simples.

#Resultados dos Testes de Agente Único

Os modelos de linguagem mostraram fortes habilidades em completar tarefas. Tanto os modelos GPT-4 quanto GPT-3.5 se saíram bem em gerar descrições e sequências de ações precisas. Isso indica que eles têm boas habilidades de compreensão e planejamento.

#Configuração do Experimento de Múltiplos Agentes

Realizamos dois tipos de configurações de múltiplos agentes para avaliar quão bem os modelos de linguagem poderiam trabalhar com humanos e entre si.

#Colaboração Humano-Máquina

Nesse cenário, um modelo de linguagem trabalha ao lado de um humano. O objetivo principal é ver se o modelo pode ajudar a alcançar seus próprios objetivos enquanto também apoia o parceiro humano.

#Colaboração Máquina-Máquina

Aqui, dois modelos de linguagem trabalham juntos. Essa configuração foca em quão bem eles conseguem colaborar em uma tarefa.

#Métricas de Avaliação

Analisamos vários fatores para medir a eficácia da colaboração:

1. Taxa de Sucesso: A porcentagem de tarefas completadas com sucesso.
2. Equilíbrio da Carga de Trabalho: Se as tarefas foram compartilhadas de maneira equitativa entre os agentes.
3. Passos de Conclusão: O número total de ações realizadas para finalizar a tarefa.

#Resultados Humano-Máquina

Os experimentos mostraram que modelos de linguagem se saíram melhor quando podiam se comunicar ativamente e apoiar seus parceiros. No entanto, modelos base sem nossas melhorias se saíram pior e frequentemente não conseguiram alcançar seus próprios objetivos.

#Resultados Máquina-Máquina

Da mesma forma, modelos trabalhando juntos também se beneficiaram do nosso design cooperativo. Eles conseguiram compartilhar melhor a carga de trabalho e se comunicar de forma mais eficaz em comparação com modelos base.

#Principais Descobertas

1. Modelos de Linguagem Podem Colaborar: Os resultados indicam que modelos de linguagem podem colaborar de forma eficaz com humanos e entre si.
2. Importância da Comunicação: A comunicação ativa entre os agentes é crucial para completar tarefas com sucesso.
3. Melhorias Aumentam o Desempenho: Adicionar estratégias para melhor entender os estados dos parceiros e usar auto-reflexão leva a resultados melhores.

#Conclusão

Criamos um ambiente para testar como modelos de linguagem podem trabalhar em configurações colaborativas. Nossas descobertas sugerem que esses modelos têm uma forte capacidade de entender suas tarefas e trabalhar juntos, especialmente quando podem se comunicar e modelar as intenções de seus parceiros.

Esses resultados trazem promessas para futuras pesquisas que poderiam explorar mais a colaboração em tarefas que requerem múltiplos agentes. Nosso trabalho enfatiza a necessidade de comunicação clara e coordenação para alcançar objetivos compartilhados, sejam os agentes envolvidos humanos, modelos de linguagem, ou uma mistura dos dois. Avançando, expandir esse trabalho para envolver mais agentes e tarefas diversas poderia aprofundar nossa compreensão dos processos colaborativos em vários contextos.