REBEL: Avançando o Raciocínio em Modelos de Linguagem

Modelos de linguagem grandes (LLMs) têm se saído bem em responder perguntas. Mas eles têm dificuldade com perguntas que precisam de conhecimentos que não estão nos dados de treinamento. Esse conhecimento só pode vir da observação ou interação com o mundo real. Os métodos atuais dividem tarefas de raciocínio em um conjunto de etapas, mas isso pode limitar a capacidade deles de resolver problemas complexos.

A gente apresenta um método chamado LLM Extensível Baseado em Recursão (REBEL). O REBEL é feito pra trabalhar em tarefas de raciocínio complexas usando técnicas como planejamento dinâmico. Ele permite que os LLMs raciocinem dividindo problemas e usando ferramentas externas. As ferramentas podem ser descritas em linguagem simples, o que facilita especificar o que é necessário.

#Trabalhos Relacionados

Existem diferentes maneiras de abordar tarefas de raciocínio usando LLMs. Isso pode envolver criar prompts ou ajustar o modelo. O foco aqui são as técnicas de prompt. Um método comum é a cadeia direta, que usa regras lógicas a partir de fatos conhecidos pra chegar a uma resposta.

Alguns sistemas se baseiam nisso, gerando ações específicas com base nas etapas de raciocínio. Outra abordagem coleta informações de várias ferramentas pra responder perguntas. Existem métodos diferentes pra checar quão bem um modelo pode responder perguntas com uma estrutura complexa. Trabalhos anteriores mostraram como dividir problemas ajuda no raciocínio.

#O Algoritmo REBEL

O algoritmo REBEL funciona dividindo perguntas em partes menores até que não possa mais ser dividido. Cada pergunta e sua resposta são chamadas de tupla. Por exemplo, um usuário pode fazer uma pergunta que leva a sub-perguntas menores. O algoritmo processa cada uma dessas sub-perguntas recursivamente.

Pra evitar loops infinitos, o algoritmo acompanha quais partes já foram verificadas e remove aquelas que são muito parecidas com respostas existentes. O REBEL também mantém uma lista de ferramentas disponíveis, que ajuda na decisão de qual é a melhor forma de responder a uma pergunta.

#Passos Principais no REBEL

1. Divisão da Pergunta: Essa etapa divide uma pergunta em partes menores com base no que um LLM gera.
2. Verificação de Memória: Checamos se a pergunta pode ser respondida sem usar nenhuma ferramenta.
3. Seleção da Ferramenta: O LLM decide qual ferramenta será a melhor pra responder.
4. Uso da Ferramenta: A ferramenta selecionada é chamada pra obter uma resposta, e essa resposta é usada pro resultado final.

#Configuração Experimental

O sistema REBEL foi testado em três conjuntos de dados: Celebridades Composicionais, FEVER e HotPotQA. O objetivo era ver como o REBEL se saiu nas respostas em comparação com outros sistemas. Checamos se as respostas estavam corretas comparando-as com um padrão definido.

#Resultados

O REBEL mostrou um desempenho melhor que os sistemas existentes em responder perguntas complexas que precisavam de múltiplos fatos. No conjunto de dados Celebridades Composicionais, o REBEL melhorou em relação aos métodos anteriores por uma margem considerável. No entanto, no conjunto de dados HotPotQA, o REBEL enfrentou desafios com perguntas mais complexas que exigiam etapas de raciocínio mais profundas.

Para o conjunto de dados FEVER, o REBEL teve um desempenho um pouco melhor que outros sistemas na verificação de fatos. Isso se deve à forma como o REBEL coleta muitos fatos durante seu processamento.

#Conclusão

O REBEL apresenta uma nova maneira de raciocinar usando abordagens recursivas e ferramentas externas. Ele mostra promessas em responder perguntas que requerem a combinação de muitos fatos e a formulação de perguntas precisas. No entanto, também tem limitações ao lidar com perguntas mais diretas.

Trabalhos futuros podem focar em melhorar os LLMs para cada etapa do REBEL e testar formas de controlar quão profunda a divisão das perguntas vai.