Aprimorando Modelos de Linguagem com Prolog para Resolver Problemas de Matemática

Recentemente, tem rolado um interesse maior em Processamento de Linguagem Natural (NLP) por causa de ferramentas como o ChatGPT. O ChatGPT é um modelo que consegue entender e gerar linguagem humana, ajudando em várias tarefas. Mas ele dá uma escorregada em perguntas de matemática que exigem um raciocínio mais cuidadoso. Estudos anteriores mostram que dar ao modelo um raciocínio passo a passo pode ajudar ele a se sair melhor. Este projeto busca aprimorar um modelo para gerar código Prolog, que é um tipo de linguagem de programação, a partir de perguntas de matemática. Usando Prolog, a gente quer ver se isso melhora a precisão na resolução de problemas matemáticos.

#O Problema com os Modelos Atuais

Os modelos de linguagem de hoje, embora consigam entender uma porção de informações, costumam falhar em resolver problemas matemáticos que envolvem aritmética básica, conhecimento geral e raciocínio simbólico. Esses tipos de perguntas podem parecer simples, mas a forma como elas são feitas pode variar bastante. Às vezes, os modelos de linguagem confiam demais nos exemplos que já viram durante o treinamento, que podem não cobrir todas as maneiras possíveis de apresentar uma pergunta. Isso acaba levando a erros quando o modelo encontra um problema que não conhecia, resultando em respostas menos precisas.

Para resolver essa questão, a gente acredita que o modelo deveria conseguir pegar uma pergunta em linguagem natural e transformá-la em afirmações lógicas. Essas afirmações poderiam então ser processadas por uma ferramenta feita especificamente pra isso. Usando Prolog como essa ferramenta externa, a ideia é que o modelo possa focar em entender as perguntas em vez de tentar memorizar todas as respostas.

#Estrutura do Projeto

Esse projeto é dividido em várias partes. Primeiro, vamos falar sobre trabalhos anteriores relacionados à ideia de fornecer passos de raciocínio. Depois, vamos explicar como organizamos nossa pesquisa e quais métodos usamos. Em seguida, vamos apresentar os resultados que encontramos e o que eles significam. Por último, vamos concluir com as considerações finais e ideias para pesquisas futuras.

#Trabalho Relacionado

Pesquisas anteriores mostraram que quebrar problemas em etapas pode ajudar os modelos a se saírem melhor do que simplesmente dar uma pergunta e sua resposta. Esse método, chamado de "chain-of-thought prompting", incentiva o modelo a pensar na solução antes de chegar a uma conclusão. Então, a gente quer investigar se ajustar o modelo pra gerar código Prolog é mais eficaz do que usar apenas o raciocínio passo a passo.

#Usando ChatGPT pra Criar Código Prolog

Pra começar nosso projeto, usamos o ChatGPT pra gerar código Prolog para problemas matemáticos de um dataset chamado GSM8K, que contém mais de 8.500 perguntas de matemática do nível fundamental e suas respostas. Cada resposta é estruturada pra mostrar os passos tomados pra resolver a pergunta, facilitando o acompanhamento.

Começamos criando prompts pra ajudar o ChatGPT a produzir código Prolog. Montamos alguns exemplos pra guiar o modelo. Depois de gerar código Prolog pra uma amostra de problemas matemáticos, checamos quais estavam corretos e podiam ser executados sem erros. Esse processo envolveu muitas tentativas e erros pra garantir que o código gerado estava certo.

Quando encontramos dificuldades, tentamos misturar nossos prompts pra dar novas direções ao modelo. Isso significava usar uma mistura de partes fixas e aleatórias nos nossos prompts pra ver se melhorava a qualidade do código gerado. Depois de várias rodadas de geração e aprimoramento, afinamos nossos resultados e seguimos em frente.

#Ajustando o Modelo

Nos deparamos com algumas limitações relacionadas à memória do computador enquanto trabalhávamos no aperfeiçoamento do modelo. Pra resolver isso, usamos um método chamado LoRAs pra ajustar o modelo LLaMA7B de forma mais eficaz, enquanto mantínhamos controle dos nossos diferentes estilos de saída. Exploramos quatro configurações de saída: respostas de raciocínio passo a passo, código Prolog, uma combinação de raciocínio passo a passo e código Prolog, e código Prolog seguido de raciocínio passo a passo. Isso permitiu garantir que estávamos analisando todas as possibilidades.

Pra testar, usamos o mesmo dataset pra medir como cada configuração se saiu. Descobrimos que usar um método chamado beam search, que é uma forma mais estratégica de gerar respostas, nos deu resultados melhores do que escolher aleatoriamente.

#Desempenho dos Modelos

#Desempenho do Modelo de Raciocínio Passo a Passo

O modelo que se baseou apenas em "chain-of-thought prompting" mostrou um aumento na precisão após o ajuste em comparação com seu desempenho inicial. Isso sugeriu que o raciocínio passo a passo ajudou a melhorar a capacidade do modelo de enfrentar problemas matemáticos.

#Desempenho do Modelo de Código Prolog

O modelo especificamente projetado pra gerar código Prolog se saiu ainda melhor, com uma precisão aprimorada. Isso mostra que ter o modelo produzindo afirmações lógicas e enviando elas a um compilador Prolog pode gerar resultados melhores na resolução de problemas matemáticos. Deixando o Prolog cuidar da lógica e da computação, o modelo de linguagem pode focar na tradução das perguntas em código.

#Desempenho dos Modelos Combinados

Os modelos que combinaram raciocínio passo a passo com código Prolog não mostraram melhorias adicionais. Na verdade, uma das combinações levou a uma queda no desempenho. Parece que misturar os dois métodos criou confusão durante o processo de ajuste e dificultou a geração de respostas claras pelo modelo.

Por outro lado, quando a geração de código Prolog não teve influência do raciocínio passo a passo, ainda assim se saiu bem. Curiosamente, a qualidade das respostas de raciocínio passo a passo geradas melhorou um pouco quando foi influenciada pela geração de código Prolog, sugerindo que uma estrutura clara pode ajudar a entender melhor as perguntas.

#Principais Descobertas

Com este estudo, aprendemos várias coisas importantes. Primeiro, ajustar modelos melhora significativamente o desempenho na resolução de perguntas de matemática. Segundo, gerar código Prolog e usar um compilador Prolog resulta em maior precisão do que apenas confiar em passos de raciocínio. Essa abordagem pode ser útil em outras áreas que exigem raciocínio lógico e computação. Por último, misturar os dois métodos não resultou em um aumento de desempenho significativo.

#Direções Futuras

Apesar da melhora no desempenho, o modelo ainda apresentou um número considerável de erros, especialmente ao executar o código gerado. Há uma necessidade de reduzir ainda mais esses erros e expandir as capacidades da ferramenta Prolog pra lidar com mais tipos de operações. Além disso, resolver a alta taxa de erros semânticos vai exigir modelos que tenham melhores habilidades de compreensão das perguntas.

#Conclusão

Resumindo, este projeto demonstra que aprimorar modelos de linguagem pra gerar código Prolog pode resultar em um melhor desempenho na resolução de problemas matemáticos. Focando no processamento lógico com Prolog, o modelo consegue gerenciar seus desafios de forma mais eficaz. Essa abordagem pode ter aplicações mais amplas em áreas que exigem raciocínio estruturado e lógica. Trabalhos contínuos nessa área poderiam levar a soluções ainda mais robustas no futuro.