MathCAMPS: Uma Nova Abordagem para Avaliar Modelos de Linguagem

Resolver problemas matemáticos é uma habilidade essencial para modelos de linguagem, que são programas de computador capazes de processar e gerar linguagem humana. Essas habilidades não só mostram a capacidade do modelo de resolver problemas de matemática, mas também indicam suas habilidades de raciocínio. Os testes atuais avaliam várias habilidades em Raciocínio Matemático, mas focam no desempenho geral em vez de habilidades específicas. Isso dificulta identificar onde os modelos podem se sair bem ou enfrentar dificuldades.

Outro problema é que esses testes são difíceis de atualizar. À medida que novos problemas são introduzidos, benchmarks existentes podem se tornar obsoletos ou contaminados por dados anteriores. Para enfrentar esses problemas, apresentamos o MathCAMPS, uma nova abordagem para gerar problemas matemáticos de alta qualidade com base em padrões educacionais bem definidos. Esses padrões vêm do Mathematics Common Core, que descreve o que os alunos devem aprender do jardim de infância até a oitava série.

Ao transformar esses padrões em uma gramática formal, conseguimos criar vários problemas matemáticos junto com suas respostas. Os modelos de linguagem então convertem esses problemas simbólicos em problemas de palavras que são fáceis para os alunos entenderem. Também desenvolvemos um método para verificar se esses problemas gerados representam com precisão a questão matemática original. Por fim, criamos Perguntas de acompanhamento para testar uma compreensão mais profunda, fazendo do MathCAMPS uma ferramenta única para avaliar diálogos matemáticos.

#A Importância do Raciocínio Matemático

Raciocínio matemático é um marco chave para avaliar as habilidades de modelos de linguagem avançados. É essencial para muitas tarefas importantes, como responder perguntas científicas e analisar dados. Como resultado, vários benchmarks, como GSM8K e MATH, se tornaram populares para avaliar o progresso em modelos de linguagem. Mas olhar apenas para os resultados gerais não revela quais habilidades específicas um modelo melhorou ou precisa trabalhar.

Por exemplo, ao comparar o GPT-4 e o GPT-3, a versão mais nova mostra uma melhoria significativa no conjunto de dados GSM8K; no entanto, é difícil determinar se esse progresso se deve a uma melhor manipulação de aritmética, frações ou compreensão de problemas mais longos. Essa ambiguidade gera perguntas sobre como esses modelos aprendem e como seu processo de aprendizagem se compara ao dos humanos.

#Visão Geral do MathCAMPS

O MathCAMPS tem como objetivo criar um grande número de problemas de palavras matemáticas de alta qualidade que se alinhem com os Padrões do Common Core de Matemática para as séries K-8. O Common Core serve como um guia do que os alunos devem aprender em cada nível de série, ajudando a garantir resultados educacionais consistentes. Ao alinhar nossos problemas com esses padrões, facilitamos a análise de como os modelos de linguagem se saem em relação ao que os alunos aprendem.

#Criando Problemas Matemáticos

Para começar, o MathCAMPS usa uma gramática que representa problemas relacionados a padrões específicos. Geramos vários problemas simbólicos e suas soluções a partir dessa gramática. Essas representações simbólicas são então transformadas em problemas de palavras em linguagem natural por um modelo de linguagem. Para garantir que os problemas de palavras gerados sejam precisos, aplicamos uma verificação de consistência, onde traduzimos de volta para a forma simbólica e verificamos se as respostas permanecem as mesmas.

Também criamos perguntas de acompanhamento que mudam ligeiramente o problema original ou adicionam novas informações. Essa adição testa a compreensão mais profunda do modelo sobre o material.

#Abordando Desafios Existentes

O método tradicional de avaliar modelos de linguagem em conjuntos fixos de problemas gerados por humanos tem limitações. Por um lado, esses modelos costumam treinar em grandes conjuntos de dados que podem incluir os mesmos benchmarks usados para teste, levantando preocupações sobre contaminação de dados. Além disso, distinguir fraquezas específicas por meio de pontuações agregadas é desafiador, pois a matemática abrange vários tópicos e habilidades.

O MathCAMPS busca superar esses desafios fornecendo uma estrutura onde novos problemas de alta qualidade podem ser gerados consistentemente. Ao usar padrões reconhecidos nacionalmente, também garantimos que nossas avaliações sejam relevantes e alinhadas com os objetivos educacionais reais.

#Principais Contribuições do MathCAMPS

• Geração de Problemas: Apresentamos um método para criar um número significativo de problemas de palavras matemáticas vinculados a padrões educacionais. Isso permite que o conjunto de dados seja abrangente e fácil de expandir no futuro.
• Método de Consistência Cíclica: Essa técnica valida se os problemas de palavras gerados refletem com precisão sua estrutura simbólica original. Ao garantir que as respostas coincidam entre as representações, podemos manter alta qualidade em nossas saídas.
• Perguntas de Acompanhamento: Ao introduzir uma tarefa nova de fazer perguntas de acompanhamento, podemos obter insights sobre a compreensão do modelo. As perguntas desafiam os modelos a não apenas resolver problemas, mas também a se adaptar a mudanças na estrutura do problema.
• Avaliação de Modelos: Avaliamos uma ampla gama de modelos de linguagem usando esse conjunto de dados, revelando suas forças e fraquezas. Nossas descobertas destacam que até os melhores modelos têm dificuldades ao responder perguntas de acompanhamento, o que pode indicar lacunas em sua compreensão.

#Trabalhos Relacionados

O MathCAMPS está intimamente relacionado a benchmarks existentes para avaliar raciocínio matemático em modelos de linguagem. Alguns exemplos proeminentes incluem MATH e GSM8K, que consistem inteiramente de problemas elaborados por humanos. No entanto, esses benchmarks têm limitações, como serem estáticos e possivelmente contaminados pelos dados usados para treinar os modelos.

Além disso, já houve trabalhos anteriores que usam modelos de linguagem para ajudar a gerar benchmarks. Algumas abordagens tentaram determinar tarefas de raciocínio usando andaimes simbólicos, semelhante ao nosso método. Nosso trabalho vai um passo além, focando em uma ampla gama de habilidades de raciocínio matemático diretamente ligadas a uma estrutura educacional comum.

#Os Padrões do Common Core

Os Padrões do Common Core para Matemática servem como base para os problemas que criamos dentro do MathCAMPS. Esses padrões, adotados por muitos estados nos EUA, descrevem as habilidades que os alunos devem dominar em cada nível de série.

Por exemplo, um padrão pode descrever a capacidade de "comparar dois números entre 1 e 10", refletindo o que os alunos do jardim de infância devem aprender. Selecionamos 44 padrões cobrindo as séries K a 8 que são adequados para geração de problemas e podem ser resolvidos com uma resposta que pode ser representada em forma de texto.

#Representando os Padrões

Para representar efetivamente esses padrões, usamos uma abordagem estruturada conhecida como gramática de atributos. Esse método nos permite definir regras que delineiam estruturas de problemas válidas para cada padrão. Cada padrão corresponde a equações específicas e requer certos passos lógicos para chegar a uma solução.

Ao amostrar problemas dessa gramática, garantimos que todos os problemas gerados sejam relevantes e atendam aos requisitos educacionais estabelecidos pelo Common Core.

#Garantindo a Qualidade dos Problemas

Ao criar problemas, é imperativo garantir que cada declaração incluída seja essencial para resolver o problema. Para alcançar isso, usamos um algoritmo de gráfico de dependência que filtra declarações desnecessárias. Cada padrão também tem restrições únicas que devemos respeitar, garantindo que os problemas gerados sejam não apenas válidos, mas também aderentes aos padrões educacionais especificados.

#Transformando Problemas Simbólicos em Problemas de Palavras

A próxima etapa no pipeline do MathCAMPS é converter os problemas simbólicos em problemas de palavras compreensíveis. Esse processo envolve o uso de um modelo de linguagem para criar narrativas que encapsulam os conceitos matemáticos, enquanto permanecem envolventes e acessíveis para os alunos.

Ao gerar esses problemas, fornecemos ao modelo alguns exemplos de problemas existentes para orientar suas respostas. Isso facilita uma variedade diversificada de opções de linguagem e evita as limitações de usar modelos fixos.

Para manter a qualidade desses problemas gerados, novamente aplicamos o método de consistência cíclica. Ao pedir ao modelo para traduzir o problema de palavras gerado de volta para uma forma simbólica e comparar as respostas, podemos identificar e descartar representações infidelas.

#Criando Perguntas de Acompanhamento

Em alinhamento com práticas educacionais, geramos perguntas de acompanhamento para investigar uma compreensão mais profunda do material. Essas perguntas podem ser classificadas em duas categorias: contrafactuais e incrementais.

As perguntas contrafactuais mudam um detalhe específico no problema original, enquanto as perguntas incrementais adicionam novas informações. Ao aplicar essas diferenças, criamos novos problemas que testam a capacidade do modelo de adaptar sua compreensão com base na solução inicial.

Para garantir precisão nas perguntas de acompanhamento, novamente utilizamos a técnica de prompting de poucos exemplos, garantindo que o modelo traduza essas perguntas de acompanhamento com precisão com base nas mudanças feitas.

#Avaliando Modelos de Linguagem com o MathCAMPS

Testamos 23 modelos diferentes de linguagem usando o conjunto de dados do MathCAMPS. Cada modelo foi avaliado em sua capacidade de resolver os problemas dados e responder com precisão às perguntas de acompanhamento. Os resultados revelaram lacunas surpreendentes no desempenho, mesmo entre modelos avançados.

#Tendências de Desempenho Geral

Analisamos tanto a precisão geral quanto o desempenho em diferentes níveis de série. Isso forneceu insights sobre como os modelos de linguagem se comparam com os padrões do Common Core. Curiosamente, modelos que apresentaram pontuações semelhantes em totais mostraram diferenças significativas quando avaliados em habilidades específicas.

Por exemplo, enquanto um modelo pode se sair bem em manipulação de frações, outro pode ter dificuldades, apesar do desempenho geral comparável. Essa variabilidade enfatiza a importância de metodologias de avaliação mais nuançadas que essas pontuações agregadas não capturam efetivamente.

#Compreendendo Forças e Fraquezas do Modelo

Uma das principais conclusões da nossa avaliação foi que a classificação dos modelos frequentemente mudava com base nas habilidades específicas que estavam sendo avaliadas. Em muitos casos, um modelo pode ter um desempenho excepcional em uma área enquanto apresenta um desempenho inferior em outra, mostrando suas forças e fraquezas únicas.

Além disso, os resultados indicaram que a precisão tende a diminuir quando os modelos enfrentam perguntas de acompanhamento. Isso revelou uma falta de robustez, particularmente para modelos que inicialmente resolveram o problema principal corretamente. As perguntas de acompanhamento frequentemente exigiam períodos de atenção mais longos e uma compreensão mais profunda, o que muitos dos modelos lutaram para manter.

#Analisando Dinâmicas de Aprendizagem

Também estudamos as dinâmicas de aprendizado de um modelo específico, o Pythia 12B, ao longo de suas etapas de treinamento. Ao rastrear o desempenho desse modelo em vários pontos de verificação, identificamos como habilidades matemáticas específicas se desenvolveram ao longo do tempo.

Essa análise mostrou que, durante o treinamento inicial, o modelo teve o melhor desempenho em tarefas mais simples de nível de jardim de infância. À medida que o treinamento progrediu, começou a demonstrar proficiência em tópicos mais avançados, destacando uma correlação entre as capacidades linguísticas e matemáticas do modelo.

#Conclusão e Direções Futuras

O MathCAMPS fornece um benchmark sintético e detalhado para raciocínio matemático em modelos de linguagem. Ao vincular problemas a padrões educacionais amplamente aceitos, podemos analisar as capacidades de raciocínio dos modelos de forma mais eficaz. As descobertas revelam áreas distintas onde os modelos enfrentam dificuldades, particularmente com perguntas de acompanhamento, o que pode guiar melhorias futuras no design e treinamento dos modelos.

Olhando para o futuro, o MathCAMPS tem o potencial de servir não apenas na avaliação de modelos, mas também no desenvolvimento de ferramentas educacionais para alunos. Trabalhos futuros podem focar em garantir que o nível de desafio dos problemas se alinhe adequadamente a cada série e conjunto de habilidades.

Nossa estrutura pode facilmente se expandir para cobrir padrões educacionais adicionais, incluindo tópicos mais avançados. No entanto, expandir o escopo para problemas conceituais que exigem explicações minuciosas continua sendo um desafio significativo.

Em resumo, o MathCAMPS representa um avanço na compreensão de como modelos de linguagem lidam com raciocínio matemático e abre portas para avaliações mais nuançadas e aplicações educacionais.