Aprimorando o Suporte ao Aluno com um Chatbot Educacional

Grandes Modelos de Linguagem (LLMs) mostraram um potencial incrível em várias áreas, mas têm dificuldades em tarefas que exigem raciocínio matemático, especialmente em Questões de Múltipla Escolha (MCQs). Para superar esses desafios, criamos um chatbot educacional pra ajudar estudantes universitários a lidarem e entenderem MCQs em matérias como matemática, física e ciência da computação. Nossa abordagem envolveu ajustar modelos específicos pra se adequar melhor às preferências humanas e, depois, testá-los pra escolher o que teve o melhor desempenho.

No nosso estudo, comparamos dois modelos: Mistral-7B e LLaMa-3-8B. Descobrimos que o LLaMa-3-8B se saiu melhor, levando a gente a escolher ele como nosso modelo base. Implementamos técnicas como Geração Aumentada por Recuperação (RAG) pra melhorar a precisão e Quantização pra deixar o modelo mais rápido e fácil de acessar pros alunos. Nosso modelo quantizado teve um desempenho razoável em tarefas de raciocínio matemático, com notas de 74,5% no dataset GSM8K e 30% no dataset MATH. Embora o RAG não tenha melhorado o desempenho do nosso modelo, a quantização mostrou uma leve redução na performance, enquanto oferecia ganhos de eficiência significativos.

#Trabalhos Relacionados

A pesquisa na área de LLMs como chatbots cresceu recentemente, especialmente com a introdução de modelos como ChatGPT-3.5 e ChatGPT-4. Esses modelos têm sido usados extensivamente para propósitos educacionais. No entanto, embora eles se saiam bem em tarefas de linguagem, o desempenho deles em raciocínio matemático, especialmente em responder MCQs, deixa a desejar. Pesquisas anteriores destacaram que LLMs têm dificuldades em reconhecer respostas erradas e muitas vezes esquecem habilidades linguísticas quando estão focados em dados matemáticos. Estratégias simples de instrução não são suficientes pra lidar com esses problemas devido à grande variedade de dados envolvidos.

Nosso trabalho se baseia em pesquisas existentes ao ajustar o modelo LLaMa-3-8B e Mistral-7B em datasets diversos relacionados a matemática e ciência. Também incorporamos um método chamado Otimização Direta de Preferência (DPO) pra alinhar as respostas do modelo com o que os estudantes preferem. Inspirados por métodos vistos em modelos como InstructGPT, utilizamos dados específicos pra melhorar a forma como nosso modelo gera respostas.

Pra refinar ainda mais nosso modelo, examinamos o RAG, um método que combina modelos geradores com um banco de dados de documentos. Inicialmente, consideramos métodos RAG avançados, mas acabamos optando por uma abordagem mais simples que ainda mostrava um bom desempenho.

Por último, exploramos técnicas de quantização pra reduzir a carga computacional do nosso chatbot, tornando mais fácil pros alunos usarem sem comprometer a performance.

#Abordagem ao Problema

Nossa abordagem começou com o treinamento dos modelos Mistral-7B e LLaMa-3-8B usando Ajuste Supervisionado (SFT) e depois comparamos os desempenhos deles. Após selecionar o LLaMa-3-8B por seus resultados superiores, continuamos com nossa estratégia de treinamento. O LLaMa-3-8B é um modelo de linguagem auto-regressivo, ou seja, ele gera texto prevendo a próxima palavra com base nas anteriores. Ele utiliza uma arquitetura de transformador aprimorada e integra treinamento supervisionado com aprendizado por reforço pra alinhar melhor com as preferências humanas.

O processo de treinamento envolveu várias etapas. Inicialmente, fizemos SFT em datasets especializados relacionados a matemática e ciência. Depois disso, aplicamos DPO pra ajustar com base nas preferências indicadas pelos estudantes. Por fim, avaliamos o desempenho do modelo usando o dataset AQuA-RAT, que contém MCQs relacionados a STEM.

Enquanto o Mistral-7B passou por um processo de treinamento similar, focamos no LLaMa-3-8B devido aos resultados promissores.

#Pipeline de Treinamento

O pipeline pra treinar o LLaMa-3-8B envolveu três etapas principais: SFT, DPO e especialização em MCQs. Começamos com SFT em diversos datasets de matemática e ciência, seguido do treinamento DPO, onde um grupo de alunos deu feedback sobre as respostas geradas. Esse feedback foi usado pra alinhar o modelo e produzir respostas preferidas.

Pra avaliar como o modelo funcionou, testamos ele em vários datasets que incluíam questões matemáticas complexas, problemas de matemática de escola primária e perguntas gerais de STEM.

#Criação de Dataset

Criamos datasets especializados pra nosso projeto pra melhorar como o modelo aprende. O dataset SFT, chamado StemQA, inclui uma mistura de perguntas de matemática e programação. Também desenvolvemos um dataset DPO, StemDPO, que foca em alinhar as saídas do modelo com as preferências dos estudantes. Por último, criamos um dataset chamado StemMCQ pra ajudar o modelo a se especializar em responder MCQs relevantes a matérias de STEM.

Pro dataset DPO, pedimos pros alunos gerarem duas respostas - uma melhor e uma um pouco menos preferida - pra que pudéssemos comparar. Isso ajudou a gente a entender quais tipos de respostas eram preferidas e guiaram os ajustes do nosso modelo.

#Processo de Avaliação

Pra avaliar o desempenho do nosso modelo, usamos várias etapas pra determinar sua eficácia em gerar respostas corretas e bem fundamentadas. Selecionamos datasets específicos de teste pra benchmarking, que incluíam questões matemáticas desafiadoras e perguntas de conhecimento geral. Nossa principal métrica de avaliação foi a precisão, medindo quantas respostas corretas o modelo produziu.

Comparamos os resultados dos nossos modelos treinados contra os modelos candidatos, anotando melhorias e áreas onde o modelo ainda poderia crescer. Usamos diferentes GPUs pra rodar nosso treinamento, garantindo que pudéssemos processar os dados de maneira eficiente.

#Resultados

Os resultados do nosso modelo foram promissores. Ele alcançou uma pontuação alta no dataset GSM8K e fez progresso satisfatório em lidar com o dataset MATH, mais complexo. Mesmo que o desempenho em alguns MCQs específicos tenha sido menor do que o esperado, ficou dentro de limites aceitáveis considerando o nível de dificuldade da tarefa.

Com nosso modelo quantizado, conseguimos manter a maioria da precisão do modelo original enquanto o tornamos mais eficiente. No entanto, nossa implementação do RAG não trouxe as melhorias desejadas, possivelmente devido à forma como o contexto foi usado ou recuperado.

#Considerações Éticas

Nosso projeto também considerou dimensões éticas relacionadas à sua implementação. Reconhecemos a necessidade de ferramentas educacionais que sejam acessíveis a todos, incluindo aqueles que falam diferentes idiomas ou usam línguas de sinais. Expandir as capacidades do nosso modelo pra lidar com idiomas de baixa recursos e adaptá-lo pra comunidade surda é um aspecto significativo pra desenvolvimento futuro.

É importante ter discussões sobre os danos ou preconceitos potenciais que podem surgir do uso de modelos como o nosso. Planejamos incluir diretrizes e métodos pra reduzir impactos negativos enquanto garantimos que nosso chatbot continue sendo uma ferramenta útil pros estudantes.

#Conclusão

Em resumo, desenvolvemos um chatbot educacional focado em ajudar estudantes com MCQs de STEM. O modelo, baseado no LLaMa-3-8B, foi ajustado pra funcionar efetivamente com datasets específicos visando melhorar o desempenho em raciocínio matemático.

Nossos resultados indicam que estamos no caminho certo pra fornecer um recurso educacional valioso. Os esforços futuros vão focar em aprimorar a precisão, acomodar uma gama mais ampla de idiomas, incluindo línguas de sinais, e monitorar potenciais preconceitos nas respostas do modelo. O trabalho realizado pela nossa equipe estabelece a base pra acesso expandido a recursos de aprendizado e melhores resultados educacionais pra estudantes.