Avaliação de Modelos de Linguagem Grande na Teoria da Computação

Grandes Modelos de Linguagem (LLMs) mostraram potencial em várias áreas, mas têm dificuldades com matemática, especialmente em cursos de Teoria da Computação (ToC). Este artigo analisa se esses modelos conseguem se sair bem em um curso desse tipo, que é obrigatório para muitos cursos de Ciência da Computação. O foco está em dois experimentos realizados para avaliar as habilidades dos LLMs nessa área.

#Contexto sobre Teoria da Computação

Um curso de Teoria da Computação geralmente cobre vários tópicos, incluindo linguagens formais, autômatos e computabilidade. Os alunos precisam escrever Provas precisas e entender conceitos complexos. À medida que a educação incorpora cada vez mais tecnologia, é vital explorar como os LLMs, como o ChatGPT, podem contribuir para o aprendizado nesse campo.

#Experimento Um: Desempenho em Exames

O primeiro experimento avaliou quão bem um LLM poderia se sair em exames reais de um curso de ToC. Os exames foram projetados para testar o conhecimento sobre tópicos específicos de uma maneira padrão, assim como os alunos humanos seriam avaliados.

#Estrutura dos Exames

As avaliações do curso foram divididas em várias partes:

• Trabalho de Pesquisa: 450 pontos
• Dois Exames Parciais: 200 pontos no total
• Apresentação em Grupo: 100 pontos
• Exame Final: 250 pontos

Os exames cobriram tópicos como linguagens regulares, linguagens livres de contexto, máquinas de Turing e NP-Completude. Cada exame foi desenhado para testar conhecimento básico, além de um entendimento mais profundo.

#Método de Avaliação

As respostas do modelo foram avaliadas seguindo uma rubrica rigorosa, similar ao que os alunos humanos enfrentariam. As notas variaram de 0 a 4, com base na completude e correção das respostas. Uma nota de 4 indicava uma resposta totalmente correta, enquanto uma nota de 0 significava que a resposta estava completamente errada.

#Resultados do Experimento Um

Depois de fazer os exames, o LLM obteve uma média acima de 80%, chegando a 93% após tentar as questões novamente com dicas. Isso coloca sua nota inicial em B- e, após as tentativas, em A-. Esse desempenho indica que, embora o LLM fosse competente em conhecimentos básicos, teve dificuldades significativas com provas e raciocínios mais complexos.

#Experimento Dois: Banco de Questões

O segundo experimento envolveu uma gama mais ampla de questões para ver quão bem o LLM poderia responder a Perguntas típicas de ToC. Essa abordagem daria uma visão sobre seu desempenho em vários tópicos, não apenas aqueles abordados nos exames.

#Criação do Banco de Questões

Um conjunto de 450 perguntas foi desenvolvido, cobrindo tópicos centrais em ToC. Essas perguntas foram divididas em categorias: verdadeiro/falso, múltipla escolha e questões de prova abertas. O objetivo era criar uma amostra representativa do que alunos de diferentes instituições poderiam encontrar.

#Processo de Teste

Cada pergunta foi apresentada ao LLM com um prompt consistente, pedindo que ele respondesse com base em seu conhecimento teórico. Em seguida, foi avaliado novamente usando a mesma rubrica do primeiro experimento.

#Resultados do Experimento Dois

No segundo teste, o modelo obteve uma média de 85%, com uma divisão de 91,5% em perguntas verdadeiro/falso, 87,3% em perguntas de múltipla escolha e 78,8% em questões de prova. Os dados revelaram que, enquanto o LLM se saiu bem em consultas simples, encontrou questões de provas mais desafiadoras.

#Discussão dos Resultados

Uma análise detalhada dos resultados de ambos os experimentos mostra que os LLMs têm capacidades úteis, mas também enfrentam desafios significativos.

#Insights de Desempenho

O LLM se destacou em definições básicas e problemas algorítmicos, mas frequentemente teve dificuldades com questões que exigiam compreensão mais profunda e estruturas de prova formais. Por exemplo, teve dificuldade quando as perguntas precisavam de raciocínio sutil ou quando exigiam considerar múltiplos casos.

#Problemas com Respostas Abertas

Para perguntas abertas, o LLM às vezes fazia afirmações sem sentido. Se o modelo não tivesse encontrado um problema semelhante antes, poderia dar respostas incorretas. Isso significa que, embora ele possa aprender com dados anteriores, ainda não é capaz de generalizar esse conhecimento para novos problemas muito bem.

#Necessidade de Esclarecimento

O LLM também mostrou uma tendência a interpretar mal os prompts. Às vezes, ele precisava de esclarecimentos antes de poder fornecer uma resposta correta. Uma simples reformulação ou orientação frequentemente ajudava a melhorar sua resposta, indicando que melhores prompts poderiam aumentar o desempenho.

#Implicações para Educadores

Os resultados desses experimentos têm implicações significativas para o ensino e avaliação em programas de ciência da computação.

#Recomendações para Design de Curso

Dado que o LLM pode ter um desempenho razoavelmente bom em perguntas padrão, os educadores deveriam considerar incluir avaliações de LLM em seus cursos, mas equilibrar isso com métodos de avaliação tradicionais. Exames presenciais e de livro fechado ainda podem ser a melhor maneira de garantir a compreensão do aluno sobre conceitos complexos.

#Interagindo com LLMs

Uma sugestão interessante é fazer os alunos interagirem com o LLM pedindo que ele resolva problemas. Eles poderiam então criticar suas respostas, ajudando-os a entender melhor o material enquanto também fornecem feedback valioso para melhorar as interações futuras do LLM.

#Direções Futuras

Mais pesquisas poderiam estender os testes a outros modelos e tópicos dentro da Teoria da Computação. Isso poderia incluir áreas como complexidade computacional, onde os alunos historicamente encontram dificuldades.

#Construindo LLMs Especializados

Outro projeto potencial poderia ser desenvolver um LLM focado especificamente em conteúdo de ToC. Tal modelo poderia oferecer explicações adaptadas a níveis de graduação sem simplesmente fornecer respostas, promovendo assim o aprendizado dos alunos.

#Conclusão

A pesquisa realizada mostra que os LLMs podem passar em um curso de Teoria da Computação, alcançando notas comparáveis às típicas de alunos humanos em certas condições. No entanto, seu desempenho varia amplamente com base na complexidade das tarefas e na estrutura das perguntas. Entender esses pontos fortes e fracos é crucial para educadores que buscam incorporar essa tecnologia em ambientes acadêmicos.