Simple Science

Ciência de ponta explicada de forma simples

# Informática# Computadores e sociedade

Automatizando a Justiça em Provas Eletrônicas

Um jeito de melhorar a qualidade e a eficiência em provas eletrônicas.

― 6 min ler


E-Exames: EquilibrandoE-Exames: EquilibrandoAutomação e Justiçaeletrônicas com métodos inovadores.Buscando qualidade nas avaliações
Índice

Exames eletrônicos, ou e-exames, tão ficando cada vez mais populares porque podem simplificar o processo de prova. Eles automatizam várias tarefas, desde a organização da prova até a correção. Mas, é importante garantir que a complexidade das tarefas e a justiça na correção sejam mantidas enquanto aproveitamos os benefícios da automação. Esse texto fala sobre o design e a implementação de um exame eletrônico de programação funcional, focando em como aumentar a automação sem perder qualidade.

Benefícios dos Exames Eletrônicos

Uma grande vantagem dos e-exames é o potencial de automação. Isso pode diminuir bastante o esforço necessário para aplicar provas e corrigir. A correção automática pode economizar tempo e oferecer feedback imediato para os alunos. Mas só automatizar tarefas sem um cuidado minucioso pode acabar reduzindo a qualidade da prova. Por exemplo, provas que têm apenas perguntas de múltipla escolha são fáceis de corrigir, mas não avaliam se os alunos conseguem criar soluções. Portanto, é preciso encontrar um equilíbrio entre automação e a complexidade das tarefas e a justiça na correção.

Componentes Chave do Design do E-Exame

Para melhorar o design e a correção dos e-exames de programação funcional, foram introduzidos vários componentes:

  1. Algoritmo de Correção Novo: Um novo método para avaliar tarefas de prova foi criado. Esse algoritmo procura sequências corretas de linhas de prova, oferecendo mais justiça do que métodos anteriores baseados em distâncias de edição.

  2. Ferramenta de Análise Estática: Uma ferramenta de código aberto foi desenvolvida para analisar o código em busca de características importantes, facilitando o processo de correção. Essa ferramenta inspeciona a estrutura do código para garantir que atenda aos requisitos de tarefas específicas.

  3. Ferramenta de Expressões Regulares: Uma linguagem de nível mais alto foi introduzida para ajudar a especificar expressões regulares complexas. Isso reduz erros na criação de expressões regulares.

Esses componentes juntos ajudam a criar uma experiência de e-exame mais fluida enquanto mantêm o foco na qualidade da avaliação.

Transição de Provas em Papel para E-Exames

Mudar de provas em papel para e-exames envolve vários desafios. Um aspecto importante dessa transição é garantir que a prova aborde os mesmos objetivos de aprendizado que os formatos tradicionais. Analisando de perto provas passadas, identificamos áreas que poderiam ser melhoradas com automação.

Análise de Provas Anteriores

Uma análise das provas anteriores revelou sua estrutura e os tipos de perguntas feitas. Esse processo ajudou a identificar quais aspectos poderiam ser traduzidos para um formato eletrônico. As provas anteriores foram divididas em várias categorias, incluindo perguntas de escolha única, perguntas de múltipla escolha, Trechos de Código e explicações em texto.

Implementação no Sistema de E-Exam

O novo sistema de e-exame foi construído em torno de uma estrutura que suporta vários tipos de tarefas.

Categorias de Tarefas

  1. Escolha Única: Os alunos escolhem uma opção entre várias.
  2. Múltipla Escolha: Os alunos podem selecionar mais de uma opção.
  3. Trechos de Código: Os alunos escrevem pequenos pedaços de código.
  4. Código Completo: Os alunos devem escrever funções ou tipos de dados completos.
  5. Respostas em Texto: Os alunos fornecem explicações ou justificativas.

A transição dessas tarefas para um formato eletrônico exigiu um planejamento cuidadoso. Para os trechos de código, foram utilizadas expressões regulares para avaliar a correção. Tarefas de codificação mais complicadas foram avaliadas usando frameworks de teste, o que facilitou a correção automatizada e deixou espaço para que os alunos mostrassem seu entendimento.

Melhorias no Formato do E-Exame

Para aprimorar o formato do e-exame, várias funcionalidades foram introduzidas:

Integração do Compilador Haskell

Para garantir que os alunos trabalhem dentro do ambiente de programação Haskell, integramos um compilador para Haskell. Isso permite que os alunos escrevam e testem seu código diretamente durante a prova. A estrutura das tarefas orienta os alunos sobre como abordar os problemas de codificação, enquanto o compilador integrado fornece feedback sobre seu trabalho.

Tarefas de Expressões Regulares

Tarefas de expressões regulares foram empregadas para verificar pequenos trechos de código quanto à sua correção. Durante a avaliação, as respostas dos alunos são comparadas com padrões especificados. Quando a resposta de um aluno está apenas parcialmente correta, ele pode receber crédito parcial, promovendo um sistema de correção mais justo.

Campo de Comentários para Explicações

Uma seção de comentários foi adicionada para que os alunos possam expressar seus pensamentos fora das respostas principais. Essa flexibilidade dá aos alunos a chance de esclarecer seu raciocínio ou anotar suposições que possam ter feito ao trabalhar nas tarefas.

Algoritmos de Correção

A correção de tarefas de prova apresentou desafios. O método de correção original baseado na distância entre respostas, às vezes, produzia resultados injustos. Um novo algoritmo foi desenvolvido que reconhece sequências corretas de respostas, permitindo uma correção mais precisa e justa com base nos critérios definidos.

Ferramentas para Análise de Código

Para garantir que as tarefas de programação atendam a critérios específicos, desenvolvemos uma ferramenta que analisa o código dos alunos. Essa ferramenta fornece feedback sobre o uso de construções e recursos de programação, ajudando os alunos a entender suas forças e fraquezas.

Geração de Expressões Regulares

Criar expressões regulares precisas para tarefas de correção costuma ser trabalhoso. Por isso, desenvolvemos uma linguagem especializada para gerar essas expressões e ajudar a automatizar o processo. Essa abordagem reduz a complexidade de criar expressões regulares manualmente e minimiza o potencial de erros.

Avaliação e Feedback dos Alunos

Depois de fazer a transição para um formato de e-exame, foi fundamental coletar feedback dos alunos. Pesquisas destacaram suas experiências em relação ao novo formato. A maioria dos alunos considerou o e-exame adequado; no entanto, as opiniões eram divididas sobre se conseguiam expressar seus pensamentos tão bem quanto nas provas em papel.

Conclusão

A mudança para exames eletrônicos oferece vantagens significativas em termos de automação e eficiência. Mas, é preciso prestar atenção para garantir que a qualidade da avaliação continue alta. Ao desenvolver novos algoritmos de correção, integrar ferramentas para análise de código e fomentar um ambiente para a opinião dos alunos, podemos melhorar a experiência do e-exame, mantendo um ambiente de testes justo. O trabalho futuro vai continuar refinando essas ferramentas e métodos para garantir os melhores resultados possíveis para alunos e educadores.

Fonte original

Título: Computer Aided Design and Grading for an Electronic Functional Programming Exam

Resumo: Electronic exams (e-exams) have the potential to substantially reduce the effort required for conducting an exam through automation. Yet, care must be taken to sacrifice neither task complexity nor constructive alignment nor grading fairness in favor of automation. To advance automation in the design and fair grading of (functional programming) e-exams, we introduce the following: A novel algorithm to check Proof Puzzles based on finding correct sequences of proof lines that improves fairness compared to an existing, edit distance based algorithm; an open-source static analysis tool to check source code for task relevant features by traversing the abstract syntax tree; a higher-level language and open-source tool to specify regular expressions that makes creating complex regular expressions less error-prone. Our findings are embedded in a complete experience report on transforming a paper exam to an e-exam. We evaluated the resulting e-exam by analyzing the degree of automation in the grading process, asking students for their opinion, and critically reviewing our own experiences. Almost all tasks can be graded automatically at least in part (correct solutions can almost always be detected as such), the students agree that an e-exam is a fitting examination format for the course but are split on how well they can express their thoughts compared to a paper exam, and examiners enjoy a more time-efficient grading process while the point distribution in the exam results was almost exactly the same compared to a paper exam.

Autores: Ole Lübke, Konrad Fuger, Fin Hendrik Bahnsen, Katrin Billerbeck, Sibylle Schupp

Última atualização: 2023-08-14 00:00:00

Idioma: English

Fonte URL: https://arxiv.org/abs/2308.07938

Fonte PDF: https://arxiv.org/pdf/2308.07938

Licença: https://creativecommons.org/licenses/by-sa/4.0/

Alterações: Este resumo foi elaborado com a assistência da AI e pode conter imprecisões. Para obter informações exactas, consulte os documentos originais ligados aqui.

Obrigado ao arxiv pela utilização da sua interoperabilidade de acesso aberto.

Mais de autores

Artigos semelhantes