Técnicas de Balanceamento nas Previsões de Sucesso dos Estudantes

Nos últimos anos, teve um aumento significativo no uso de tecnologia no ensino superior. Isso levou à coleta de um monte de dados sobre os alunos e suas experiências de aprendizado. A ideia de usar esses dados é ajudar a melhorar o sucesso dos alunos por meio de métodos avançados de análise de dados. Uma área importante de pesquisa nesse campo é a previsão do sucesso dos alunos usando machine learning. Isso envolve criar modelos que possam prever como os alunos vão se sair com base em vários fatores, como suas características demográficas e participação no curso.

Mas, pra esses modelos serem confiáveis pra alunos e educadores, é importante explicar como eles funcionam e quais fatores influenciam suas previsões. Um método que ganhou atenção por fornecer esse tipo de explicação é o que chamamos de Explicações Contrafactuais. Essas explicações ajudam a galera a entender quais mudanças poderiam levar a um resultado diferente, tipo melhorar as chances de um aluno passar em um curso.

#O que são Explicações Contrafactuais?

Explicações contrafactuais focam em identificar as mudanças mínimas necessárias na situação de um aluno pra alterar a previsão feita por um modelo. Por exemplo, se um modelo prevê que um estudante vai falhar, uma explicação contrafactual detalharia quais mudanças o aluno poderia fazer pra aumentar suas chances de passar. Isso pode incluir ações como estudar mais, completar mais tarefas ou participar mais ativamente da aula.

No contexto da previsão de sucesso dos alunos, as explicações contrafactuais são super úteis. Elas fornecem insights acionáveis pra ajudar alunos, professores e designers de currículo a tomarem as medidas adequadas pra melhorar os resultados de aprendizado. No entanto, a eficácia das explicações contrafactuais depende de quão bem os modelos de previsão subjacentes foram desenvolvidos e como eles lidam com várias situações, incluindo casos onde há um desequilíbrio nos dados.

#O Desafio dos Dados Desequilibrados

Ao criar modelos pra prever o sucesso dos alunos, os pesquisadores muitas vezes enfrentam o desafio de dados desequilibrados. Isso acontece quando um grupo de resultados é muito maior que o outro. Por exemplo, em um conjunto de dados de estudantes, pode haver muitos mais alunos que passam do que aqueles que reprovam. Esse desequilíbrio pode dificultar a previsão precisa dos resultados para o grupo menos frequente, que, neste caso, são os alunos que falham.

Pra resolver essa questão, os pesquisadores usam várias estratégias, conhecidas como técnicas de balanceamento. Essas técnicas ajudam a garantir que os modelos sejam treinados com dados que representem melhor todos os resultados e sejam menos tendenciosos em relação aos resultados mais frequentes. As técnicas de balanceamento podem incluir métodos como oversampling, onde mais exemplos do resultado menos frequente são adicionados, ou undersampling, onde alguns exemplos do resultado mais frequente são removidos.

#A Importância de Avaliar as Técnicas de Balanceamento

Avaliar como diferentes técnicas de balanceamento afetam a qualidade das explicações contrafactuais é crucial. Entender quais métodos produzem os melhores resultados pode levar a previsões mais confiáveis e a uma melhor orientação pra alunos e educadores. Este artigo visa investigar os efeitos de várias técnicas de balanceamento na geração de explicações contrafactuais dentro de modelos de previsão do sucesso dos alunos.

#Perguntas de Pesquisa

1. Qual é o melhor método para gerar explicações contrafactuais após aplicar técnicas de balanceamento?
2. Como diferentes técnicas de balanceamento impactam as explicações contrafactuais dos modelos de previsão de sucesso dos alunos?

#Conjunto de Dados Usado para Análise

Pra realizar essa análise, os pesquisadores usaram um conjunto de dados de uma Universidade Aberta. Esse conjunto contém dados de alunos matriculados em um programa educacional, que inclui suas características demográficas, resultados de avaliação e interações online com o sistema de gerenciamento de aprendizado da universidade. O foco estava em alunos que completaram cursos específicos ao longo de um período selecionado.

#Métodos de Geração de Contrafactuais

Ao gerar explicações contrafactuais, vários métodos podem ser utilizados. Alguns dos métodos mais comuns incluem:

• Explicações Contrafactuais What-If: Essa abordagem encontra as instâncias mais próximas dos dados de um aluno específico, focando em como pequenas mudanças podem alterar a previsão.
• Explicações Contrafactuais Multi-Objetivo (MOC): Esse método tenta otimizar vários fatores ao mesmo tempo, garantindo que os contrafactuais gerados sejam válidos, próximos dos dados originais e realistas.
• Explicações Contrafactuais de Instância Mais Próxima (NICE): Esse método identifica instâncias semelhantes à observação original e tenta fornecer explicações com base nessas semelhanças.

Esses métodos podem produzir resultados variados em termos de quão úteis ou acionáveis as explicações contrafactuais são, tornando crítico avaliá-los sob diferentes condições.

#Técnicas de Balanceamento Usadas no Estudo

A análise focou em várias técnicas de balanceamento pra lidar com a questão dos dados desequilibrados. Os seguintes métodos foram aplicados:

• Undersampling: Essa técnica envolve reduzir o número de instâncias na classe majoritária pra criar um conjunto de dados mais equilibrado.
• Oversampling: Ao contrário do undersampling, o oversampling aumenta o número de instâncias na classe minoritária pra igualar à maioria.
• SMOTE (Técnica de Sobre-exploração de Minorias Sintéticas): Esse método gera exemplos sintéticos para a classe minoritária pra melhorar o desempenho do modelo.
• Aprendizado sensível a custos: Essa abordagem atribui diferentes custos à classificação errada de instâncias da classe minoritária pra reduzir erros de previsão.

#Desenho Experimental

O desenho experimental do estudo consistiu em várias etapas:

1. Balanceando o Conjunto de Dados: O conjunto de dados foi modificado usando as técnicas de balanceamento selecionadas pra criar uma representação mais equitativa de ambos os grupos de resultados.
2. Treinamento do Modelo: Vários modelos foram treinados tanto no conjunto de dados original quanto no balanceado. Além do treinamento padrão, alguns modelos passaram por ajuste de hiperparâmetros pra melhorar seu desempenho.
3. Gerando Contrafactuais: Após o treinamento do modelo, explicações contrafactuais foram geradas para alunos que foram previstos como falhando usando os diferentes métodos descritos anteriormente.
4. Avaliação da Qualidade dos Contrafactuais: A qualidade dos contrafactuais produzidos por cada método foi avaliada pra determinar quais técnicas de balanceamento e métodos de geração ofereceram os insights mais acionáveis.

#Resultados e Discussão

#Desempenho do Modelo

O desempenho dos modelos de previsão foi comparado entre as várias técnicas de balanceamento. Os modelos treinados nos conjuntos de dados balanceados geralmente tiveram um desempenho melhor em termos de precisão e pontuações F1 do que aqueles treinados nos dados originais e desequilibrados. Curiosamente, os modelos que foram ajustados demonstraram métricas de desempenho melhoradas em quase todas as estratégias, indicando o valor da otimização.

#Avaliação Contrafactual

Os métodos de geração de contrafactuais produziram números variados de contrafactuais com base nas estratégias de balanceamento utilizadas. O método MOC geralmente gerou mais contrafactuais, enquanto os métodos NICE resultaram em menos. O desempenho de cada método foi avaliado em termos de várias métricas, destacando diferenças na eficácia.

• NICE sp e NICE pr: Esses métodos consistentemente mostraram melhor desempenho, particularmente em conjuntos de dados após oversampling. Eles produziram contrafactuais com valores mais baixos para métricas essenciais como minimalidade e plausibilidade.
• MOC: Embora esse método tenha produzido um número maior de contrafactuais, ele muitas vezes lutou com métricas de qualidade em comparação com os métodos NICE. Em muitos casos, mostrou valores mais altos para minimalidade e proximidade, indicando explicações menos eficazes.
• Método What-If: Semelhante ao MOC, esse método teve seus pontos fortes e fracos, gerando às vezes explicações úteis, mas não se saindo bem em outros casos, especialmente no cenário dos dados originais.

Ao analisar o impacto das técnicas de balanceamento nas explicações contrafactuais, ficou claro que técnicas como oversampling e SMOTE melhoraram significativamente a qualidade das explicações geradas. Por outro lado, o undersampling proporcionou algumas melhorias, mas não elevou o desempenho de todos os métodos.

#Implicações para Intervenções Educacionais

Os insights obtidos desta análise oferecem implicações valiosas para instituições educacionais. Ao entender como diferentes técnicas de balanceamento influenciam as explicações contrafactuais, os educadores podem tomar decisões informadas sobre quais modelos usar e como interpretar seus resultados.

Por exemplo, se um modelo fornece uma explicação contrafactual que sugere que um aluno poderia passar mudando apenas alguns comportamentos chave, os educadores podem projetar intervenções direcionadas pra abordar essas ações específicas. Isso pode levar a um suporte melhor pra alunos em risco e a uma experiência de aprendizado mais personalizada.

#Limitações e Trabalhos Futuros

Embora este estudo ofereça descobertas importantes, ele também tem algumas limitações. O foco principal em um único conjunto de dados significa que os resultados podem não ser aplicáveis em todos os contextos educacionais. Pesquisas futuras devem considerar explorar diferentes conjuntos de dados e métodos contrafactuais adicionais pra melhorar a compreensão nessa área.

Além disso, os efeitos a longo prazo das explicações contrafactuais nos resultados dos alunos merecem mais investigação. Entender como alunos e educadores respondem a esses insights pode fornecer uma imagem mais clara de sua utilidade prática em ambientes educacionais reais.

#Conclusão

Este estudo traz uma luz sobre o papel das técnicas de balanceamento na geração de explicações contrafactuais para modelos de previsão do sucesso dos alunos. As descobertas destacam a importância de selecionar estratégias de balanceamento apropriadas pra melhorar a qualidade dos insights fornecidos por esses modelos. Fazendo isso, os educadores podem apoiar melhor os alunos a alcançarem sucesso acadêmico, contribuindo assim pra ambientes de aprendizado mais eficazes e personalizados.