Feedback em Tempo Real para Tutores em Aprendizagem Online

Tem evidências de que quando os alunos criam explicações, isso ajuda na compreensão e no aprendizado. Mas dar um Feedback em tempo real para os tutores enquanto estão ensinando pode ser complicado. Isso é especialmente verdade em matérias especializadas, onde as respostas podem ser complexas e sutis. Para resolver isso, foram desenvolvidos dois métodos para dar feedback imediato aos tutores sobre como elogiar os alunos de forma eficaz durante as aulas online. Esse trabalho preliminar mostrou resultados promissores, com uma boa taxa de acerto em identificar elogios eficazes versus os ineficazes.

O feedback é importante no aprendizado, mas seu impacto pode variar. Um bom feedback deve acontecer depois que o aluno teve a chance de se envolver com o material. Esse feedback deve abordar qualquer mal-entendido. Um feedback em tempo real que explica por que uma resposta específica é considerada boa ou ruim pode ser muito útil para os tutores. O treinamento online inclui cenários onde os tutores podem praticar como responder a alunos que podem estar lutando com a motivação. Depois, os tutores recebem orientações sobre suas respostas.

O objetivo deste estudo é fornecer feedback em tempo real para os tutores usando modelos de linguagem avançados. O método inclui uma abordagem baseada em templates que identifica conteúdos semelhantes nas respostas dos tutores. Esse processo é chamado de Reconhecimento de Entidades Nomeadas (NER), que faz parte de como os computadores entendem a linguagem. Ao marcar frases específicas que mostram elogios eficazes ou ineficazes, o sistema pode dar um feedback valioso ao tutor. Por exemplo, se um tutor diz: "Bom trabalho! Você acertou a resposta," o sistema pode identificar que essa resposta foca no resultado em vez do esforço, o que não é tão eficaz. O feedback então guiaria o tutor a focar mais em elogiar o esforço e o processo de aprendizado.

A correção automática de respostas curtas ganhou atenção devido aos avanços em inteligência artificial. Nesse método, as respostas dos alunos são avaliadas com base em várias técnicas de aprendizado de máquina. O processo geralmente envolve duas etapas principais: primeiro, uma fase de treinamento onde o modelo aprende com exemplos existentes e, segundo, a utilização do modelo treinado para avaliar novas respostas. Embora esses métodos tenham vantagens, eles também têm desvantagens, como precisar de muitos dados de treinamento e ter dificuldades com respostas específicas dos alunos.

Este estudo explora como fornecer feedback imediato para os tutores em sessões online, focando especialmente em como oferecer elogios eficazes. Modelos de linguagem podem ajudar a identificar tipos de elogios e dar feedback para os tutores. A pesquisa tem como objetivo avaliar duas perguntas principais: como podemos identificar diferentes tipos de elogios dados pelos tutores e como podemos usar essas informações para fornecer feedback eficaz?

#A Importância do Feedback

O feedback pode impactar muito os resultados do aprendizado. No entanto, ele pode ajudar ou atrapalhar, dependendo de como é dado. O feedback é mais eficaz quando ocorre após os alunos se envolverem com a instrução e aborda quaisquer equívocos. Feedback imediato que deixa claro por que uma certa resposta é boa ou ruim é valioso, pois ajuda os alunos a praticar de forma eficaz.

Os tutores praticam responder a cenários onde os alunos podem ter dificuldades, especialmente com motivação. Eles explicam seu raciocínio antes de receber feedback. Um dos objetivos dessa pesquisa é criar respostas que deem aos tutores explicações claras sobre o que torna uma resposta boa ou ruim. A esperança é melhorar como os tutores recebem feedback, para que possam crescer em seus papéis e oferecer melhor suporte aos alunos.

#O que é Reconhecimento de Entidades Nomeadas?

Reconhecimento de entidades nomeadas (NER) é uma forma de computadores identificarem e classificarem informações chave em textos. Um exemplo disso é na frase "John disse que Pittsburgh é maravilhoso no inverno", onde "John," "Pittsburgh," e "inverno" representam uma pessoa, um lugar e um tempo, respectivamente. O NER foca em localizar esses elementos chave no texto e classificá-los em diferentes categorias, como pessoas ou locais.

Na educação, pesquisadores têm usado o NER para avaliar textos automaticamente, mas raramente foi aplicado para dar feedback. Este estudo tem como objetivo usar o NER para encontrar elementos chave de elogio nas respostas dos tutores e criar templates para feedback que possam guiar os tutores a melhorar suas técnicas de elogio.

#Coleta e Análise de Dados

Os dados utilizados incluem respostas de tutores participando de aulas sobre como dar elogios eficazes. Os tutores vêm de diversos contextos, e o objetivo é ajudá-los a aprender como usar elogios para motivar os alunos. Elogios eficazes devem ser sinceros, específicos, imediatos, autênticos e focados no processo de aprendizado.

As respostas dos tutores foram classificadas em três tipos de elogios: baseado em esforço, baseado em resultado e baseado na pessoa. Pesquisas mostram que elogios baseados em esforço são mais eficazes para encorajar os alunos. Por exemplo, dizer "Eu gostei de como você trabalhou duro," enfatiza o processo de aprendizado, enquanto elogios baseados em resultado, como "Ótimo trabalho!" foca no resultado e pode não ser tão útil.

O estudo visa melhorar a forma como os tutores são avaliados sobre seu feedback. Usando um Modelo de Linguagem, os pesquisadores buscam identificar os diferentes tipos de elogios nas respostas dos tutores. Isso ajuda a fornecer um feedback corretivo e claro para tutores novatos, para que entendam como dar elogios mais eficazes.

#Descobertas da Pesquisa

O estudo separou os tipos de elogios usados pelos tutores, e os pesquisadores mediram quão bem seu modelo de linguagem conseguiu identificar esses. As descobertas mostraram que o modelo foi bastante bom em identificar elogios baseados em esforço, mas teve dificuldades com elogios baseados em resultado. Há uma necessidade de mais exemplos nos dados para ajudar o modelo a aprimorar sua precisão.

Além disso, os pesquisadores notaram que, enquanto alguns feedbacks sobre tipos de elogios eram precisos, houve casos em que o modelo não identificou elogios quando deveria, ou vice-versa. Isso destaca a necessidade de refinar o sistema para que ele possa lidar melhor com várias respostas de tutores.

#Direções Futuras

Seguindo em frente, várias etapas podem ser tomadas para aumentar a eficácia do sistema de feedback. Construir uma abordagem mais robusta para lidar com dados de baixo recurso é essencial. Usar estratégias de aumento de dados-como coletar exemplos do mundo real e aplicar substituições de sinônimos-poderia ajudar a melhorar o modelo.

Além disso, desenvolver melhores métricas de avaliação também melhoraria a eficácia do feedback. Isso ajudaria a levar em conta casos onde o modelo mostra correção parcial ou identifica corretamente quando não há elogio relevante na resposta de um tutor.

Finalmente, o objetivo é aplicar essas técnicas não apenas nas aulas de elogios atuais, mas também em outras sessões de treinamento para garantir que todos os tutores novatos tenham acesso a feedback eficaz que ajude no seu desenvolvimento.

#Conclusão

A integração de modelos de linguagem avançados no treinamento de tutores tem o potencial de aprimorar significativamente o processo de feedback. Ao identificar corretamente os tipos de elogios e fornecer explicações detalhadas, os tutores novatos podem se tornar mais eficazes em seus papéis. Essa pesquisa fornece uma base para um sistema que não só apoia o desenvolvimento dos tutores, mas que no final busca melhorar as experiências de aprendizado dos alunos. Através de um aprimoramento contínuo e exploração de aplicações adicionais, o futuro do treinamento de tutores parece promissor.