Integrando Chatbots na Educação: Insights e Impacto

Modelos de Linguagem Grandes (LLMs), como o ChatGPT, têm atraído bastante atenção na educação. Eles podem ajudar em várias tarefas, o que é especialmente relevante em cursos de ciência da computação. Este artigo discute a integração de um chatbot LLM em salas de aula, focando em seu impacto, padrões de uso e percepções dos alunos.

#Contexto

Avanços recentes nos LLMs aumentaram seu uso na educação. Os professores têm sentimentos mistos sobre essas ferramentas. Alguns estão preocupados com os alunos dependendo demais delas, enquanto outros acreditam que podem melhorar o aprendizado. Entender como os alunos interagem com esses Chatbots é crucial para os educadores.

#Visão Geral do Estudo

Neste estudo, integramos um chatbot de modelo de linguagem grande em três cursos diferentes na Universidade Aalto. O chatbot foi projetado para os alunos usarem livremente, sem filtrar suas respostas. Os alunos tinham a opção de discutir trabalhos do curso e outros tópicos. Nosso objetivo era ver com que frequência e de que maneiras os alunos usariam o chatbot.

#Configuração do Chatbot

O chatbot foi baseado na mais recente tecnologia de LLM disponível na época, o GPT-4. Ele estava acessível através de uma plataforma de aprendizado online. Os alunos podiam dialogar com o chatbot, fazendo perguntas e buscando ajuda com tarefas. O chatbot estava disponível para uso a qualquer momento durante o semestre, mas os alunos eram limitados a cinco mensagens por minuto e 100 mensagens por dia.

#Detalhes do Curso

O chatbot foi usado em três cursos:

1. Engenharia de Software com Modelos de Linguagem Grandes: Este curso focou em LLMs e suas aplicações em engenharia de software. Os alunos aprenderam como aproveitar LLMs em seus projetos.

2. Design Sem Dispositivo Específico: Este curso introdutório ensinou os alunos a projetar aplicações que funcionam em diferentes dispositivos.

3. Desenvolvimento de Software Web: Este curso enfatizou a construção de aplicações web, usando várias tecnologias modernas.

#Coleta de Dados

Durante o semestre, coletamos dados sobre como cada aluno interagiu com o chatbot. Também reunimos informações de fundo, como experiência prévia em programação e familiaridade com LLMs. O feedback foi coletado para avaliar a utilidade do chatbot.

#Padrões de Uso do Chatbot

#Uso Geral

O chatbot foi usado com mais frequência no curso de Engenharia de Software com LLMs em comparação com os outros dois cursos. Cerca de 98% dos alunos desse curso interagiram com o chatbot, enquanto apenas 22% e 24% dos alunos o usaram nos cursos de Design Sem Dispositivo Específico e Desenvolvimento de Software Web, respectivamente.

#Superusuários

Um pequeno número de alunos foi muito ativo no uso do chatbot, chamados de "superusuários". Esses indivíduos representaram uma parte significativa das interações totais. Na verdade, apenas 18 alunos fizeram mais da metade de todas as mensagens do chatbot durante o semestre.

#Uso Baseado em Capítulos

O uso variou por capítulos do curso. No curso de Engenharia de Software com LLMs, o chatbot foi mais utilizado em capítulos que incluíam problemas de programação. Em contraste, outros cursos mostraram menos variação no uso entre os capítulos.

#Feedback sobre a Utilidade

Após interagir com o chatbot, os alunos avaliaram sua utilidade em uma escala de 1 a 5 estrelas. No geral, os alunos do curso de Engenharia de Software com LLMs avaliaram o chatbot como mais útil em comparação com os dos outros dois cursos. No entanto, a avaliação mediana em todos os cursos foi 4, indicando uma visão geralmente positiva, embora deva ser notado que as avaliações foram influenciadas pelos usuários mais ativos.

#Experiência do Aluno

#Experiência Prévia em Programação

Curiosamente, os alunos que relataram maior familiaridade com LLMs tendiam a usar menos o chatbot do que os alunos com menos experiência. Isso pode indicar que usuários mais experientes são menos propensos a explorar ou experimentar com o chatbot.

#Diferenças Entre os Cursos

Os cursos mostraram diferenças notáveis nos perfis dos participantes e suas experiências com LLMs. Os alunos do curso de Engenharia de Software com LLMs avaliaram suas habilidades de programação mais altas em comparação com os alunos de Design Sem Dispositivo Específico e Desenvolvimento de Software Web.

#Limitações do Estudo

Existem várias limitações que vale a pena notar. Primeiro, os alunos podem ter usado outras ferramentas LLM fora do curso, o que não contabilizamos. Segundo, o sistema de feedback era opcional, o que pode ter levado a uma sub-representação de alunos que não usaram o chatbot extensivamente. Além disso, dados autorrelatados sobre a experiência prévia podem não ser totalmente precisos.

#Conclusão

A integração do chatbot baseado em LLM na sala de aula mostrou níveis variados de engajamento entre os diferentes cursos. Embora alguns alunos acharam o chatbot muito útil, muitos outros não o usaram de forma significativa. Os educadores devem considerar essas diferenças e a possível necessidade de suporte direcionado para maximizar a eficácia de tais ferramentas em ambientes de aprendizado. Pesquisas futuras continuarão a explorar como os LLMs podem ser integrados de forma eficaz na educação.

#Direções Futuras

Seguindo em frente, será essencial investigar como integrar ainda mais ferramentas LLM nos currículos existentes e identificar maneiras que possam aumentar sua utilidade para os alunos. O objetivo é refiná-los a experiência de aprendizado e oferecer melhor suporte a todos os tipos de alunos, especialmente aqueles que podem precisar de mais orientação para navegar nessas novas tecnologias.

Além disso, estudos futuros podem analisar como os LLMs impactam o processo de aprendizado e se podem ajudar os alunos com resolução de problemas complexos em tarefas de programação. Entender o papel dos LLMs no contexto do engajamento dos alunos e seus resultados de aprendizado será vital para os educadores que buscam melhorar as práticas educacionais.

#Considerações Finais

Em conclusão, o estudo da integração de LLMs como chatbots em ambientes educacionais oferece perspectivas promissoras. Embora os resultados iniciais indiquem níveis variados de uso e utilidade percebida, o potencial dessas ferramentas para ajudar no aprendizado permanece significativo. A avaliação contínua e a adaptação das estratégias de ensino em alinhamento com as tecnologias emergentes abrirão caminho para uma educação mais eficaz e envolvente no futuro.