Avaliando as Habilidades de Escrita em L2 com o GPT-4

A avaliação automatizada de redações (AES) tem sido usada há muitos anos para avaliar quão bem as pessoas conseguem escrever em uma segunda língua (L2). Enquanto a pontuação geral melhorou para se igualar ao que os humanos podem fazer, desmembrar as notas em partes específicas ainda enfrenta desafios. Recentemente, grandes modelos de linguagem como o GPT-4 oferecem novas maneiras de avaliar automaticamente diferentes partes das habilidades de escrita em L2. Este artigo vai explorar como o GPT-4 pode ser usado para dar notas detalhadas em áreas específicas de proficiência na escrita.

#Contexto sobre Avaliação Automatizada de Redações

A tecnologia AES evoluiu desde o seu início na década de 1960. Um dos primeiros sistemas, o Project Essay Grade (PEG), avaliava a escrita com base em características básicas, como comprimento da redação e pontuação. Com o tempo, os sistemas automatizados se tornaram mais avançados, usando técnicas de processamento de linguagem natural (NLP). Os sistemas líderes em uso hoje incluem e-rater, IntelliMetric e Intelligent Essay Assessor.

Nos últimos anos, técnicas de aprendizado profundo e redes neurais fizeram melhorias notáveis na AES. Modelos baseados em transformadores, como BERT e modelos mais recentes do GPT, empurraram ainda mais os limites do que os sistemas automáticos podem fazer. Embora esses modelos tenham mostrado grande sucesso em avaliar redações como um todo, a capacidade deles de avaliar componentes específicos ainda não foi totalmente explorada.

#Avaliação Holística vs. Analítica

Quando se trata de avaliação de linguagem, existem dois métodos principais: avaliação holística e avaliação analítica. A avaliação holística dá uma única nota com base no desempenho geral, considerando todos os fatores de uma vez. Já a avaliação analítica, por outro lado, divide a escrita em vários elementos, dando notas separadas para cada parte, como vocabulário, gramática e coerência.

A avaliação holística é mais fácil e rápida para avaliadores humanos, e estudos mostram uma maior concordância entre eles. No entanto, pode perder detalhes importantes sobre o que um escritor faz bem ou precisa melhorar. A avaliação analítica fornece um feedback mais detalhado, mas é mais complicada e demorada, muitas vezes levando a inconsistências.

#Por que usar o GPT-4 para Avaliação Analítica?

Com o surgimento de grandes modelos de linguagem, há potencial para melhorar a avaliação diagnóstica de redações. O GPT-4 pode analisar aspectos específicos da escrita com base nas notas holísticas existentes. Isso poderia fornecer aos aprendizes de L2 insights valiosos sobre suas habilidades de escrita, destacando pontos fortes e fracos e apoiando seu crescimento em áreas específicas.

#Metodologia

#Plataforma de Melhoria de Escrita

A plataforma Write Improve (WI) permite que aprendizes de L2 pratiquem a escrita. Os usuários enviam redações com base em vários temas, recebendo feedback automatizado. Desde 2014, essas redações têm sido anotadas com níveis de proficiência e correções gramaticais. Isso criou um conjunto de dados de cerca de 3.300 redações.

Além disso, o EF-Cambridge Open Language Database (EFCAMDAT) compreende mais de um milhão de textos de aprendizes de L2. Esse conjunto de dados ajuda a entender a proficiência na escrita em L2 em uma grande amostra. Para nossa pesquisa, focamos em um subconjunto de ambos os conjuntos de dados para treinar e validar nossos modelos.

#Treinamento do Avaliador Holístico

Primeiro, treinamos um avaliador holístico usando um modelo Longformer, que analisa o texto e fornece uma única nota para as redações. Esse modelo foi ajustado utilizando dados de treinamento do WI e EFCAMDAT. Avaliamos seu desempenho com base em várias medidas estatísticas.

#GPT-4 para Avaliação Analítica

Uma vez que temos as notas holísticas, alimentamos essas informações no GPT-4 para obter notas analíticas para nove aspectos da escrita, incluindo Controle de Vocabulário, precisão gramatical, coerência e desenvolvimento temático. Os prompts dados ao GPT-4 são estruturados para garantir que ele se concentre em elementos específicos sem influência de fatores externos, como a nota geral.

#Resultados

#Desempenho da Avaliação Holística

O modelo baseado em Longformer mostrou resultados fortes na avaliação de redações. Ele tem uma precisão maior na previsão de notas holísticas em comparação com modelos anteriores. Esse desempenho demonstra que a avaliação holística é eficaz e acessível, fornecendo uma base sólida para uma nova análise.

#Extração de Notas Analíticas com o GPT-4

O modelo GPT-4 produziu notas analíticas que mostraram correlações significativas com diferentes características da escrita. Por exemplo, a precisão gramatical teve uma alta relação com as taxas de erros gramaticais. As notas de controle de vocabulário se correlacionaram bem com a presença de palavras difíceis nas redações.

Ao comparar as previsões do modelo com as notas atribuídas por humanos, os resultados revelaram que o GPT-4 se saiu bem mesmo sem contexto adicional. Isso sugere que o GPT-4 pode analisar textos de forma independente e fornecer feedback significativo com base apenas no conteúdo da redação.

#Correlações Entre Notas Analíticas e Características da Escrita

O estudo encontrou que várias características-chave da escrita mostraram conexões fortes com as notas analíticas previstas. Por exemplo, a contagem de vocabulário único e a complexidade das sentenças influenciaram como o GPT-4 avaliou a gama de vocabulário e a coerência. Esses achados destacam a capacidade do modelo de processar e analisar a linguagem de forma eficaz.

#Discussão

#Importância da Avaliação Analítica

Oferecer feedback detalhado para aprendizes de L2 pode impactar muito no desenvolvimento da escrita deles. A avaliação analítica traz clareza e permite que os aprendizes se concentrem em suas áreas mais fracas, enquanto também reconhecem seus pontos fortes. O GPT-4 se destaca como uma ferramenta para esse propósito, fornecendo insights significativos sobre a proficiência em escrita.

#Desafios na Avaliação Analítica

Apesar dos resultados promissores, ainda há desafios em fornecer notas analíticas consistentes e confiáveis. As previsões do modelo ainda dependem da precisão e qualidade dos dados nos quais foi treinado. Além disso, questões humanas de viés e variabilidade na avaliação são considerações que precisam ser abordadas.

#Direções Futuras

O estudo estabelece o palco para uma exploração mais aprofundada do GPT-4 em ambientes educacionais. Pesquisas futuras podem envolver a implementação desse sistema em salas de aula, onde o progresso da escrita dos alunos pode ser acompanhado com base no feedback personalizado. Além disso, a integração de sistemas multi-mídia que avaliem habilidades de fala poderia ampliar o escopo da avaliação automatizada de linguagem.

#Conclusão

Em resumo, usar o GPT-4 para avaliação analítica na escrita em L2 apresenta uma abordagem viável para fornecer feedback detalhado aos aprendizes. Embora mais trabalho seja necessário para refinar o processo, os resultados iniciais sugerem que essa tecnologia pode melhorar significativamente a maneira como avaliamos as habilidades de escrita. Ao focar em componentes específicos dentro da escrita, os educadores podem apoiar melhor os alunos em suas jornadas de aprendizagem de idiomas. Sistemas automatizados como o GPT-4 têm potencial para o futuro da avaliação de linguagem, tornando o processo mais eficiente e eficaz para todos os envolvidos.