Avaliar a Qualidade da Revisão em Escrita Argumentativa

Revisar textos com base no feedback é super importante pra galera melhorar suas habilidades. Isso é especialmente verdade na escrita argumentativa, onde rola uma confusão em saber se uma revisão é boa ou ruim. O sucesso de uma revisão geralmente depende do conteúdo do argumento. Por exemplo, adicionar a mesma frase pode deixar um argumento melhor em uma situação, mas pior em outra. Pra resolver isso, criamos dicas que ajudam a gerar contexto pra avaliar a qualidade das Revisões.

Revisões em textos argumentativos que respondem ao feedback podem melhorar muito a qualidade do trampo do aluno. Boas revisões normalmente envolvem adicionar Evidências relevantes, tirar pontos repetidos ou dar exemplos mais claros pra apoiar as afirmações. Mas pode ser difícil saber quais revisões foram bem-sucedidas. Por exemplo, fazer a mesma revisão em contextos diferentes pode trazer resultados diferentes. Os contextos argumentativos são partes das frases que dão razões, evidências ou afirmações que apoiam ou contestam argumentos.

Por exemplo, se duas redações adicionam a mesma frase, "foi difícil pra eles se concentrar, já que não tinha refeição no meio do dia," o efeito na qualidade das redações pode ser oposto. Em uma redação, a frase adicionada pode repetir algo que já foi dito, não trazendo melhora nenhuma. Na outra redação, a frase pode trazer uma nova evidência útil, fazendo a revisão ser bem-sucedida.

Atualmente, temos ferramentas que avaliam automaticamente os textos, focando principalmente na estrutura e conteúdo das redações dos alunos. Boas revisões, tipo adicionar informações relevantes, podem aumentar a qualidade da escrita. Mas revisões ruins podem não trazer nenhuma melhora ou até prejudicar o argumento. Por isso, avaliar o sucesso das revisões é essencial pra determinar a qualidade delas com base no feedback dado.

Tradicionalmente, a qualidade das revisões era prevista olhando pro contexto próximo das revisões. Porém, esses métodos muitas vezes não consideram as relações entre as revisões e o contexto em que foram feitas. Alguns estudos analisaram como diferentes partes da escrita se relacionam, mas poucos focaram em determinar a qualidade das revisões com base no contexto argumentativo.

Pra preencher essa lacuna, decidimos responder três perguntas específicas:

1. Até que ponto os contextos argumentativos (CAs) ajudam na previsão da qualidade da revisão?
2. Quais tipos de CAs são os mais úteis pra essa previsão?
3. Dá pra usar dicas do ChatGPT pra ajudar a gerar CAs úteis?

Nosso estudo busca mostrar como os CAs estão relacionados à previsão da qualidade das revisões. Também estamos entre os primeiros a usar o modelo avançado do ChatGPT pra ajudar a gerar esses contextos pra escrita argumentativa. Nossos testes com coleções de redações de diferentes níveis educacionais mostram que os CAs que sugerimos têm um desempenho melhor do que métodos anteriores que focavam em contextos baseados na localização.

#Pesquisa Anterior

Pesquisas sobre revisões em escrita usaram diferentes tipos de ferramentas de processamento de linguagem. Muitos estudos analisaram a escrita argumentativa pra entender os papéis que os personagens desempenham dentro do texto, como as afirmações são apoiadas por evidências. No entanto, esse tipo de análise não costuma ser aplicado em estudos focados em revisões.

Estudos sobre revisões geralmente se concentram em aspectos como corrigir gramática, reformular frases e avaliar o propósito por trás das revisões. Embora algumas dessas pesquisas tenham incorporado características contextuais, o foco principal foi na localização das revisões, e não em como diferentes partes do argumento se relacionam.

#Modelos de Linguagem em Revisões

Avanços recentes em modelos de linguagem grandes (MLGs) levaram a melhorias significativas em como lidamos com várias tarefas de processamento de linguagem. Pesquisas passadas usaram principalmente modelos mais antigos pra revisões, mas agora usamos o ChatGPT mais avançado. Usando dicas, conseguimos guiar o ChatGPT pra gerar informações que ajudam a avaliar a qualidade das revisões. Esse método divide tarefas complexas em partes menores, facilitando a análise.

#Coletando Dados

Coletar dados pra estudar revisões pode sair caro e ser demorado, por isso existem poucos conjuntos de dados disponíveis. Nós coletamos um conjunto de redações de faculdade que incluía pares de rascunhos - originais e suas revisões. Esse conjunto continha 60 redações de alunos respondendo a um pedido específico. Depois de receber feedback sobre os rascunhos iniciais, eles revisaram seus trabalhos, que foram coletados como pares.

Da mesma forma, juntamos 596 redações de alunos do ensino fundamental entre 5 e 6 anos. Esses alunos revisaram seus textos após receberem feedback específico de um sistema de avaliação automática. Alinhamos as frases dos rascunhos originais com suas revisões pra entender como elas mudaram. As revisões foram avaliadas com base em se adicionaram novas informações, removeram informações desnecessárias ou modificaram conteúdo já existente.

Usamos um sistema de classificação pra rotular a natureza das revisões. As revisões foram registradas como bem-sucedidas se adicionaram evidências relevantes e malsucedidas se repetiram pontos ou foram pouco informativas. Focamos especialmente em como evidências e Raciocínios foram usados nessas revisões.

#Contextos Argumentativos

No nosso estudo, definimos contextos argumentativos como as frases ligadas às revisões. Esses contextos podem estar relacionados a afirmações, raciocínio ou evidências fornecidas na escrita. Cada tipo de contexto desempenha um papel em determinar se uma revisão melhora ou não a redação.

Por exemplo, se uma revisão adiciona uma evidência, se essa evidência é útil depende de quão bem ela se conecta com as afirmações já feitas na escrita. Pra este estudo, buscamos definir três tipos de contextos pra nossas análises:

1. CA-Afirmação: Contextos que contêm afirmações ou argumentos feitos pelo autor.
2. CA-Raciocínio: Contextos que fornecem raciocínio pra apoiar afirmações ou evidências.
3. CA-Evidência: Contextos que apresentam evidências usadas pra apoiar ou contestar afirmações.

#ChatGPT e Dicas

Nossa abordagem pra gerar contextos argumentativos envolve usar dicas com o ChatGPT. Focamos em dois tipos principais de dicas: Dicas únicas, que fornecem contexto de uma vez, e dicas de cadeia de pensamento, que dividem a tarefa em duas etapas.

Nas dicas únicas, pedimos pro ChatGPT resumir partes específicas das redações em duas frases. Isso limita as informações a trechos relevantes que podem se relacionar efetivamente com as revisões.

As dicas de cadeia de pensamento envolvem primeiro extrair frases relevantes e depois resumir. Esse método visa garantir que os contextos gerados sejam precisos e diretamente relevantes às revisões.

#Prevendo a Qualidade da Revisão

Nosso objetivo é prever a qualidade das revisões com base na relação entre as revisões e seus contextos. A meta é classificar as revisões em categorias de sucesso ou fracasso.

Usamos um modelo pra processar o texto e classificar as revisões, olhando tanto pras revisões quanto pros seus contextos associados. Essa abordagem visa fornecer uma maneira refinada de medir a eficácia das revisões com base em seus contextos argumentativos.

#Resultados e Análise

Nossos experimentos geraram resultados positivos, mostrando que os contextos argumentativos que sugerimos superaram métodos existentes. As descobertas indicam que usar contextos diferentes pode afetar significativamente o sucesso das revisões.

Em particular, notamos que usar contextos de raciocínio foi especialmente benéfico pra prever a qualidade das revisões. Revisões bem-sucedidas geralmente estavam muito ligadas a raciocínios relevantes que esclareciam seu propósito e conexão com outras partes da escrita.

Além disso, descobrimos que as dicas de cadeia de pensamento geralmente produziam resultados melhores do que as dicas únicas. Isso sugere que abordagens mais detalhadas pra gerar contextos argumentativos podem levar a previsões mais precisas da qualidade da revisão.

#Conclusão

Resumindo, nosso estudo demonstra a importância de analisar a relação entre contextos argumentativos e a qualidade das revisões na escrita dos alunos. Usar ferramentas avançadas como o ChatGPT oferece um novo método pra gerar contextos que podem levar a avaliações melhores das revisões de texto.

Nossa pesquisa abre novos caminhos pra estudos futuros no campo da avaliação da escrita, enfatizando a necessidade de um contexto detalhado pra entender como as revisões podem melhorar ou diminuir a qualidade da escrita argumentativa. Os resultados sugerem que focar nas conexões entre afirmações, evidências e raciocínios pode levar a revisões mais eficazes e, em última análise, melhorar os resultados da escrita dos alunos.