Evaluando la Calidad de la Revisión en la Escritura Argumentativa

Revisar la escritura según los comentarios es clave para que los estudiantes mejoren sus habilidades. Esto es especialmente importante en la escritura argumentativa, donde a veces es difícil saber si una revisión es buena o mala. El éxito de una revisión a menudo depende del contenido del argumento. Por ejemplo, agregar la misma oración podría mejorar un argumento en una situación, pero empeorarlo en otra. Para solucionar esto, hemos creado indicaciones que ayudan a generar contexto para evaluar la calidad de la revisión.

Las Revisiones en la escritura argumentativa que responden a comentarios pueden mejorar mucho la calidad del trabajo de un estudiante. Las buenas revisiones normalmente incluyen añadir evidencia relevante, eliminar puntos repetidos o dar ejemplos más claros para apoyar las afirmaciones. Sin embargo, puede ser complicado saber cuáles revisiones son exitosas. Por ejemplo, hacer la misma revisión en diferentes contextos puede dar resultados distintos. Los contextos argumentativos son partes de oraciones que dan razones, evidencia o afirmaciones que apoyan o contradicen argumentos.

Por ejemplo, si dos ensayos añaden la misma frase, "les costaba concentrarse, ya que no había comida a mediodía", el efecto en la calidad de los ensayos puede ser opuesto. En un ensayo, la frase añadida podría repetir algo que ya se había dicho, sin mejorar nada. En el otro, la frase añadida podría aportar nueva evidencia útil, haciendo que esa revisión sea exitosa.

Actualmente tenemos herramientas que evalúan automáticamente la escritura, enfocándose principalmente en la estructura y contenido de los ensayos de los estudiantes. Buenas revisiones, como añadir información relevante, pueden aumentar la calidad de la escritura. Pero revisiones malas pueden llevar a que no haya mejora o incluso dañar el argumento. Por eso, evaluar el éxito de las revisiones es esencial para determinar su calidad según los comentarios recibidos.

Tradicionalmente, se ha predecido la calidad de las revisiones analizando el contexto cercano de las mismas. Sin embargo, estos métodos a menudo no toman en cuenta las relaciones entre las revisiones y el contexto en que se hicieron. Algunos estudios han investigado cómo distintas partes de la escritura se relacionan entre sí, pero pocos han centrado en determinar la calidad de las revisiones basándose en su contexto argumentativo.

Para llenar este vacío, nos hemos propuesto responder a tres preguntas específicas:

1. ¿Qué tan útiles son los contextos argumentativos (ACs) para predecir la calidad de la revisión?
2. ¿Qué tipos de ACs son los más útiles para esta predicción?
3. ¿Pueden las indicaciones usadas en ChatGPT ayudar a generar ACs útiles?

Nuestro estudio tiene como objetivo mostrar cómo los ACs están relacionados con la predicción de la calidad de las revisiones. También somos de los primeros en usar el modelo avanzado de ChatGPT para ayudar a generar estos contextos para la escritura argumentativa. Nuestras pruebas en colecciones de ensayos de distintos niveles educativos muestran que los ACs que proponemos funcionan mejor que métodos anteriores que se centraban en contextos basados en la ubicación.

#Investigación Anterior

La investigación sobre revisiones en la escritura ha utilizado diferentes tipos de herramientas de procesamiento del lenguaje. Muchos estudios han analizado la escritura argumentativa para analizar los roles que juegan los personajes dentro de la escritura, como el respaldo de las afirmaciones con evidencia. Sin embargo, este tipo de análisis no se ha aplicado a menudo en estudios centrados en la revisión.

Los estudios de revisión típicamente se concentran en aspectos como corregir gramática, reformular oraciones y evaluar el propósito detrás de las revisiones. Aunque parte de esta investigación ha incorporado características contextuales, el enfoque ha sido principalmente sobre la ubicación de las revisiones en lugar de cómo las distintas partes del argumento se relacionan entre sí.

#Modelos de Lenguaje en la Revisión

Los recientes avances en modelos de lenguaje grande (LLMs) han llevado a mejoras significativas en cómo manejamos varias tareas de procesamiento del lenguaje. La investigación pasada ha utilizado principalmente modelos más antiguos para revisiones, pero ahora utilizamos el más avanzado ChatGPT. Usando indicaciones, podemos guiar a ChatGPT para generar información que ayude a evaluar la calidad de las revisiones. Este método descompone tareas complejas en partes más pequeñas, facilitando el análisis.

#Recolección de Datos

Recoger datos para estudiar revisiones puede ser costoso y llevar tiempo, por eso hay conjuntos de datos limitados disponibles. Recogimos un conjunto de ensayos universitarios que incluían pares de borradores: originales y sus revisiones. Este conjunto contenía 60 ensayos de estudiantes que respondieron a un aviso específico. Después de recibir comentarios sobre sus borradores iniciales, revisaron su trabajo, que fue recogido como pares.

Igualmente, recopilamos 596 ensayos de estudiantes de primaria en grados 5 y 6. Estos estudiantes revisaron sus trabajos después de recibir comentarios específicos de un sistema de evaluación automática. Alineamos las oraciones de los borradores originales con sus revisiones para entender cómo cambiaron. Las revisiones fueron evaluadas según si añadieron nueva información, eliminaron información innecesaria o modificaron contenido existente.

Usamos un sistema de clasificación para etiquetar la naturaleza de las revisiones. Las revisiones se registraron como exitosas si añadieron evidencia relevante y como fallidas si repitieron puntos o no aportaron información. Nos enfocamos especialmente en cómo se usaron la evidencia y la argumentación en estas revisiones.

#Contextos Argumentativos

En nuestro estudio, definimos contextos argumentativos como las oraciones relacionadas con las revisiones. Estos contextos pueden estar relacionados con afirmaciones, Razonamientos o evidencia proporcionada en la escritura. Cada tipo de contexto juega un papel en determinar si una revisión mejora el ensayo o no.

Por ejemplo, si una revisión añade una pieza de evidencia, la utilidad de esa evidencia depende de cuán bien se conecta con las afirmaciones ya hechas en la escritura. Para este estudio, nos propusimos definir tres tipos de contextos para nuestros análisis:

1. AC-Afirmación: Contextos que contienen afirmaciones o argumentos hechos por el autor.
2. AC-Razonamiento: Contextos que proporcionan razonamientos para apoyar afirmaciones o evidencia.
3. AC-Evidencia: Contextos que presentan evidencia usada para apoyar o desafiar afirmaciones.

#ChatGPT e Indicaciones

Nuestro enfoque para generar contextos argumentativos implica usar indicaciones con ChatGPT. Nos enfocamos en dos tipos principales de indicaciones: Indicaciones simples, que proporcionan contexto de una vez, e Indicaciones de cadena de pensamiento, que descomponen la tarea en dos pasos.

En las Indicaciones simples, pedimos a ChatGPT que resuma partes específicas de los ensayos en dos oraciones. Esto limita la información a fragmentos relevantes que pueden relacionarse eficazmente con las revisiones.

Las Indicaciones de cadena de pensamiento implican primero extraer oraciones relevantes y luego resumirlas. Este método busca asegurar que los contextos generados sean precisos y directamente relevantes para las revisiones.

#Predicción de la Calidad de las Revisiones

Nuestro objetivo es predecir la calidad de las revisiones basándonos en la relación entre las revisiones y sus contextos. La meta es clasificar las revisiones en categorías de exitosas o fallidas.

Usamos un modelo para procesar el texto y clasificar las revisiones al observar tanto las revisiones como sus contextos asociados. Este enfoque busca ofrecer una forma refinada de medir la efectividad de las revisiones según sus contextos argumentativos.

#Resultados y Análisis

Nuestros experimentos arrojaron resultados positivos, mostrando que los contextos argumentativos que proponemos superaron a los métodos existentes. Los hallazgos indican que usar distintos contextos puede afectar significativamente el éxito de las revisiones.

En particular, notamos que usar contextos de razonamiento fue especialmente beneficioso para predecir la calidad de las revisiones. Las revisiones exitosas a menudo estaban estrechamente vinculadas con razonamientos relevantes que aclaraban su propósito y conexión con otras partes de la escritura.

Además, encontramos que las Indicaciones de cadena de pensamiento generalmente produjeron mejores resultados que las Indicaciones simples. Esto sugiere que enfoques más matizados para generar contextos argumentativos pueden llevar a mejores predicciones de la calidad de la revisión.

#Conclusión

En resumen, nuestro estudio demuestra la importancia de analizar la relación entre contextos argumentativos y la calidad de la revisión en la escritura de los estudiantes. Usar herramientas avanzadas como ChatGPT proporciona un nuevo método para generar contextos que pueden llevar a mejores evaluaciones de las revisiones de escritura.

Nuestra investigación abre nuevos caminos para futuros estudios en el ámbito de la evaluación de la escritura, enfatizando la necesidad de un contexto detallado para entender cómo las revisiones pueden mejorar o restar calidad a la escritura argumentativa. Los resultados sugieren que centrarse en las conexiones entre afirmaciones, evidencia y razonamiento puede llevar a revisiones más efectivas y, en última instancia, mejorar los resultados de escritura de los estudiantes.