Automatizando la Generación de Distractores para Preguntas de Opción Múltiple de Matemáticas

Las Preguntas de opción múltiple (MCQs) se usan mucho en la educación porque son fáciles de dar y calificar. Una parte crucial de las MCQs son los Distractores, que son las opciones incorrectas diseñadas para atrapar errores comunes o malentendidos que tienen los estudiantes. Crear buenos distractores manualmente lleva mucho tiempo para los profesores y creadores de contenido, lo que hace que sea difícil escalar. Este documento explora el uso de modelos de lenguaje grandes (LLMs) para automatizar la creación de estos distractores específicamente para preguntas de matemáticas.

#Importancia de los Distractores en las MCQs

Los distractores en las MCQs son importantes porque están diseñados para reflejar los errores comunes que los estudiantes pueden cometer. Estas respuestas incorrectas pueden elegirse cuando los estudiantes no conocen bien el material para elegir la correcta o tienen conceptos erróneos al respecto. El objetivo es usar los distractores para diferenciar entre los estudiantes que entienden el material y aquellos que no.

Sin embargo, crear distractores de alta calidad manualmente es un trabajo duro. Tienen que ser lo suficientemente realistas como para engañar a los estudiantes, pero no tan erróneos que sean fácilmente identificables. Aunque ha habido investigaciones sobre la generación automática de distractores principalmente para tareas de lectura, no se ha hecho mucho para las MCQs de matemáticas, en gran parte porque los errores en matemáticas no siempre son obvios a partir de un pasaje de texto.

#Enfoques Existentes

Los esfuerzos pasados para generar distractores se han centrado principalmente en el aprendizaje de idiomas y la comprensión lectora. Algunos métodos clasifican posibles distractores en función de cuán similares son al texto, mientras que otros métodos más nuevos utilizan modelos avanzados para crear distractores de alta calidad. Hay una brecha cuando se trata de MCQs de matemáticas, donde los distractores deberían relacionarse con el razonamiento matemático y los errores comunes de los estudiantes. Algunos métodos existentes dependen de plantillas o reglas específicas, pero a menudo no logran capturar la diversa gama de errores que cometen los estudiantes.

#Nuestro Estudio

En este trabajo, tenemos como objetivo generar distractores plausibles para las MCQs de matemáticas utilizando varios métodos basados en LLM. Comparamos diferentes estrategias, incluyendo Aprendizaje en contexto, ajuste fino de modelos y otros enfoques tradicionales. Usamos un conjunto de datos real de MCQs de matemáticas para probar nuestros métodos.

#Definición de la Tarea

Una MCQ consta de varias partes: una pregunta (planteamiento), la respuesta correcta (clave) y distractores. Cada distractor está diseñado para alinearse con los errores comunes que los estudiantes pueden cometer. La tarea es desarrollar una función que pueda producir estos distractores dada la pregunta y la respuesta.

#Resumen de Métodos

1. Aprendizaje en Contexto: Proporcionamos al modelo algunos ejemplos de MCQs similares, lo que le ayuda a generar distractores apropiados.
2. Sugerencias de Cadena de Pensamientos: Este método le pide al modelo que haga una lluvia de ideas sobre posibles errores de los estudiantes antes de crear distractores, usando solo la pregunta como entrada.
3. Ajuste Fino: Ajustamos modelos preentrenados en la tarea específica de generar distractores.
4. Generación Basada en Reglas: Un método donde creamos diferentes versiones de una MCQ usando un conjunto de errores comunes preparados manualmente.
5. Muestreo: Este enfoque muestrea respuestas de modelos entrenados y selecciona las incorrectas como distractores.

#Conjunto de Datos y Evaluación

Usamos un conjunto de datos que consta de 1,400 MCQs relacionadas con conceptos matemáticos dirigidos a estudiantes de 10 a 13 años. Cada pregunta tiene una respuesta correcta y tres distractores basados en los errores de los estudiantes. Dividimos los datos en conjuntos de entrenamiento y prueba.

#Métricas de Evaluación

Para evaluar los distractores generados, utilizamos un conjunto de métricas basadas en alineación, midiendo qué tan cerca están los distractores generados por LLM de los creados por humanos. También probamos una nueva métrica basada en la distribución para ver cuán probable es que un distractor sea elegido por estudiantes reales.

#Resultados

Nuestros resultados muestran que el enfoque de aprendizaje en contexto superó a los demás, generando distractores que coincidían mejor con los creados por humanos. Si bien los modelos podían crear distractores matemáticamente válidos, tenían dificultades para capturar los errores y malentendidos comúnmente vistos en las respuestas de los estudiantes.

#Evaluación Humana

Realizamos una evaluación humana donde expertos valoraron la calidad de los distractores. Encontraron que, aunque los distractores generados por LLM eran matemáticamente correctos, no reflejaban efectivamente los errores que los estudiantes suelen cometer. Los distractores creados por humanos fueron preferidos en general.

#Conclusiones

Este trabajo demuestra que usar LLM para generar distractores en MCQs de matemáticas es posible, pero todavía tiene limitaciones. Los modelos pueden producir respuestas matemáticamente válidas, pero necesitan mejorar en el reconocimiento de los conceptos erróneos comunes de los estudiantes. Sugerimos que este proceso automatizado puede ayudar a los educadores, pero no debería reemplazar la supervisión humana. El trabajo futuro se centrará en perfeccionar los métodos para una mejor precisión y explorar más áreas más allá de solo las MCQs.

#Consideraciones Éticas

Automatizar la generación de distractores puede ahorrar tiempo a los profesores, permitiéndoles enfocarse más en la enseñanza. Sin embargo, no todos los distractores generados serán adecuados, así que alentamos una revisión cuidadosa de los resultados antes de usarlos en pruebas reales.

#Direcciones Futuras

De cara al futuro, nuestro objetivo es mejorar nuestras métricas de evaluación, refinar los modelos utilizados y explorar la creación de distractores vinculados a errores específicos. También planeamos ampliar nuestro trabajo para incluir preguntas abiertas, donde las respuestas de los estudiantes puedan proporcionar más información sobre sus errores.

#Material Suplementario

También consideramos una métrica basada en la distribución para evaluar la calidad de los distractores prediciendo cuáles son los que probablemente elijan los estudiantes. Esto implica entrenar un modelo que compare pares de distractores en función de sus tasas de selección por parte de los estudiantes.

En general, el enfoque automatizado tiene potencial para apoyar a los profesores en la creación de MCQs efectivas, aunque se necesita más trabajo para mejorar su efectividad.