Usando IA para mejorar la educación en programación con datos sintéticos

En el mundo de la enseñanza de la computación, tener datos es tan importante como tener una buena taza de café un lunes por la mañana. Es esencial para entender cómo aprenden los estudiantes, mejorar los sistemas de apoyo y crear mejores herramientas de evaluación. Pero aquí está el truco: no se comparte mucho dato de manera abierta. Esto suele ser por las reglas de privacidad y la presión de asegurar que las identidades de los estudiantes permanezcan ocultas.

#Datos Sintéticos y Modelos de Lenguaje Grande

¡Ahora hay buenas noticias en el horizonte! Modelos de lenguaje grandes (LLMs) como GPT-4o podrían ser los superhéroes que necesitamos. Estos modelos pueden generar grandes cantidades de datos falsos pero realistas que mantienen la privacidad de los estudiantes. Este tipo de datos puede ayudar a los investigadores a abordar problemas en la educación computacional y probar nuevas herramientas de aprendizaje sin el riesgo de revelar secretos de nadie.

#Creando Código Buggy Sintético

Nuestro objetivo era usar LLMs para crear envíos de código buggy sintético para principiantes en Programación. Comparamos cuántas veces estos envíos sintéticos fallaban en comparación con envíos reales de estudiantes de dos cursos diferentes. La meta era ver qué tan bien los datos sintéticos imitan la experiencia real de los estudiantes.

Los resultados mostraron que los LLMs pueden crear código sintético que no es muy diferente de los datos de estudiantes reales en cuanto a la frecuencia con la que el código falla en las pruebas. Esto significa que los LLMs podrían ser una herramienta valiosa para investigadores y educadores, permitiéndoles enfocarse en la enseñanza mientras se preocupan menos por proteger los datos de los estudiantes.

#Ampliando Horizontes en la Educación Computacional

Con el auge de los LLMs, la educación en computación está cambiando de formas que no pensábamos posibles. Estos modelos son fantásticos manejando tareas de programación simples y han demostrado recientemente su capacidad para abordar problemas más complejos también. Mientras es impresionante que pueden generar soluciones correctas, lo que es aún más interesante es que también podrían usarse para crear código incorrecto a propósito.

#La Importancia del Código Incorrecto

Generar código incorrecto podría sonar contradictorio, pero tiene su promesa. El código erróneo puede usarse en ejercicios de depuración, lo que la investigación muestra que ayuda a los estudiantes a aprender mejor. Además, crear conjuntos mixtos de código con soluciones tanto correctas como incorrectas podría ayudar a los educadores a preparar mejores conjuntos de datos para evaluar el trabajo de los estudiantes.

Sin embargo, crear tales conjuntos de datos es complicado. Muchos recursos de educación en programación son escasos debido a estrictas reglas de privacidad. Ahí es donde los LLMs entran en juego, ofreciendo una solución fresca para generar el tipo de datos que los investigadores pueden usar sin comprometer la privacidad de nadie.

#Investigando Estrategias de Inducción

Para obtener los mejores resultados de los LLMs, investigamos varias estrategias para pedirles que generaran código. Nuestra investigación se centró en identificar qué prompts guiarían a estos modelos a crear envíos de código que mejor se asemejen al trabajo real de los estudiantes.

Dirigimos algunos problemas de programación inicial para ver qué tan bien el código generado coincidía con lo que realmente habían hecho los estudiantes. Este estudio utilizó dos lenguajes de programación: C y Dart.

#Contexto y Recopilación de Datos

#Contexto de Programación en C

Primero, recopilamos datos de un curso de introducción a la programación en C de seis semanas en una universidad en Nueva Zelanda. Los estudiantes trabajaron en tareas de codificación de manera individual en un laboratorio, recibiendo retroalimentación inmediata de un sistema automatizado. Después del curso, analizamos los envíos del proyecto final para ver cuántos aprobaban todas las pruebas y cuántos fallaban.

#Contexto de Programación en Dart

A continuación, examinamos diez ejercicios de una plataforma de curso en línea en una universidad en Finlandia. Esto incluyó cursos tanto introductorios como avanzados, con tareas de programación que varían de simples a complejas. Recopilamos los envíos para obtener información sobre el rendimiento de los estudiantes.

#Induciendo a los Modelos

Cuando pedimos al LLM que generara código incorrecto, proporcionamos instrucciones específicas para asegurarnos de que las soluciones generadas tuvieran errores. No queríamos que los modelos produjeran código que simplemente no funcionara; queríamos código que se viera casi correcto pero que tuviera algunos errores.

Creamos tres tipos de prompts: uno sencillo, uno que incluía casos de prueba específicos y otro que ayudaba al modelo a entender la frecuencia de fallos en los casos de prueba. Estas variaciones de prompts tenían como objetivo ver qué tan bien el modelo podía alinear sus salidas con los errores reales de los estudiantes.

#Analizando Resultados

Después de generar 1500 envíos sintéticos, comparamos los resultados. Nos enfocamos particularmente en cuántas veces cada pieza de código pasaba o fallaba las pruebas unitarias. Este análisis nos permitió medir las similitudes y diferencias entre los envíos reales de los estudiantes y los envíos sintéticos del modelo.

#Hallazgos

Encontramos algunas tendencias fascinantes. Para ciertos ejercicios, el modelo luchó para generar errores que solo fallaban parcialmente las pruebas. En contraste, los envíos reales de los estudiantes a menudo mostraban errores más matizados. Esto sugiere que aunque los LLMs pueden generar código defectuoso, no siempre capturan la sutileza de los errores de los estudiantes reales.

Sorprendentemente, al comparar las diferentes estrategias de prompts, no vimos mucha diferencia en las salidas para Dart. Esto significa que no importaba cómo le pidiéramos al modelo, los resultados eran bastante similares. Sin embargo, para C, diferentes prompts llevaron a resultados variados, lo que indica que el modelo podría necesitar más ayuda para generar código que esté más cerca de los envíos reales de los estudiantes.

#La Efectividad de Diferentes Prompts

Curiosamente, los prompts que le daban al LLM información sobre los casos de prueba y las frecuencias de fallo no mejoraron significativamente la calidad del código generado para Dart. Sin embargo, los mismos prompts sí hicieron una diferencia notable para los envíos de C. Esto revela que la efectividad de las estrategias de inducción puede depender del contexto particular de programación.

#Problemas Comunes

Si bien aprendimos mucho sobre la generación de código sintético, enfrentamos algunos desafíos. Nuestro enfoque en el código incorrecto significó que perdimos la oportunidad de ver si el modelo podía producir código correcto y realista también. Dado que muchos envíos de estudiantes pasan todas las pruebas, nuestra investigación solo tocó una parte de sus envíos.

Otro problema fue que las pruebas para algunos ejercicios de Dart no eran muy exhaustivas. Esto podría significar que algunos errores no fueron detectados por las pruebas, lo que hace que nuestro análisis sea un poco incompleto.

#Conclusión: ¿Qué Sigue?

En resumen, nuestra investigación muestra que la IA generativa puede crear envíos de código sintético que son similares a los errores reales de los estudiantes, particularmente en lo que respecta a los fallos en los casos de prueba. Esto abre puertas para que los educadores utilicen datos sintéticos de varias maneras, como para preparar ejercicios de depuración.

Sin embargo, necesitamos explorar más cómo los LLMs pueden imitar los matices del código real de los estudiantes. Investigar la generación de código correcto y otros factores que hacen que los envíos reales sean únicos ofrecerá información más profunda para mejorar la educación en computación.

Con los enfoques adecuados, podríamos ver un futuro donde los educadores aprovechen el poder de la IA para mejorar las experiencias de aprendizaje de los estudiantes mientras mantienen los secretos de todos a salvo. ¡Es como darle una varita mágica a los maestros-sin más preocupaciones sobre la privacidad de los datos mientras esparcen tareas de codificación generadas por IA en sus aulas!