Comparando Modelos de Código Abierto y Propietarios en la Retroalimentación de Programación

Los Modelos de lenguaje grandes (LLMs) son programas de computadora que pueden entender y generar texto parecido al humano. Han cambiado la manera en que pensamos sobre la enseñanza y el aprendizaje, especialmente en Programación. En las clases de programación, es realmente importante que los estudiantes reciban buena retroalimentación sobre su trabajo. Esta retroalimentación les ayuda a aprender y corregir sus errores. Sin embargo, dar retroalimentación detallada puede ser complicado para los profesores, especialmente en clases grandes. Ahí es donde entran los LLMs. Pueden ayudar a proporcionar retroalimentación rápida y útil sobre las tareas de los estudiantes.

En este artículo, analizamos cómo los LLMs de Código abierto se comparan con los modelos Propietarios conocidos en la retroalimentación sobre tareas de programación. Código abierto significa que estos modelos están disponibles para que cualquiera los use y modifique, mientras que los propietarios son de una empresa y pueden tener costos y restricciones. Nuestro principal interés es entender si estos modelos abiertos pueden ofrecer la misma calidad de retroalimentación que los cerrados, sin las complicaciones de preocupaciones de privacidad y costos.

#La Importancia de la Retroalimentación en la Educación en Programación

La retroalimentación es vital para los estudiantes que están aprendiendo programación. Los estudiantes se benefician al saber qué hicieron bien y en qué necesitan mejorar. Algunas retroalimentaciones pueden ser simples, como decirles si su código funciona correctamente. Otros tipos de retroalimentación, como explicar por qué su código tiene errores, requieren más esfuerzo. A los profesores les puede resultar complicado dar explicaciones personalizadas porque esto toma tiempo y esfuerzo.

Usar LLMs puede cambiar esta situación. Estos modelos pueden generar retroalimentación parecida a la humana sobre las tareas de programación al analizar el código escrito por los estudiantes. Pueden ayudar a explicar problemas en el código, sugerir soluciones y mostrar cómo mejorar el código. Muchas de estas herramientas de IA ya se están utilizando en las aulas, facilitando que los educadores proporcionen retroalimentación.

#La Promesa de los Modelos de Lenguaje de Código Abierto

Aunque muchos educadores han utilizado modelos propietarios como ChatGPT, hay preocupaciones sobre la privacidad, los costos y los sesgos que vienen con estos modelos. Al usar modelos propietarios, los datos sensibles de los estudiantes podrían compartirse con terceros, algo que muchos educadores quieren evitar. Los modelos de código abierto, por otro lado, suelen ser gratuitos. Ofrecen flexibilidad y transparencia a los educadores, lo que es esencial en un entorno educativo.

Mientras los modelos de código abierto se vuelven más populares, no ha habido mucha investigación sobre cuán bien funcionan para proporcionar retroalimentación sobre tareas de programación. Este estudio se centra en evaluar su desempeño en comparación con los modelos propietarios para ver si pueden servir como alternativas confiables.

#Evaluando la Generación de Retroalimentación

Para ver cuán bien funcionan los diferentes LLMs, generamos retroalimentación usando varios modelos de código abierto y los comparamos con modelos propietarios. Pedimos a los modelos que proporcionaran explicaciones para errores comunes de programación y sugerencias sobre cómo corregirlos. Se utilizó una colección de tareas de programación para esta evaluación, y analizamos la retroalimentación generada para ver cuán precisa y útil era.

Nos centramos en dos preguntas principales:

1. ¿Qué tan bien generan los LLMs de código abierto retroalimentación sobre errores de codificación y correcciones?
2. ¿Cómo se desempeñan estos modelos de código abierto al evaluar la retroalimentación producida por otros modelos?

Elegimos un conjunto de modelos para nuestra evaluación. Esto incluyó tanto modelos propietarios conocidos como los últimos modelos de código abierto. Observamos varios factores clave, como precisión y claridad, para comparar los diferentes modelos.

#El Conjunto de Datos

Para nuestros experimentos, utilizamos un conjunto específico de tareas de programación centradas en tareas básicas de Python. Cada tarea contenía descripciones, casos de prueba, una solución problemática del estudiante y ejemplos de buenas explicaciones y correcciones. Este conjunto de datos completo nos permitió medir cuán bien los modelos identifican errores y sugieren correcciones.

#Generando Retroalimentación

Cuando probamos los modelos, les pedimos que dieran retroalimentación basada en las tareas de programación. La retroalimentación generada fue luego evaluada según ciertos criterios para ver cuán útil era. Estos criterios incluían:

• Precisión de las explicaciones: ¿Identificó correctamente el modelo los errores en el código?
• Claridad de las explicaciones: ¿Fue la explicación fácil de seguir para alguien que es nuevo en programación?
• Precisión de las correcciones sugeridas: ¿Sugirió el modelo las formas correctas de corregir los problemas identificados?
• Claridad de las correcciones: ¿Fueron las correcciones sugeridas claras y concisas?

Dos evaluadores revisaron toda la retroalimentación generada para calificar estos criterios. Esto nos permitió obtener una imagen clara de cómo se desempeñó cada modelo.

#Resultados de la Generación de Retroalimentación

Nuestro análisis mostró que los modelos de código abierto pueden competir bien con los modelos propietarios, a menudo produciendo retroalimentación de alta calidad. De hecho, algunos modelos de código abierto resultaron ser casi tan buenos como sus contrapartes propietarias, particularmente en la generación de explicaciones y correcciones precisas.

Sin embargo, también descubrimos algunas debilidades. Muchos modelos lucharon por evitar mencionar problemas irrelevantes o inexistentes en su retroalimentación. Esta inclusión excesiva de errores indica que necesitan mejorar su capacidad para enfocarse en los problemas más relevantes.

#Evaluación Automatizada de Retroalimentación

También exploramos formas de evaluar automáticamente la calidad de la retroalimentación generada por los LLMs. Esto se hizo usando otros LLMs como jueces, determinando cuán bien cumplía la retroalimentación con los criterios establecidos. Probamos dos enfoques: usar un solo modelo como juez y usar múltiples modelos en un sistema de jurado.

Los resultados de la evaluación mostraron que tanto los modelos propietarios como los de código abierto exhiben diversas fortalezas y debilidades. Algunos modelos fueron más efectivos en evaluar la calidad de la retroalimentación que otros. Notablemente, encontramos que usar múltiples modelos juntos dio mejores resultados, ya que pudieron corregir y equilibrar los sesgos de cada uno.

#Hallazgos Detallados

#Rendimiento de Modelos de Código Abierto vs. Modelos Propietarios

Cuando analizamos el rendimiento entre modelos de código abierto y propietarios, encontramos que, si bien los modelos propietarios como GPT-4 obtuvieron puntuaciones muy altas en evaluaciones exhaustivas, ciertos modelos de código abierto como Llama3-70B a menudo eran igual de efectivos al juzgar la calidad de la retroalimentación generada.

Curiosamente, el tamaño de un modelo no siempre determinó su efectividad. Algunos modelos más pequeños se desempeñaron sorprendentemente bien en ciertas evaluaciones, mientras que los modelos más grandes ocasionalmente tuvieron dificultades. Por ejemplo, el modelo Phi-3-mini pudo entregar resultados competitivos a pesar de ser más pequeño.

#Fortalezas y Debilidades

Las evaluaciones revelaron patrones específicos. Muchos modelos mostraron un rendimiento fuerte en generar explicaciones y correcciones claras, pero comúnmente lucharon por ser selectivos, lo que significaba que a menudo incluían información irrelevante o innecesaria.

Sin embargo, los modelos exitosos a menudo añadieron sugerencias sobre cómo los estudiantes podrían optimizar su código, mostrando su capacidad para mejorar la experiencia de aprendizaje.

#Corrección de Reparaciones

También medimos cuán a menudo los modelos sugirieron reparaciones correctas. Las puntuaciones más altas en esta categoría se observaron con modelos propietarios, pero algunos modelos de código abierto también sobresalieron. Curiosamente, no hubo una correlación clara entre la calidad de las explicaciones y la corrección de las reparaciones, demostrando que incluso buenas explicaciones no siempre conducen a sugerencias precisas para arreglos.

#Evaluando el Juicio de la Retroalimentación

Evaluamos cuán efectivamente los diferentes modelos de lenguaje podían evaluar la retroalimentación generada por sus pares. Este proceso de evaluación destacó las diferencias de desempeño entre los modelos al juzgar sus propias salidas frente a las de otros modelos.

Generalmente, los modelos fueron más efectivos en evaluar la retroalimentación de otros. Esta tendencia sugiere que los sesgos a menudo distorsionan sus autoevaluaciones, llevándolos a ser demasiado positivos sobre sus propias salidas.

#Modelos Conjuntos y Su Efectividad

También examinamos la idea de usar conjuntos de modelos, o grupos de modelos trabajando juntos, para ver si esto daría mejores resultados de juicio. Desafortunadamente, encontramos que simplemente combinar modelos no llevó a un mejor rendimiento en la evaluación de la calidad de la retroalimentación.

Esto podría deberse a las diferencias en cómo los modelos interpretan las instrucciones y producen sus evaluaciones. Por lo tanto, usar un solo juez fuerte a menudo demostró ser más efectivo que depender de una mezcla de modelos que pueden no trabajar bien juntos.

#Implicaciones para la Enseñanza y el Aprendizaje

Los hallazgos de esta investigación tienen implicaciones significativas para los educadores. Los modelos de código abierto, especialmente aquellos que se desempeñaron bien en nuestro estudio, representan un recurso valioso para enseñar programación. Estos modelos no solo son rentables, sino que también promueven la transparencia y la confianza, factores clave en entornos educativos.

Los educadores podrían usar modelos propietarios como GPT-3.5 para generar retroalimentación mientras confían en modelos de código abierto como Llama3-70B para evaluar la calidad de esa retroalimentación. Este enfoque podría ahorrar costos y garantizar mejores resultados para los estudiantes.

#Limitaciones del Estudio

Si bien los resultados son prometedores, hay algunas limitaciones. La elección de tareas se centró solo en programación básica de Python, y los tipos de retroalimentación se limitaron a definiciones de errores y soluciones. Además, los criterios de evaluación se establecieron usando un pequeño equipo de evaluadores, lo que puede no capturar perfectamente cómo todos los estudiantes perciben la claridad.

También es importante notar que nuestros prompts influyeron en las respuestas de los modelos. Diferentes formas de hacer preguntas podrían llevar a resultados variados, lo que mantiene la investigación abierta para más exploración.

#Direcciones Futuras

Hacia adelante, el enfoque será mejorar los métodos de evaluación para varios tipos de retroalimentación a través de diferentes lenguajes de programación. Planeamos expandir el conjunto de datos de referencia para incluir tipos adicionales de pistas y mecanismos de apoyo para los estudiantes. Esto nos ayudará a entender cómo los modelos pueden servir como asistentes educativos efectivos.

Además, buscamos mejorar modelos más pequeños utilizando técnicas de entrenamiento avanzadas. Abordar debilidades como la selectividad puede llevar a avances aún mayores en cuán efectivos pueden ser estas herramientas para el aprendizaje.

#Conclusión

Nuestro estudio muestra que los modelos de lenguaje de código abierto pueden proporcionar retroalimentación de alta calidad sobre tareas de programación, lo que los convierte en herramientas valiosas para los educadores. A medida que estos modelos se vuelven más ampliamente disponibles, ofrecen opciones inclusivas para instituciones con recursos limitados.

Al usar una combinación de modelos de código abierto y propietarios, los educadores pueden fomentar un mejor entorno de aprendizaje para los estudiantes. A medida que la investigación continúa y estos modelos mejoran, el potencial para usar IA en la educación solo crecerá.