Comparando la generación de código por IA: GPT-3.5 vs. Bard

La inteligencia artificial (IA) ha avanzado bastante en los últimos años, sobre todo en cómo entiende y genera el lenguaje humano. Con el auge de modelos de IA más avanzados, se ha buscado ver qué tan bien pueden realizar tareas específicas, incluyendo la Generación de Código. Este artículo se centra en dos modelos de IA, GPT-3.5 y Bard, y su capacidad para crear código Java a partir de descripciones de funciones.

#Propósito del Estudio

El objetivo de este estudio es comparar las habilidades de GPT-3.5 y Bard en generar código Java basándose en descripciones de funciones. Para esto, usamos descripciones de un sitio web llamado CodingBat, que ofrece varios problemas de programación para que los aprendices practiquen.

#Hallazgos Previos

En estudios anteriores, los investigadores han analizado qué tan bien los modelos de IA pueden razonar sobre problemas matemáticos. Estos estudios a menudo mostraron que los modelos GPT se desempeñan mejor que otros a la hora de responder preguntas, incluso en campos especializados como la medicina. Además, pruebas anteriores evaluaron cómo estos modelos se desenvuelven en exámenes complejos, mostrando buenos resultados.

#Cómo Funcionan los Modelos

El modelo GPT-3.5 forma parte de una familia más grande de modelos de IA conocidos como Transformadores Generativos Preentrenados. Este modelo está diseñado para predecir texto y ha sido entrenado con una amplia variedad de textos de internet. Tiene 175 mil millones de parámetros, lo que le permite crear respuestas coherentes y significativas. Sin embargo, realmente no entiende el contenido; se basa en patrones aprendidos durante su entrenamiento.

Bard es otro modelo de IA avanzado que destaca en la generación de lenguaje natural. Aunque no tenemos todos los detalles sobre cómo funciona Bard, ha mostrado un buen desempeño en tareas que implican comprensión y generación de lenguaje. Al igual que GPT-3.5, Bard también genera respuestas basándose en patrones en los datos de entrenamiento.

#Resumen de CodingBat

CodingBat es una plataforma en línea útil que proporciona problemas de codificación principalmente en Java y Python. Incluye una variedad de problemas que varían en dificultad y cubren muchos conceptos de programación. Los usuarios pueden verificar sus soluciones en tiempo real, lo que permite una retroalimentación inmediata.

#Alcance de la Investigación

En este estudio, nos centramos en las habilidades de generación de código de GPT-3.5 y Bard utilizando descripciones de funciones de cinco secciones de CodingBat. Cada sección representó un nivel diferente de complejidad y tema en la programación. Las cinco secciones incluyeron:

1. Warmup: Estas son funciones básicas de Java que prueban habilidades de programación fundamental.

2. String-3: Esta sección presenta problemas de cadenas más difíciles que a menudo requieren el uso de bucles.

3. Array-3: Esta sección presenta problemas de arreglos más complejos que también involucran bucles y lógica complicada.

4. Functional-2: Estas tareas implican usar lambdas en Java para filtrar y mapear listas, lo que prueba habilidades de programación funcional.

5. Recursion-2: Esta sección contiene problemas más difíciles que requieren pensar recursivamente, haciéndolos especialmente desafiantes.

Recopilamos todas las descripciones de funciones de estas secciones y las usamos como indicaciones para que tanto GPT-3.5 como Bard generaran código Java. Después de recibir el código generado, lo evaluamos para verificar su corrección usando las pruebas proporcionadas por CodingBat.

#Comparación de Rendimiento

Los resultados mostraron diferencias notables en el rendimiento de los dos modelos de IA a través de las diferentes secciones de problemas.

#Sección Warmup

En la sección Warmup, GPT-3.5 pudo generar código Java correcto para todas las descripciones de funciones. Sin embargo, Bard tuvo problemas con algunas funciones, resultando en código incorrecto para varios indicios.

#Sección String-3

La sección String-3 involucró manipulación de cadenas más compleja. GPT-3.5 fue nuevamente el mejor, con soluciones correctas para casi todas las descripciones. Bard, por su parte, solo logró generar código correcto para un par de problemas.

#Sección Array-3

En la sección Array-3, que presentaba problemas más difíciles de arreglos, GPT-3.5 mostró resultados significativamente mejores en comparación con Bard. Bard no pudo producir código correcto para ninguno de los problemas en esta sección, destacando los desafíos que enfrentó con tareas complejas.

#Sección Functional-2

Ambos modelos lo hicieron bien en la sección Functional-2, generando código correcto para todas las descripciones de funciones. Esto sugiere una fortaleza compartida en el manejo de conceptos de programación funcional.

#Sección Recursion-2

En la sección Recursion-2, GPT-3.5 nuevamente superó a Bard. Generó código correcto para la mayoría de las funciones proporcionadas, mientras que Bard solo logró producir código correcto para un problema y tuvo dificultades con las tareas restantes.

#Desempeño General

En general, GPT-3.5 tuvo una tasa de corrección de aproximadamente 90.6%, mientras que la tasa de corrección de Bard fue solo del 53.1%. Esto muestra que GPT-3.5 tiene una mejor capacidad para generar código Java correcto a partir de varias descripciones de funciones.

#Representación Gráfica

Cuando miramos el rendimiento visualmente, los resultados mostraron a GPT-3.5 desempeñándose consistentemente bien en varias categorías, especialmente en tareas de Warmup y Functional. El rendimiento de Bard varió más, haciéndolo bien en tareas más simples mientras enfrentaba dificultades significativas con problemas más complejos.

#Análisis Estadístico

Para entender mejor las diferencias entre los dos modelos, utilizamos una prueba estadística llamada prueba de McNemar. Esta prueba ayuda a determinar si hay diferencias significativas en las tasas de éxito de los dos modelos. Los resultados de esta prueba mostraron una clara diferencia, confirmando que GPT-3.5 tiene una tasa de éxito más alta en la generación de código Java correcto en comparación con Bard.

#Examinando Errores

Para ilustrar las diferencias, miramos un ejemplo específico donde Bard generó código incorrecto para una función llamada front3. La tarea era crear una nueva cadena compuesta por tres copias de los primeros tres caracteres de una cadena dada. La solución de Bard no fue correcta, mientras que GPT-3.5 produjo la salida correcta.

#Validez del Estudio

Como con cualquier investigación, hay preocupaciones sobre la validez de los resultados.

#Validez Interna

Una preocupación es que el estudio solo verifica la corrección basándose en las pruebas de CodingBat. Esto significa que el código podría comportarse diferente con otros inputs. Además, si los casos de prueba son incompletos, podría afectar la evaluación.

#Validez Externa

En cuanto a la validez externa, las descripciones de funciones están limitadas a problemas de Java en CodingBat. Los hallazgos pueden no aplicarse a otros lenguajes de programación o tareas más complejas.

#Validez de Constructo

Este estudio solo considera la corrección del código generado, no otros aspectos importantes como la eficiencia o la legibilidad. Esta limitación significa que no podemos evaluar completamente la calidad del código creado por los modelos de IA.

#Direcciones para Futuras Investigaciones

Esta comparación proporciona un punto de partida para entender cómo se desempeñan los modelos de IA en la generación de código. Investigaciones futuras podrían expandirse sobre esto al considerar varios factores, como:

• Evaluar el código no solo por corrección, sino también por eficiencia y legibilidad.
• Probar los modelos en otros lenguajes de programación y tipos más amplios de problemas.
• Realizar estudios a lo largo del tiempo para ver cómo los modelos mejoran a medida que evolucionan.

#Conclusión

En resumen, se compararon GPT-3.5 y Bard en función de su capacidad para generar código Java a partir de descripciones de funciones. GPT-3.5 superó a Bard en casi todas las categorías, con una tasa de corrección del 90.6% frente al 53.1% de Bard. Ambos modelos mostraron debilidades cuando se enfrentaron a problemas más complejos, subrayando la necesidad de seguir mejorando en la generación de código por parte de la IA. Este análisis sirve como una base útil para futuros estudios que buscan comprender mejor las capacidades de la IA en tareas de programación. A través de la investigación continua, podríamos mejorar estos modelos, haciéndolos más confiables para ayudar en tareas de codificación y mejorar la productividad en el desarrollo de software.