AIGCodeSet: Distinguiendo entre código de IA y humano

A medida que la tecnología avanza, también lo hace la forma en que escribimos código. Los grandes modelos de lenguaje (LLMs), un tipo de inteligencia artificial, han facilitado que tanto profesionales como estudiantes generen código rápidamente. Estos sistemas de IA pueden ayudar a los desarrolladores a terminar sus tareas mucho más rápido, lo cual suena genial, pero también levantan algunas dudas en entornos educativos. Muchos educadores se preguntan ahora: "¿Quién escribió realmente ese código?" Para abordar este problema, se ha introducido un nuevo conjunto de datos llamado AIGCodeSet para ayudar a identificar si el código fue generado por IA o por un humano.

#El auge de la IA en la programación

La IA generativa ha revolucionado el mundo de la programación. Según algunos estudios, los desarrolladores pueden completar tareas hasta el doble de rápido cuando usan herramientas de IA. Imagina terminar tu tarea en la mitad del tiempo: suena demasiado bueno para ser verdad, ¿verdad? De hecho, encuestas muestran que algunos desarrolladores sienten un aumento del 33% en su productividad. Para los estudiantes, las herramientas de IA ofrecen una variedad de recursos útiles, como soluciones de ejemplo, formas de resolver problemas, revisiones de código y más.

Sin embargo, no todo es perfecto. Hay preocupaciones sobre la deshonestidad académica, el plagio e incluso vulnerabilidades de seguridad en el código producido por IA. Informes han indicado que el código generado por IA podría estar lleno de errores o problemas de seguridad, lo cual es tan reconfortante como un paraguas con fugas en una tormenta. Depender únicamente de la IA incluso puede hacer que los desarrolladores pierdan sus habilidades de programación o, peor aún, sus trabajos.

#¿Por qué necesitamos AIGCodeSet?

Teniendo en cuenta estas preocupaciones, los investigadores han comenzado a explorar cómo diferenciar entre el código generado por IA y el escrito por humanos. La mayoría del trabajo anterior se centró únicamente en la programación desde cero, mientras que AIGCodeSet busca cubrir varios escenarios, como corregir errores en código ya existente.

Este nuevo conjunto de datos se enfoca específicamente en Python, uno de los lenguajes de programación más populares. AIGCodeSet consiste en una mezcla de Código escrito por humanos y generado por IA, permitiendo a los investigadores examinar las diferencias entre ambos. Este conjunto de datos ha recopilado más de 7,500 muestras de código tomadas de varios problemas, proporcionando una base sólida para futuros estudios.

#Cómo se creó AIGCodeSet

La creación de AIGCodeSet comenzó recopilando problemas de programación y código escrito por humanos de un gran conjunto de datos llamado CodeNet, que contiene millones de ejemplos en diferentes lenguajes de programación. Los investigadores seleccionaron 317 problemas para enfocarse, asegurando una variedad de desafíos por abordar.

De cada problema, tomaron cinco ejemplos de código escrito por humanos, algunos de los cuales eran correctos, mientras que otros tenían errores o producían resultados incorrectos. En total, extrajeron alrededor de 4,755 muestras de código escrito por humanos. Esta selección diversa permite a los investigadores comparar la calidad y el estilo del código generado por IA con el escrito por humanos reales.

#Generando código de IA

Para generar código de IA, los investigadores usaron tres LLMs específicos: CodeLlama, Codestral y Gemini. A cada modelo se le pidió que produjera código de tres maneras diferentes para cada problema:

1. Escribir código desde cero basado en la descripción del problema.
2. Corregir el código escrito por humanos que tenía errores de ejecución.
3. Arreglar código que producía una salida incorrecta.

Después de generar el código de IA, los investigadores revisaron los resultados para filtrar cualquier salida que no fuera relevante, asegurando muestras de alta calidad para el conjunto de datos. Al final, se incluyeron alrededor de 2,828 fragmentos de código generados por IA.

#¿Qué hace que AIGCodeSet sea diferente?

AIGCodeSet se destaca porque cubre una variedad de escenarios que otros conjuntos de datos no han abordado. Mientras que muchos estudios anteriores se centraron únicamente en que la IA generara código desde cero, este conjunto de datos incluye casos donde la IA se utiliza para corregir errores. Eso es un paso adelante para entender cómo se puede utilizar la IA en situaciones de codificación del mundo real.

Además, AIGCodeSet proporciona un recurso valioso para que los investigadores estudien Métodos de detección de código generado por IA. Con su combinación de muestras de humanos y de IA, los investigadores pueden evaluar cuán efectivamente diferentes métodos pueden distinguir entre ambos.

#Probando el conjunto de datos

Para ver cuán bien funciona el conjunto de datos, los investigadores aplicaron varios métodos de detección de código. Entrenaron diferentes modelos y evaluaron su rendimiento en identificar si el código fue escrito por un humano o generado por IA.

Los resultados revelaron que el rendimiento variaba dependiendo de qué LLM se utilizó para generar el código. Algunos modelos funcionaron mejor que otros, pero en general, ciertos métodos para detectar código generado por IA sobresalieron más que otros.

#¿Qué aprendieron los investigadores?

De sus experimentos, los investigadores hicieron algunas observaciones interesantes:

1. Diferentes estilos: El código escrito por humanos generalmente era más largo que el código generado por IA. Algunos modelos de IA tenían más probabilidades de usar funciones, mientras que otros incorporaban más líneas en blanco y comentarios, imitando estilos humanos.

2. Los escenarios importan: La precisión de la detección dependía mucho de si el código de IA fue generado desde cero o si involucraba corregir código humano. Al corregir errores, la IA tiende a imitar de cerca los estilos de codificación humanos, lo que hace más difícil identificarlo.

3. Rendimiento del modelo: El clasificador Bayes fue particularmente efectivo para distinguir entre el código generado por IA y el escrito por humanos. Mientras tanto, uno de los modelos de IA, Gemini, produjo código que se asemejaba mucho al código humano, haciéndolo más difícil de detectar.

#Conclusión

AIGCodeSet es un recurso muy necesario en el paisaje en constante evolución de la programación y la IA. Al proporcionar un conjunto de datos integral que incluye varios escenarios de código generado por IA, los investigadores ahora están mejor equipados para abordar preocupaciones sobre la autoría y la integridad académica. A medida que el uso de la IA se vuelve más prominente, entender cómo identificar contenido generado por IA será crucial.

En el futuro, los investigadores planean expandir AIGCodeSet incluyendo más lenguajes de programación y modelos de IA adicionales. También buscan investigar cómo los usuarios del mundo real, como estudiantes y desarrolladores, utilizan estas herramientas de IA para generar código. Al refinar continuamente el conjunto de datos, la comunidad de investigación espera mantenerse a la vanguardia en este campo que cambia rápidamente.

Así que, la próxima vez que veas un trozo de código en línea, tal vez te preguntes: ¿Es un humano ingenioso, o una IA brillante en acción? Con recursos como AIGCodeSet, podemos empezar a encontrar la respuesta. Y quién sabe, tal vez algún día programar será solo cuestión de decir: "¡Oye, IA, arregla esto por mí!"