Presentamos RepairBench: Un Nuevo Estándar para la Evaluación de Reparación de Programas de IA

La IA tiene un papel cada vez más importante en arreglar errores de software de forma automática. Este proceso se llama reparación de programas, donde modelos de IA crean soluciones o "parches" para problemas de software. A medida que la tecnología avanza, es importante seguir el rendimiento de estos modelos de IA. Para lograr esto, presentamos un nuevo sistema llamado RepairBench.

#¿Qué es RepairBench?

RepairBench es una tabla de clasificación diseñada para evaluar y comparar el rendimiento de diferentes modelos de IA en la reparación de programas. Se destaca porque:

1. Basado en Ejecución: Todos los parches creados por los modelos se prueban ejecutándolos en escenarios del mundo real.
2. Evaluaciones Regulares: La tabla de clasificación se actualiza con frecuencia para reflejar los últimos modelos de IA y su rendimiento.

RepairBench utiliza dos conjuntos de datos importantes, conocidos como benchmarks, para evaluar los modelos. Estos benchmarks están basados en errores de software reales. De esta manera, se asegura que la evaluación sea relevante y precisa.

#¿Por qué necesitamos RepairBench?

En los últimos años, los modelos de IA utilizados para la reparación de programas han mejorado rápidamente. Sin embargo, los métodos actuales para evaluar estos modelos no están a la altura de este ritmo acelerado. A menudo se pierden detalles importantes sobre cómo se desempeñan los modelos con el tiempo. RepairBench busca llenar este vacío proporcionando una forma consistente de medir y comparar estos modelos.

#Características Clave de RepairBench

RepairBench se centra en dos benchmarks principales:

1. Defects4J: Una colección bien conocida de errores del mundo real encontrados en varios proyectos de Java.
2. GitBug-Java: Una nueva colección de errores de 2023, específicamente diseñada para evitar problemas relacionados con la fuga de benchmark, que puede llevar a resultados distorsionados.

RepairBench solo incluye errores reales encontrados en software funcional. Así, los modelos se ponen a prueba en situaciones que probablemente encontrarían en el desarrollo de software real.

#Cómo Funciona RepairBench

RepairBench evalúa modelos basándose en dos medidas clave:

1. AST Match@1: Esto verifica si el código producido por el modelo coincide con la estructura de una solución hecha por un desarrollador humano.
2. Plausible@1: Esto prueba si la solución funciona correctamente al ejecutarla contra un conjunto de pruebas.

La segunda medida, Plausible@1, es la principal forma de clasificar los modelos. Se enfatiza la capacidad de producir código funcional.

#El Proceso de Evaluación

RepairBench utiliza un método estricto para evaluar cómo los modelos rinden al arreglar errores. Esto incluye los siguientes pasos:

• Seleccionar Modelos: Solo se consideran modelos que estén a la vanguardia y que hayan probado sus habilidades en otros sistemas. También deben ser accesibles para el equipo de RepairBench.
• Elegir Benchmarks: Los benchmarks utilizados deben cumplir requisitos específicos, como contar con errores reales de software efectivo. Esto asegura relevancia y fiabilidad.
• Usar un Prompt Consistente: Cada modelo recibe la misma configuración de prompt al tratar de arreglar un error. Este prompt incluye detalles sobre el código defectuoso existente, las pruebas que fallan y los mensajes de error relevantes.

Al mantener los prompts consistentes, RepairBench facilita la comparación del rendimiento de cada modelo.

#Los Detalles del Prompt de Arreglo de Errores

El prompt proporcionado a los modelos tiene componentes esenciales que los guían en la corrección del código:

• El fragmento de código que contiene el error.
• Las pruebas que fallan cuando se ejecuta el código defectuoso.
• Mensajes de error que explican qué salió mal.

Esta información ayuda a los modelos a entender qué necesita ser corregido.

#Consideraciones de Coste

Evaluar modelos de IA puede ser caro. RepairBench limita su presupuesto para asegurar un uso eficiente de los recursos. La evaluación de cada error no debe costar más de una cantidad específica. Si el coste de un modelo excede este límite, no se evaluará.

El equipo de RepairBench cubre los costos asociados con la realización de evaluaciones y asegura que los modelos funcionen en infraestructura local. También aceptan patrocinio de proveedores de modelos para ayudar a financiar estas evaluaciones sin preocuparse por limitaciones presupuestarias.

#Importancia de la Corrección

Cuando se trata de reparación de programas, el objetivo principal es crear una versión del software que funcione correctamente. Esto significa arreglar el error sin causar nuevos problemas. RepairBench evalúa modelos en múltiples factores para asegurar que los parches generados sean precisos.

Los parches creados por los modelos deben:

• Compilar correctamente.
• Pasar todas las pruebas para confirmar que la solución funciona.

RepairBench prioriza un enfoque metódico para asegurar que las evaluaciones sean justas y fiables.

#Tipos de Métricas Utilizadas

RepairBench emplea dos métricas principales para medir el rendimiento del modelo:

1. Plausible@1: Esta métrica comprueba la probabilidad de que el primer parche generado por el modelo pase todas las pruebas.
2. AST Match@1: Esto mide si el primer parche tiene la misma estructura que una solución escrita por un desarrollador humano.

Se espera que los modelos se desempeñen bien en ambas métricas. Una puntuación más alta indica un rendimiento más fuerte.

#Manejo de Fugas de Benchmark

Un desafío en la evaluación de modelos de IA es asegurarse de que los benchmarks utilizados sean justos. Si un modelo ha visto datos de prueba antes, su rendimiento puede parecer mejor de lo que realmente es. Esto se conoce como fuga de benchmark. RepairBench intenta minimizar este riesgo incluyendo benchmarks más nuevos que presenten errores recientes.

#Comparación con Otros Benchmarks

Existen muchos benchmarks para evaluar modelos de IA en varios campos. Sin embargo, la mayoría no aborda específicamente la tarea de reparar programas. RepairBench llena este vacío al centrarse exclusivamente en solucionar problemas de software del mundo real.

Los programas que implican ejecutar código son vitales en estos benchmarks. RepairBench se basa en esta idea, asegurando que todas las tareas involucren programas del mundo real.

#Mejoras Futuras

RepairBench está diseñado para evolucionar con el tiempo. El equipo planea introducir nuevos benchmarks y actualizar la tabla de clasificación durante al menos los próximos tres años. A medida que se lancen nuevos modelos de IA, serán evaluados e incluidos en RepairBench, manteniendo la tabla de clasificación actualizada.

#Conclusión

RepairBench representa un avance significativo en la evaluación de la reparación de programas impulsada por IA. Al centrarse en errores del mundo real y utilizar un marco de evaluación consistente, permite una mejor comprensión de cuán bien se desempeñan diferentes modelos. A medida que el campo de la IA continúa creciendo y cambiando, RepairBench ayudará a seguir el progreso y la efectividad de varios enfoques para arreglar errores de software. Esto mantiene a los desarrolladores informados y ayuda a mejorar la calidad general del software mediante el uso efectivo de la tecnología de IA.