El desafío de usar LLMs para infraestructura como código

En el mundo del desarrollo de software, se habla mucho de herramientas que ayudan a los desarrolladores a hacer su trabajo mejor y más rápido. Una de estas herramientas se llama Modelos de Lenguaje Grande (LLMs), que pueden ayudar a escribir código para varias tareas. Sin embargo, aunque los LLMs pueden ayudar con la generación de código real, no han logrado manejar las tareas que lo rodean, especialmente cuando se trata de configurar la infraestructura que apoya este código. Puedes pensar en ello como tener un gran chef pero sin cocina para cocinar; ¡es bastante difícil servir esas comidas ricas sin un lugar para prepararlas!

Entonces, ¿cuál es el problema? Este artículo profundiza en cómo los LLMs pueden construir infraestructura usando algo llamado Infraestructura como Código (IaC). Vamos a dar un paso atrás y ver qué significa eso. IaC es una forma de gestionar los recursos en la nube a través de código. Si alguna vez has deseado que configurar servidores y almacenamiento fuera tan fácil como escribir una receta, eso es básicamente lo que hace IaC. Permite a los desarrolladores escribir código para configurar sus recursos en la nube automáticamente, asegurando que todo sea consistente y fácil de gestionar.

#El Problema con la Generación de Código

Ahora, aunque IaC ha avanzado increíblemente en cómo gestionamos la infraestructura en la nube, escribir el código correcto sigue siendo un reto. Imagina intentar armar muebles de IKEA sin el manual de instrucciones; será un lío confuso de madera y tornillos. De manera similar, cuando los desarrolladores escriben código IaC, a menudo se topan con problemas debido a las reglas complejas que rigen los recursos en la nube.

Lo interesante es que, aunque los LLMs han facilitado la vida de los programadores, ayudándolos con tareas complejas y reduciendo el tiempo que les lleva escribir código, aún luchan por generar el código IaC correcto. Si los LLMs pueden ayudar con código normal, ¿por qué no con IaC? Eso es lo que estamos aquí para investigar.

#El Sistema de Retroalimentación

Se nos ocurrió una idea: ¿qué tal si creamos un ciclo de retroalimentación que permita a un LLM aprender de sus errores al generar código IaC? Esto significa que cada vez que el LLM crea un trozo de código, lo revisaríamos en busca de errores y le daríamos retroalimentación. Si lo piensas, es como un profesor calificando la tarea de un estudiante; el estudiante aprende y mejora con el tiempo.

Para nuestro estudio, nos enfocamos en generar código de AWS CloudFormation, un tipo específico de IaC. AWS CloudFormation ayuda a los desarrolladores a configurar recursos en la nube a través de código, como usar una receta para hornear un pastel.

Para poner este sistema a prueba, comenzamos con una serie de indicaciones que describen problemas comunes de IaC. Hicimos que el LLM generara soluciones y luego esas soluciones las pasamos por una herramienta llamada cfn-lint. Esta herramienta revisa el código en busca de errores, como un corrector ortográfico para la escritura. Después de revisar el código, proporcionamos la retroalimentación al LLM para que pudiera ajustarse y volver a intentarlo.

#Resultados del Ciclo de Retroalimentación

Los resultados fueron fascinantes. Descubrimos que, aunque el ciclo de retroalimentación ayudó, el LLM se estancó después de unas pocas rondas. Imagina a un atleta que sigue practicando el mismo movimiento pero no puede lograrlo; eventualmente, simplemente llega a un meseta. Eso es lo que vimos aquí: la efectividad del LLM para corregir errores disminuyó después de cierto punto y se niveló.

Nuestros ensayos mostraron que después de unas cinco iteraciones, el LLM ya no estaba haciendo mejoras significativas. En ese momento, era como intentar enseñarle a un gato a traer cosas; lindo, pero no muy productivo. El LLM luchó por entender ciertos mensajes de error, lo que resultó en que creara nuevos errores mientras intentaba arreglar los antiguos.

#La Importancia del Código Correcto

Cuando se trata de generar IaC, no solo es importante tener un código que se vea bien; también tiene que funcionar. Ahí es donde está el desafío. Incluso si el código pasa la revisión de cfn-lint, puede que no haga lo que el usuario realmente necesita. Es como construir un auto elegante que no puede conducir; no importa cuán bien esté hecho si no cumple su propósito.

Esto nos lleva al concepto de Validez Semántica. En pocas palabras, significa que el código no solo debe estar libre de errores, sino que también debe hacer lo que el usuario quiere. Por ejemplo, una configuración de recurso en la nube perfectamente estructurada pero vacía no sería útil en absoluto. Los desarrolladores deben asegurarse de que el código generado cumpla con sus necesidades específicas, no solo con los requisitos técnicos.

#Aprendiendo de Otros Estudios

Ha habido otros estudios en este campo, explorando cómo los LLMs pueden ayudar a generar IaC efectiva. Un proyecto interesante se centró en usar reglas gramaticales para mejorar las salidas de los LLMs y reducir errores de sintaxis. Piensa en ello como darle al LLM un conjunto de reglas a seguir; algo así como darle a un niño un conjunto de instrucciones para construir un set de Lego.

Otro enfoque investigó cómo corregir errores de sintaxis en el código. Un marco consiguió una tasa de éxito significativa en corregir errores encontrados en el código generado; como tener un superhéroe que aparece para salvar el día cuando las cosas salen mal. Sin embargo, el desafío sigue, porque incluso con estas herramientas, los LLMs aún tienen un largo camino por recorrer en términos de ser confiables para los desarrolladores.

#Las Limitaciones de los LLMs

A pesar de sus capacidades, los LLMs aún enfrentan serias limitaciones cuando se trata de generar código IaC de manera confiable. El primer problema es que no todos los LLMs funcionan de la misma manera. Algunos pueden ser mejores que otros para entender la infraestructura en la nube, pero ninguno es perfecto aún. Es como querer una pizza de diferentes restaurantes; a veces recibes una rebanada excelente y otras veces es un desastre empapado.

Otro problema es que el tipo de herramienta de infraestructura que se utiliza puede impactar el rendimiento del LLM. Por ejemplo, AWS CloudFormation está bien documentado, lo que facilita a los LLMs aprender de datos existentes. Sin embargo, si tuviéramos que probar otra herramienta menos conocida, probablemente veríamos una caída en rendimiento debido a la falta de datos de entrenamiento disponibles.

#Direcciones Futuras

Entonces, ¿qué sigue para nosotros en este viaje de LLMs e IaC? Un camino potencial es rediseñar los mensajes de error para que sean más claros para los LLMs. Si podemos adaptar la retroalimentación de tal manera que los modelos puedan entenderla mejor, podría conducir a correcciones más precisas y hacer que todo el proceso sea más fluido.

También vemos potencial en desarrollar nuevas herramientas que verifiquen no solo la validez del esquema, sino también la validez semántica. Tener una herramienta como cfn-lint que evalúe qué tan bien la infraestructura generada cumple con las necesidades del usuario sería un cambio de juego.

Y no olvidemos otras herramientas de IaC como Pulumi, que permiten a los desarrolladores usar sus lenguajes de programación favoritos. Podríamos explorar cómo podemos usar estas herramientas junto con los LLMs e integrar ciclos de retroalimentación en la mezcla.

#Conclusión

En resumen, aunque los LLMs tienen el potencial de ayudar a generar IaC, aún necesitan mejoras. Nuestra experiencia mostró que, aunque los ciclos de retroalimentación pueden ofrecer algunos beneficios, también pueden encontrar limitaciones que les impiden ser completamente efectivos. Es un trabajo en progreso, muy parecido a intentar entrenar a un cachorro; divertido, lindo y un poco desordenado a veces.

Con algunos ajustes en los mensajes de error y mejores herramientas para asegurar la corrección, podríamos ver un futuro donde los LLMs jueguen un papel crucial en la automatización de la configuración de infraestructura. Hasta entonces, es probable que los desarrolladores continúen luchando con esta área compleja, buscando mejores formas de optimizar su trabajo y configurar las cosas correctamente.