Evaluando la capacidad de ChatGPT para generar diagramas UML

Crear modelos a partir de requisitos en lenguaje natural (NL) puede ayudar a las personas involucradas en un proyecto a comunicarse mejor y planificar el diseño de un sistema. Sin embargo, hacer estos modelos suele llevar mucho tiempo y esfuerzo. Nuevas herramientas, como los modelos de lenguaje generativos (LLMs), pueden ayudar a automatizar este proceso. Un ejemplo conocido es ChatGPT. Este artículo analiza qué tan bien ChatGPT puede crear un tipo específico de modelo llamado diagramas de secuencia UML a partir de requisitos en NL.

#La Importancia de los Modelos Gráficos

Los modelos gráficos son herramientas útiles que pueden ayudar a las personas involucradas en un proyecto a entender y hablar sobre lo que se necesita de un sistema. Aunque muchos requisitos se escriben en lenguaje natural, agregar modelos gráficos aclara los detalles y facilita que todos estén en la misma sintonía. Pero, crear estos modelos a partir del texto requiere un trabajo manual significativo.

#El Papel del Procesamiento de Lenguaje Natural

Las herramientas de procesamiento de lenguaje natural (NLP) pueden ayudar a que los ingenieros de requisitos generen modelos más fácilmente. Estas herramientas pueden crear automáticamente representaciones gráficas que ayudan a visualizar lo que el sistema debería hacer. Los diagramas UML, que incluyen tanto modelos estructurales (como diagramas de clases) como de comportamiento (como diagramas de secuencia), son comúnmente usados en este ámbito.

#Desafíos en la Automatización de la Generación de Modelos

Tradicionalmente, crear diagramas UML a partir de requisitos se ha basado en métodos de NLP basados en reglas. Si bien estos métodos pueden dar resultados útiles, a menudo requieren una entrada manual pesada y pueden ser difíciles de adaptar a diferentes situaciones. Los avances recientes en NLP y LLMs generativos pueden ayudar a superar estos desafíos. Los LLMs están entrenados en grandes conjuntos de datos y pueden entender el lenguaje natural hasta cierto punto, lo que podría permitir una generación de modelos más rápida con menos esfuerzo humano.

#Propósito del Estudio

Este estudio tiene como objetivo evaluar qué tan bien puede producir ChatGPT diagramas de secuencia UML basados en requisitos en NL. Los diagramas de secuencia son esenciales porque ilustran las interacciones entre diferentes componentes de un sistema a lo largo del tiempo. Ayudan a aclarar comportamientos dinámicos que son diferentes de representaciones estáticas como los diagramas de clases. Investigaciones anteriores se han centrado más en diagramas de clases y modelos de objetivos, por lo que este estudio se enfoca específicamente en diagramas de secuencia.

#Diseño y Enfoque de la Investigación

Para evaluar la capacidad de ChatGPT en generar diagramas de secuencia, un grupo de tres investigadores con experiencia en Ingeniería de Requisitos y NLP llevó a cabo un estudio exploratorio. Usaron 28 documentos de requisitos diferentes que variaban en formato y contenido. Estos documentos incluían declaraciones tradicionales de "debe", historias de usuario y especificaciones de casos de uso.

Los investigadores también introdujeron cambios a los requisitos para simular desafíos del mundo real. Observaron qué tan bien podía manejar ChatGPT problemas comunes relacionados con requisitos poco claros, como ambigüedad o inconsistencia. Cada diagrama generado fue luego criticado según varios criterios.

#Criterios de Evaluación

Los investigadores utilizaron criterios específicos para juzgar la calidad de los diagramas producidos por ChatGPT. Estos criterios incluían:

1. Completitud: ¿Cubrió el diagrama todos los requisitos conocidos?
2. Corrección: ¿Era el comportamiento representado consistente con los requisitos?
3. Adhesión a Normas: ¿Siguió el diagrama el formato y las reglas estándar para UML?
4. Comprensibilidad: ¿Podría un no experto entender el modelo fácilmente?
5. Alineación Terminológica: ¿Coincidían los términos utilizados en los diagramas con los requisitos originales?

#Recolección de Datos

Los investigadores recolectaron 28 documentos de requisitos diferentes cubriendo una variedad de dominios como salud, seguridad y transporte. Trabajaron con requisitos que son típicos en varias industrias, buscando asegurar que el estudio refleje situaciones del mundo real.

Para cada documento de requisitos, el equipo extrajo un subconjunto que pudiera ser representado como un diagrama de secuencia. También crearon variaciones de cada requisito para probar a ChatGPT en diferentes condiciones. El objetivo era ver cómo lidiaba con desafíos como requisitos poco claros o incompletos.

#Proceso de Generación de Diagramas

Para generar los diagramas de secuencia, los investigadores le dieron a ChatGPT una instrucción específica: "Genera un diagrama de secuencia a partir de estos requisitos para que pueda proporcionárselo a Planttext para visualizarlo." Planttext es una herramienta que ayuda a visualizar diagramas UML de manera sencilla. Los diagramas generados sirvieron como un punto de partida para la evaluación.

#Metodología de Análisis

Cada diagrama generado fue examinado de manera independiente por dos investigadores. Asignaron puntuaciones basándose en los criterios establecidos y anotaron sus observaciones en registros de evaluación. Un tercer investigador analizó más tarde estos registros para identificar problemas comunes en los diagramas producidos por ChatGPT.

Este enfoque estructurado buscó producir una clara comprensión de qué tan bien se desempeña ChatGPT en la generación de diagramas de secuencia, centrándose en la calidad y problemas de las salidas generadas.

#Resultados de la Evaluación

#Calidad de los Diagramas

En general, la evaluación mostró que, aunque los diagramas producidos por ChatGPT tenían algunas fortalezas, también mostraron debilidades significativas. Los diagramas tendieron a puntuar bien en completitud, comprensibilidad y adherencia a normas. Esto significa que generalmente incluían todos los elementos necesarios y eran claros hasta cierto punto.

Sin embargo, el estudio reveló problemas sustanciales con la corrección. Muchos diagramas no se alinearon completamente con los requisitos originales. Específicamente, elementos faltantes o incorrectos aparecieron a menudo dentro de los diagramas, y los problemas se hicieron más evidentes cuando los requisitos originales eran ambiguos o inconsistentes.

#Problemas Identificados

A través de un análisis temático de los registros de evaluación, se identificaron varias áreas problemáticas:

1. Problemas de Resumen: ChatGPT a veces simplificó demasiado o pasó por alto detalles importantes en los requisitos. Esto llevó a componentes o información faltante en los diagramas generados.

2. Terminología Inconsistente: El lenguaje utilizado en los diagramas no siempre era consistente con el de los requisitos originales, lo que complicaba rastrear de vuelta al texto inicial.

3. Falta de Conocimiento del Dominio: Los modelos generados ocasionalmente pasaron por alto detalles específicos que requerían conocimiento especializado del dominio, lo que llevó a inexactitudes.

4. Errores en la Estructura: Hubo casos en los que el orden de las operaciones era incorrecto, lo que podría confundir a los interesados que intentaban entender el comportamiento del sistema.

5. Problemas de Precisión: ChatGPT tuvo dificultades para manejar información numérica o de tiempo, que a menudo es crítica en los requisitos. A veces los diagramas ignoraron estos aspectos por completo.

6. Desafíos de Trazabilidad: No siempre fue sencillo vincular los diagramas a los requisitos específicos en los que se basaron, lo que hacía que los diagramas fueran menos útiles en la práctica.

#Implicaciones para la Práctica

Los hallazgos de este estudio destacan los beneficios y desafíos potenciales de usar LLMs como ChatGPT en el proceso de ingeniería de requisitos. Aunque estas herramientas pueden generar diagramas valiosos que ayuden en la comunicación, es crucial considerar cuidadosamente las salidas generadas.

#Necesidad de Supervisión Humana

Aunque ChatGPT puede ayudar a generar diagramas, no puede reemplazar la necesidad de supervisión y experiencia humanas. Los profesionales deben seguir comprometidos en el proceso para proporcionar contexto, aclarar requisitos ambiguos y asegurar que los diagramas generados sean completos y precisos.

#Mejoras Incrementales

Un proceso iterativo puede mejorar la calidad de los diagramas generados. Trabajando estrechamente con ChatGPT, los analistas pueden refinar los requisitos y solicitar al herramienta múltiples veces para mejorar la salida. Esto podría llevar a modelos más precisos y útiles, beneficiando en última instancia el proceso de ingeniería de requisitos.

#El Papel del Conocimiento Contextual

Proporcionar contexto adicional y conocimiento específico del dominio puede mejorar significativamente el rendimiento de ChatGPT en la generación de diagramas. Cuando los analistas incluyen información relevante en sus instrucciones, pueden ayudar a la herramienta a comprender mejor los requisitos, reduciendo así errores.

#Conclusión

En resumen, este estudio investigó la capacidad de ChatGPT para crear diagramas de secuencia UML a partir de requisitos en NL. Los hallazgos revelaron que, aunque ChatGPT pudo producir diagramas que eran mayoritariamente claros y bien estructurados, quedaron importantes desafíos en términos de completitud y corrección.

Estos problemas fueron especialmente pronunciados al lidiar con requisitos ambiguos o mal definidos. De cara al futuro, los hallazgos de este estudio pueden informar prácticas en ingeniería de requisitos, enfatizando la importancia de la participación humana en el proceso y el potencial de los LLMs para mejorar pero no reemplazar métodos tradicionales.

Al continuar explorando la integración de modelos de lenguaje generativos en aplicaciones prácticas, el campo puede evolucionar y adaptarse aún más a las complejidades del desarrollo de software moderno. A través de la colaboración entre tecnología y experiencia humana, el objetivo debe ser producir modelos de alta calidad, confiables y comprensibles que satisfagan las necesidades de todas las partes interesadas involucradas en el proceso de ingeniería de requisitos.