Midiendo la calidad en experimentos de TDD

Los experimentos son una forma común de investigar la ingeniería de software. En el desarrollo impulsado por pruebas (TDD), los investigadores suelen seguir pautas detalladas para reportar sus experimentos. Sin embargo, parece que falta detalle sobre cómo miden los resultados y en qué variables se enfocan. Este artículo aborda tres puntos principales: identificar los componentes clave de medición en los experimentos TDD, estudiar cómo esos componentes impactan los resultados, y verificar si los informes explican adecuadamente el Proceso de Medición.

#Antecedentes

Cuando se prueba una hipótesis científicamente, los investigadores deben traducir sus ideas en factores medibles. Esta traducción se llama operacionalización. En ingeniería de software, la forma en que medimos la calidad puede variar significativamente. Por ejemplo, la calidad en TDD podría evaluarse por el número de casos de prueba aprobados, mientras que la calidad de un documento podría evaluarse usando una lista de verificación separada. Este estudio enfatiza la calidad externa medida en experimentos TDD. La calidad externa se refiere a cómo el software se desempeña desde una perspectiva externa, enfocándose en características y corrección.

#Diferentes Perspectivas sobre la Calidad en TDD

Los experimentos TDD que examinan la calidad externa a menudo producen resultados variados. Algunos estudios sugieren que TDD mejora la calidad, mientras que otros argumentan que las mejoras son insignificantes o incluso perjudiciales. Para entender estas inconsistencias, los investigadores a veces miran factores como el entorno experimental (si es en una empresa o en un entorno académico) y cuán rigurosamente se llevó a cabo el estudio. Sin embargo, muchos de estos estudios pasan por alto cómo los procesos de medición específicos pueden afectar los hallazgos.

Un aspecto clave es que los instrumentos que se utilizan típicamente para medir la calidad en TDD suelen variar. Por ejemplo, medir la calidad usando casos de prueba de aceptación puede conducir a diferentes resultados dependiendo de cómo se crean y aplican esos tests. Los métodos inconsistentes de generación de casos de prueba pueden llevar a conclusiones diversas entre los estudios.

#Objetivos de la Investigación

Esta investigación tiene como objetivo identificar los principales componentes involucrados en la medición de calidad en experimentos TDD, evaluar cómo esos componentes afectan los resultados de los experimentos y determinar si los informes explican los métodos de medición de manera suficiente. Se empleó un método de investigación mixto que involucró enfoques tanto cuantitativos como cualitativos.

#Enfoques Cuantitativos y Cualitativos

La primera fase implicó un análisis estadístico para ver cómo diferentes componentes de medición afectan los resultados experimentales. Después, se realizó un estudio de mapeo sistemático que analizó cómo los experimentos TDD representaron sus procesos de medición en los informes.

#Impacto de los Componentes de Medición

La investigación encontró que las suites de pruebas tuvieron una fuerte influencia en las mediciones y resultados en los experimentos TDD. Diferentes enfoques de prueba tuvieron efectos variados, validando generalmente la observación de que diferentes formas de medir conducen a diferentes resultados.

El tipo de intervención aplicada al código durante la medición también jugó un papel, aunque no tan significativo. Curiosamente, la influencia de quienes miden no pareció afectar significativamente los resultados, lo cual fue inesperado ya que el error humano suele ser una preocupación en la medición.

Un hallazgo importante fue que los informes de experimentos TDD frecuentemente carecían de detalles sobre el proceso de medición. Al reportar experimentos, es importante incluir información sobre los casos de prueba utilizados, cómo se trató el código durante la medición, y los roles de las personas involucradas en el análisis. Esta información es crucial para aquellos que puedan querer replicar los estudios o entender su fiabilidad.

#Proceso del Experimento TDD

#Definiendo la Calidad en TDD

La calidad en TDD se puede definir de varias maneras, pero generalmente se centra en qué tan bien el software cumple con los requisitos y funciona correctamente. Diferentes investigadores pueden elegir varias variables de respuesta para representar la calidad, lo que lleva a hallazgos inconsistentes.

Una forma común de medir la calidad en estudios TDD es a través de pruebas de aceptación, que evalúan si el software cumple con los estándares esperados. Sin embargo, los métodos utilizados para crear y aplicar estas pruebas pueden variar ampliamente.

#Métodos de Medición

Los ingenieros de software a menudo utilizan una variedad de herramientas y métodos para evaluar la calidad. Estos incluyen encuestas, software que mide diferentes atributos y evaluaciones por expertos. Para este estudio, el enfoque estuvo en el uso de casos de prueba de aceptación en experimentos TDD.

Para medir la calidad externa, los investigadores a menudo observan cómo se desempeña el software en escenarios del mundo real. Esto puede involucrar ver qué tan bien el software cumple con sus requisitos y cuán correcto es funcionalmente.

#El Experimento FSecure

El estudio utilizó el experimento FSecure como un caso de estudio. Este experimento tuvo como objetivo comparar TDD con otro método llamado prueba incremental tardía (ITL) en un entorno real. El enfoque estuvo en cómo los diferentes enfoques impactaron la calidad del software y la productividad del desarrollador.

Se utilizó un diseño de pre-prueba/post-prueba, lo que significaba que los participantes aplicaron tanto TDD como ITL a diferentes tareas. Los participantes trabajaron en ejercicios bien conocidos, lo que facilitó las comparaciones. Java fue el lenguaje de programación utilizado, y JUnit fue el marco de pruebas.

#Proceso de Medición

Los investigadores suelen seguir procesos más precisos que simplemente definir qué están midiendo. En ingeniería de software, el proceso de medición puede implicar varios pasos, como planificar qué datos recopilar, recoger esos datos y luego analizarlos.

#Recolección de Datos

La recolección de datos en experimentos TDD implica ejecutar pruebas de aceptación contra el software y registrar los resultados. Sin embargo, pueden surgir desafíos, particularmente cuando los casos de prueba no coinciden con el código como se esperaba.

Los investigadores suelen encontrar conflictos durante este proceso de medición. Por ejemplo, si el código entregado por los participantes no se alinea con los casos de prueba, se deben hacer ajustes.

Tres tipos principales de intervenciones pueden ocurrir durante este proceso de medición: ninguna intervención, donde el código se mide tal como está; intervención sintáctica, donde se corrigen errores menores; e intervención semántica, donde se realizan cambios más significativos basados en la comprensión del código.

#Papel de los Casos de Prueba

Los casos de prueba son críticos en los experimentos TDD ya que a menudo determinan cómo se mide la calidad. El estudio se centró en dos tipos de técnicas de generación de casos de prueba: ad hoc, donde los casos de prueba se crean según el mejor juicio de los investigadores, y particionamiento de equivalencia, que divide sistemáticamente las entradas en clases válidas e inválidas.

#Análisis Estadístico

El análisis estadístico se centró en cómo la elección de casos de prueba y el tipo de intervención impactaron los resultados de los experimentos TDD. Los diferentes casos de prueba produjeron medidas de calidad variadas, y esto fue respaldado por visualizaciones estadísticas.

#Hallazgos del Análisis

La investigación encontró que diferentes métodos de medición llevaron a diferentes interpretaciones de los efectos de TDD en la calidad del software:

• Los casos de prueba de aceptación creados a través de métodos ad hoc a menudo producían resultados más positivos que aquellos generados a través del particionamiento de equivalencia.
• La naturaleza de la intervención aplicada durante la medición también influyó en los resultados, siendo las intervenciones más estrictas generalmente conducientes a medidas de calidad más bajas.
• Sorprendentemente, la identidad del medidor no afectó significativamente las conclusiones generales extraídas de los experimentos.

#Estudio de Mapeo Sistemático

Se llevó a cabo un estudio de mapeo sistemático para ver cómo los experimentos TDD reportaron sus métodos. Los investigadores buscaban ver con qué frecuencia proporcionaban información crucial sobre los casos de prueba, las tareas experimentales, los tipos de intervención y quienes midieron.

#Resultados del Estudio de Mapeo

Los hallazgos del estudio de mapeo revelaron que muchos experimentos TDD publicados no ofrecían suficiente información para que otros pudieran evaluar o replicar sus resultados.

• Muchos estudios no especificaron los casos de prueba utilizados ni los nombres de quienes los generaron.
• Un número significativo de experimentos no aclaró cómo se modificó el código durante las mediciones.

#Impacto de los Problemas de Reporte

La falta de un reporte claro en los experimentos TDD plantea preocupaciones sobre la validez de los hallazgos. Sin detalles sólidos sobre el proceso de medición, se vuelve difícil confiar en los resultados. Además, estos problemas dificultan que otros puedan duplicar los experimentos, lo cual es esencial para construir sobre investigaciones anteriores y formar un cuerpo de evidencia confiable.

#Amenazas a la Validez

Surgen varias amenazas a la validez en ambas fases cuantitativa y cualitativa de la investigación.

En el análisis cuantitativo, los problemas potenciales incluyen la elección de métodos de comparación y la representación de datos. Para asegurar conclusiones más robustas, los procesos de recolección y análisis de datos se automatizaron siempre que fue posible para reducir el riesgo de error humano.

En el análisis cualitativo, el enfoque estuvo en cómo se llevó a cabo el estudio de mapeo sistemático. Todos los investigadores involucrados se esforzaron por asegurar rigor y consistencia en la selección, evaluación y procesos de extracción de datos.

#Recomendaciones para Futuras Investigaciones

El estudio concluye que las suites de pruebas deben diseñarse con una comprensión más clara de su aplicación práctica. Se insta a los investigadores a adoptar prácticas que puedan reducir sesgos y mejorar la fiabilidad de las mediciones.

Se sugieren varias líneas futuras de investigación, como:

• Realizar estudios repetidos para confirmar hallazgos en varios contextos y variables.
• Establecer pautas más claras sobre cómo crear y validar herramientas de medición.
• Usar múltiples medidores y promediar resultados para minimizar el error humano.

#Conclusiones

En resumen, la investigación destaca aspectos críticos de los procesos de medición en experimentos TDD. La variabilidad en el reporte, el diseño de casos de prueba y los enfoques de medición pueden llevar a resultados significativamente diferentes en los estudios.

Para mejorar la calidad y fiabilidad de la investigación TDD, es crucial que los investigadores proporcionen descripciones más detalladas de sus métodos, particularmente en lo que respecta a cómo se mide la calidad. Un mejor reporte puede ayudar en la comprensión de la efectividad de TDD y fomentar experimentación más robusta en el campo de la ingeniería de software.