Desafíos en la Reproducibilidad y Replicabilidad en la Investigación de IA

En el campo de la inteligencia artificial (IA), hay crecientes preocupaciones sobre la Reproducibilidad y Replicabilidad. La reproducibilidad se trata de obtener los mismos resultados usando los mismos datos y métodos, mientras que la replicabilidad implica lograr resultados consistentes usando diferentes datos pero los mismos métodos. Este estudio investiga estos dos conceptos en el área específica del reconocimiento de estructuras de tablas en documentos digitales. El objetivo es ver cuán a menudo se pueden reproducir y replicar los resultados reportados en 16 artículos.

El reconocimiento de estructuras de tablas (RST) es una tarea importante de IA que se enfoca en identificar dónde están las celdas en tablas encontradas en documentos digitales. Este trabajo no es lo mismo que la detección de tablas, que solo encuentra dónde están ubicadas las tablas. En los últimos años, se han presentado muchas nuevas soluciones utilizando redes neuronales para esta tarea. La entrada principal para el RST es típicamente una imagen de una tabla, y la salida esperada es un archivo en formato XML o JSON que muestra las posiciones de las celdas pero no incluye el contenido de esas celdas.

En este estudio, los autores intentaron reproducir los hallazgos de los artículos originales usando los Códigos y Conjuntos de datos proporcionados por los investigadores originales. También examinaron cuán replicables eran estos métodos cuando se probaron en nuevos conjuntos de datos y un conjunto de datos que crearon ellos mismos, GenTSR. Este nuevo conjunto de datos contiene 386 tablas anotadas de varios artículos científicos.

#Hallazgos Clave

De los 16 artículos revisados, solo 4 produjeron resultados que coincidían con los hallazgos originales. De estos 4, solo 2 resultaron ser replicables cuando se probaron con un conjunto de datos similar al utilizado en la investigación original. Sin embargo, ninguno de los artículos fue replicable al probarse con el conjunto de datos GenTSR.

Los investigadores notaron varias razones por las que muchos artículos no cumplían con los estándares de reproducibilidad o replicabilidad. Un problema principal fue que muchos artículos no proporcionaron el código o los datos necesarios, lo que dificultó verificar sus resultados sin contactar a los autores. Esta falta de transparencia en compartir recursos es un problema común en la investigación de IA.

#Definiciones

Para entender mejor los conceptos que se están discutiendo, es importante aclarar qué se entiende por reproducibilidad y replicabilidad.

• Reproducibilidad se refiere a obtener resultados consistentes usando los mismos datos y métodos, lo que significa que si alguien sigue los procedimientos descritos en un artículo, debería lograr los mismos resultados.

• Replicabilidad implica usar diferentes datos pero los mismos métodos para ver si se pueden lograr resultados similares. Esto significa que el método debería ser lo suficientemente flexible como para trabajar con nuevos conjuntos de datos mientras aún produce resultados confiables.

• Generalizabilidad va un paso más allá y examina si los resultados pueden aplicarse en diferentes situaciones fuera del estudio original.

Cada uno de estos conceptos establece un estándar más alto que el anterior, siendo la reproducibilidad el requisito más básico en el trabajo científico.

#Desafíos en la Reproducibilidad de IA

Muchos estudios existentes que han investigado la reproducibilidad en la investigación de IA se han centrado en aspectos prácticos, señalando la importancia de los conjuntos de datos, códigos y procesos involucrados en la reproducción de resultados. Estudios anteriores han encontrado que solo un pequeño porcentaje de artículos proporciona suficientes detalles y recursos para permitir la reproducción exitosa de sus hallazgos.

Un estudio notable encontró que una pequeña parte de los cuadernos de Jupyter se ejecutó sin errores, y aún menos devolvieron resultados consistentes al ejecutarse de nuevo. Otros artículos destacaron la importancia de tener conjuntos de datos y software de acceso abierto para mejorar la reproducibilidad.

A pesar de estos desafíos, se ha prestado mucha menos atención a la replicabilidad en comparación con la reproducibilidad. Este estudio busca abordar esta brecha centrándose en el reconocimiento de estructuras de tablas, una tarea que es crucial en el análisis de documentos y reconocimiento de patrones.

#Prueba de los Métodos

Los investigadores llevaron a cabo una revisión sistemática de 16 artículos publicados después de 2017 que se centraron en métodos de aprendizaje profundo para el reconocimiento de estructuras de tablas. El proceso implicó varios pasos:

1. Selección de Muestra: Buscaron artículos usando palabras clave relacionadas con el reconocimiento de estructuras de tablas, filtrando por los publicados recientemente y enfocándose en aquellos que involucran documentos digitales o imágenes de tablas.

2. Estudio a Nivel Meta: Los autores examinaron cada artículo para ver si el código fuente y los conjuntos de datos estaban disponibles. Si no, buscaron fuentes alternativas.

3. Despliegue Local: Los códigos y conjuntos de datos disponibles fueron descargados y configurados en computadoras locales.

4. Pruebas de Reproducibilidad: Los investigadores ejecutaron los códigos y clasificaron los artículos según su capacidad para reproducir los resultados originales. Usaron tres categorías: reproducible, parcialmente reproducible y no reproducible.

5. Pruebas de Replicabilidad: Luego se llevaron a cabo las pruebas usando conjuntos de datos similares y nuevos para ver si los métodos todavía podían producir resultados consistentes.

#Resultados de los Experimentales

Los resultados del estudio indican variaciones significativas en reproducibilidad y replicabilidad a través de diferentes trabajos. Solo unos pocos artículos lograron proporcionar los recursos necesarios para que otros pudieran replicar sus hallazgos. De los 11 artículos con datos y códigos accesibles, solo un puñado pudo ejecutarse sin necesidad de contactar a los autores originales.

En cuanto a la reproducibilidad, la mayoría de los artículos no fueron reproducibles porque carecían de los conjuntos de datos o los códigos necesarios para validar los resultados reportados. Los artículos que proporcionaron código ejecutable tenían mejores tasas de reproducibilidad. En general, muchos de los artículos que no compartieron estos recursos estaban afiliados a la industria, lo que pudo haber llevado a restricciones.

El estudio observó que cuando los resultados fueron reproducibles, a veces diferían significativamente de los reportados en los artículos originales. Algunas de estas diferencias pueden derivar de actualizaciones en el software o datos que ocurrieron después del estudio original. Se encontró que la reproducibilidad debería definirse con criterios específicos que incluyan umbrales cuantificables.

#Observaciones sobre la Replicabilidad

La replicación de los métodos en conjuntos de datos similares mostró que los resultados a menudo variaban, indicando que el rendimiento dependía del conjunto de datos utilizado. En general, los resultados de ciertos métodos disminuyeron cuando se probaron con nuevos conjuntos de datos. De los métodos que fueron ejecutables o reproducibles, solo dos se encontraron replicables bajo ciertas condiciones con un conjunto de datos similar.

Al probar los métodos contra el conjunto de datos GenTSR, ninguno de los cuatro métodos permitió una replicación exitosa. Esto sugiere que los desafíos en el reconocimiento de tablas en documentos científicos siguen sin resolverse y que se necesita más trabajo para mejorar estos sistemas.

#Factores que Afectan la Reproducibilidad

Se identificaron varias razones que contribuyeron a los problemas de reproducibilidad:

• Accesibilidad de Datos y Código: Muchos artículos no proporcionan los recursos necesarios para validar sus hallazgos.

• Documentación: Algunos artículos carecen de instrucciones suficientes, lo que dificulta que otros ejecuten sus métodos.

• Problemas de Compatibilidad: Ciertas dependencias de software pueden no funcionar bien cuando se trasladan a diferentes entornos.

• Durabilidad de Datos y Código: Los cambios en los datos o el código originales después de la publicación pueden afectar la capacidad de reproducir resultados.

#Conclusión

El estudio destaca los desafíos significativos que enfrenta la reproducibilidad y replicabilidad. La mayoría de los artículos revisados no cumplían con los estándares de reproducibilidad, y ninguno fue replicable con el nuevo conjunto de datos. Los hallazgos sugieren la necesidad de criterios claros en la definición de la reproducibilidad y un mayor énfasis en compartir recursos en la investigación de IA.

El nuevo conjunto de datos GenTSR puede servir como una herramienta útil para futuras investigaciones y el desarrollo de métodos de reconocimiento de estructuras de tablas más efectivos. Este trabajo subraya la necesidad de una infraestructura que apoye a los investigadores en la presentación de la reproducibilidad y replicabilidad de los experimentos. Los estudios futuros deberían profundizar más en la replicabilidad de métodos a un nivel más granular para entender y abordar mejor estos desafíos continuos.