Simplificando la anotación de cartas en diplomática

La Diplomática es el estudio de documentos medievales, en especial de los contratos, que son documentos legales de esa época. Este campo a menudo necesita un examen detallado de los aspectos visuales y escritos de estos documentos. Cuando personas que no son expertas intentan anotar estos documentos, su trabajo necesita ser revisado y corregido por profesionales.

En nuestro trabajo, presentamos un nuevo método para anotar los contratos de manera más efectiva. Nos enfocamos en desglosar las tareas involucradas en segmentar estos documentos en áreas de interés, similar a cómo se detectan objetos en imágenes. Este método puede ahorrar tiempo a los expertos y puede producir resultados que a veces son mejores que las técnicas tradicionales.

También exploramos cómo crear una estructura clara para los diferentes tipos de anotaciones para maximizar el uso del tiempo y el esfuerzo de quienes anotan los documentos. Al usar tarjetas de calibración en las imágenes, añadimos información sobre el tamaño real de los elementos en píxeles y entrenamos modelos para hacer predicciones basadas en estas imágenes.

#La Importancia de la Diplomática y Paleografía

El estudio de los contratos no es solo sobre el texto; también involucra muchos aspectos visuales. Esto incluye examinar sellos, detectar falsificaciones, identificar documentos y datarlos. Analizar estos elementos visuales es crucial y requiere herramientas especiales de análisis de imágenes. Aunque los datos obtenidos de la diplomática se han incluido en conjuntos de datos históricos más grandes, el análisis específico de los contratos no se ha realizado ampliamente.

Estudios recientes han mostrado que reconocer directamente entidades nombradas en imágenes puede dar mejores resultados que usar un proceso más complejo de dos pasos. Nuestro enfoque en analizar un gran número de contratos, en particular de los archivos en línea monasterium.net, destaca la necesidad de automatizar este análisis debido al gran volumen de documentos.

#El Desafío de los Grandes Archivos

Monasterium.net es un recurso importante que contiene una vasta colección de contratos europeos, especialmente de Europa central. Con miles de documentos de varios países, la naturaleza de los datos es muy variada, y muchos detalles sobre cómo se recopilaron los documentos no están disponibles. Esto significa que es esencial realizar análisis de imágenes automatizados para entender mejor estas colecciones.

Tradicionalmente, gran parte del trabajo en diplomática requiere atención individual significativa a cada documento. Sin embargo, los contratos de la época medieval tardía son cientos de miles. Esto hace impráctico que un académico analice cada uno en profundidad. Por lo tanto, hay una necesidad clara de asistencia a través de análisis automáticos.

El concepto de "lectura distante" se usa para describir el análisis automático del texto sin necesidad de inspeccionar cada documento individualmente, y "visión distante" extiende esto al análisis visual. Estos métodos pueden ser difíciles de probar y validar, lo que requiere un conocimiento más profundo de los datos involucrados y cualquier sesgo en las herramientas que se están utilizando.

#Uso Eficiente del Tiempo de los Expertos

Nuestro objetivo principal es reducir el tiempo que los expertos necesitan dedicar a las tareas de anotación mientras aseguramos que aún logremos resultados valiosos. La meta es crear un proceso que minimice el tiempo empleado en cada imagen mientras maximiza cuánto trabajo útil se realiza.

Para lograr esto, introdujimos una herramienta llamada FRAT (Fast Rectangle Annotation Tool). Esta herramienta permite a los usuarios marcar rectángulos alrededor de áreas de interés en las imágenes de los contratos. Los usuarios también pueden añadir descripciones y comentarios a cada rectángulo. La herramienta está diseñada para ser fácil de usar, permitiendo anotaciones rápidas con un esfuerzo mínimo.

#Análisis de diseño y Creación de Conjuntos de Datos

Para entender mejor las imágenes disponibles en monasterium.net, seleccionamos una muestra aleatoria de 1,000 contratos. Observamos varios atributos, incluyendo ancho, alto y si había sellos presentes. Al analizar este conjunto de datos, buscamos obtener información sobre la calidad y características de los documentos.

Los contratos suelen tener un diseño estándar. Típicamente, tienen un bloque de texto dominante con información adicional alrededor. Nuestro enfoque implica definir rectángulos alrededor de áreas relevantes, que luego se pueden clasificar en diferentes clases, como sellos o áreas de texto.

Usando un método de detección de objetos, entrenamos un modelo para reconocer estas áreas basadas en imágenes anotadas. Los resultados mostraron una alta precisión para la mayoría de las clases, indicando que el sistema funciona bien identificando áreas de interés dentro de los contratos.

#Presentando la Herramienta de Anotación FRAT

FRAT es una herramienta ligera creada para anotar imágenes de documentos de forma rápida y eficiente. Los usuarios pueden marcar objetos en las imágenes seleccionando dos puntos para definir rectángulos. Esta herramienta permite añadir transcripciones y comentarios para mejor contexto.

FRAT está diseñada para ser amigable, haciendo fácil su navegación y operación. Acomoda diferentes tareas de anotación y permite exportar datos a formatos populares utilizados en análisis de imágenes.

Dentro de FRAT, hay dos modos principales: uno para etiquetar objetos y otro para transcribir texto. Estos modos ayudan a los usuarios a alternar entre anotar elementos visuales y trabajar con el texto presente en los documentos.

#Predicción de la Resolución de Imágenes

Muchas de las imágenes de los contratos incluyen tarjetas de calibración, que pueden ayudar a estimar la resolución de las imágenes. Esto es importante al evaluar la calidad de los documentos y relacionar objetos visuales con tamaños del mundo real.

Al analizar las tarjetas de calibración, podemos inferir el tamaño de los píxeles y relacionarlo con las medidas físicas. Este proceso nos permite estimar la resolución incluso cuando no se conocen las condiciones de adquisición originales.

Desarrollamos una red llamada ResResNet que predice la resolución en base a fragmentos de imágenes. Este modelo puede analizar imágenes de diferentes tamaños y utilizar segmentos recortados para hacer predicciones de manera efectiva.

#Resultados e Insights

Nuestros resultados muestran que nuestros métodos de predicción son efectivos. Analizamos las estimaciones de resolución y las comparamos con la verdad conocida, encontrando una fuerte correlación. Si bien el método base que usa tarjetas de calibración funcionó bien, nuestro modelo ResResNet fue más confiable en general.

El análisis mostró que nuestro enfoque podría manejar de manera efectiva imágenes que carecen de tarjetas de calibración, demostrando el potencial de nuestros métodos en varios escenarios. El éxito de nuestro análisis basado en texturas sugiere que los documentos históricos contienen información sensible a la escala, lo que indica cómo se pueden utilizar varios factores para predecir la resolución.

#Conclusión

Este estudio resalta la importancia de prácticas de anotación eficientes en el campo de la diplomática. Al enfocarnos en optimizar el uso del tiempo y los recursos de los expertos, buscamos agilizar el análisis de un gran número de contratos medievales.

Las herramientas y métodos desarrollados aquí están diseñados para abordar los desafíos que presentan los grandes conjuntos de datos. Nuestros hallazgos demuestran que el análisis automático de imágenes puede complementar la experiencia de los académicos, llevando a una mayor eficiencia y efectividad en el estudio de documentos históricos. La investigación futura explorará aún más el potencial de estas herramientas para mejorar nuestra comprensión de las técnicas de análisis de documentos.