Avances en el análisis de documentos históricos

El proyecto REE-HDSC se enfoca en mejorar la forma en que extraemos información de documentos históricos, específicamente certificados de defunción de Curazao entre 1831 y 1950. El objetivo principal es combinar el reconocimiento automático de texto manuscrito con técnicas de extracción de información para hacer el proceso más rápido y preciso.

#Resumen del Proyecto

La idea central de REE-HDSC es analizar una serie de certificados de defunción, utilizando diversas tareas que ayudan a desglosar la información en estos documentos. El proyecto implica reconocer diferentes elementos como nombres, fechas y ubicaciones de los documentos escaneados, que suelen estar llenos de texto impreso y manuscrito.

#Pasos en el Proceso de Análisis

Para manejar la complejidad de analizar estos documentos, el proyecto divide el proceso en seis tareas principales:

1. Análisis de diseño: Esto implica entender cómo está dispuesto el texto en los certificados. ¿Hay múltiples columnas? ¿Cómo está estructurada la información?

2. Detección de Línea Base: Esta tarea identifica dónde están ubicadas las líneas de texto dentro del documento.

3. Detección de Texto Manuscrito: Este paso reconoce el texto real en los certificados, incluyendo elementos impresos y manuscritos.

4. Reconocimiento de entidades: Aquí, el proyecto identifica piezas importantes de información, como nombres, fechas y profesiones.

5. Corrección de Nombres: Esta tarea asegura que los nombres de diferentes partes de los certificados se combinen correctamente.

6. Vinculación de Entidades: Este paso final conecta información sobre la misma persona a través de diferentes certificados.

#Herramientas Utilizadas

El proyecto emplea principalmente un software llamado Transkribus para análisis de diseño, detección de línea base y reconocimiento de texto manuscrito. Para extraer información específica, el proyecto explora el uso de técnicas de aprendizaje automático, expresiones regulares y hasta ChatGPT para mejorar la precisión en el reconocimiento de nombres y fechas.

#Control de Calidad

Aunque el proyecto automatiza muchos pasos, aún hay necesidad de supervisión humana. Esto significa que después de extraer información, debe ser revisada y corregida según sea necesario. El proyecto también busca evaluar automáticamente la calidad de la información extraída.

#Preparación de Datos

Los datos utilizados en el proyecto provienen de numerosas escaneos de certificados de defunción. El primer paso implica limpiar los datos: eliminar duplicados y escaneos que no son certificados, y organizar los datos disponibles por períodos de tiempo.

#Estructura de Datos

Los certificados están organizados por año y distrito. Curiosamente, el número de distritos ha cambiado a lo largo de los años. Algunos años incluso contienen distritos extras inesperados. Las carpetas están etiquetadas con formatos específicos para ayudar a llevar un seguimiento de los documentos.

#Limpieza de Datos

La limpieza de datos reveló dos problemas principales: escaneos que no son certificados y duplicados. Los escaneos no certificados fueron identificados y tratados, mientras que los duplicados también fueron eliminados para mantener un conjunto de datos más preciso.

#Reconocimiento Automático de Texto

El proyecto busca reconocer tanto texto impreso como manuscrito de manera eficiente. Al entrenar diferentes modelos, el proyecto intenta mejorar la precisión del reconocimiento de elementos manuscritos en los certificados.

#Evaluación del Rendimiento

Se probó la efectividad de las tareas de reconocimiento de entidades utilizando una muestra de documentos. Se aplicaron inicialmente expresiones regulares, pero luego el proyecto introdujo ChatGPT, que mostró mejor rendimiento en la extracción precisa de nombres y fechas.

#Estrategias de Mejora

Para aumentar la precisión en el reconocimiento de nombres de fallecidos, el proyecto tomó medidas como agregar más datos de entrenamiento y utilizar listas de nombres. El objetivo era asegurar que los nombres se identificaran correctamente, considerando que algunos pueden estar incompletos o incorrectos en los certificados.

#Desafíos en la Vinculación de Entidades

La vinculación de entidades implica conectar nombres de diferentes certificados. Los nombres pueden ser muy similares, lo que lleva a confusiones. Para mejorar este proceso, el proyecto verifica información adicional, como años de nacimiento, para mejorar la precisión en la vinculación de diferentes registros.

#Mejora del Reconocimiento de Nombres

Reconocer nombres con precisión es un desafío debido a las variaciones y errores en el texto manuscrito. El proyecto continuamente vuelve a entrenar sus modelos con nuevos datos y busca formas de mejorar las técnicas de reconocimiento existentes.

#Direcciones Futuras

El proyecto delineó varias sugerencias para trabajos futuros. Aumentar los datos de entrenamiento, desarrollar mejores métodos para leer y corregir texto, y probar cómo responden los voluntarios humanos a textos generados por computadora son todas áreas que pueden mejorar los resultados del proyecto.

#Conclusión

El proyecto REE-HDSC resalta la importancia de combinar tecnología y esfuerzo humano para mejorar el análisis de documentos históricos. Al abordar los desafíos de la extracción de información de certificados de defunción, el proyecto espera hacer contribuciones valiosas en los campos de la historia y la genealogía.

#Hallazgos de la Investigación

El proyecto ha hecho avances significativos en entender cómo extraer eficazmente varias entidades de documentos históricos. El enfoque organizado en el análisis permite obtener perspectivas más claras sobre la efectividad de los métodos utilizados.

#Análisis de Diseño en Detalle

Esta parte del proyecto se centra en determinar cómo está dispuesto el texto en los certificados de defunción. Cada diseño de página se analiza cuidadosamente para asegurar que la información pueda ser procesada sin perder contexto.

#Detección de Línea Base y Detalle de Líneas

Establecer dónde se encuentra la línea base del texto impreso es crucial. Esto asegura que cuando se lea el texto manuscrito o impreso, se mantenga alineado con su significado previsto.

#Técnicas de Reconocimiento de Texto Manuscrito

Se prueban diferentes modelos para reconocer texto manuscrito. A medida que avanza el proyecto, se comparan varios métodos para identificar cuál produce los resultados más precisos.

#Evaluando la Precisión del Reconocimiento

El proyecto mide cuán bien desempeñan diferentes modelos en el reconocimiento de nombres y fechas. Esta evaluación es crucial para refinar las tecnologías utilizadas en el proyecto.

#Mejora de la Precisión del Reconocimiento de Entidades

Las estrategias implementadas para mejorar la precisión del reconocimiento de entidades implican tanto el entrenamiento de nuevos modelos como la mejora de los existentes. El objetivo es alcanzar un alto nivel de precisión en la extracción de información.

#Desafíos Enfrentados

Surgen varios desafíos a medida que avanza el proyecto. La escritura poco clara, nombres incompletos y datos inconsistentes pueden obstaculizar los esfuerzos de reconocimiento. El equipo del proyecto debe navegar estos obstáculos con cuidado.

#Recolección de Datos Adicionales

Para mejorar el entrenamiento del modelo, el proyecto enfatiza la importancia de recopilar más datos de ejemplo. Esto ayuda a mejorar la comprensión de los diferentes estilos y formatos de escritura por parte de los modelos.

#Recomendaciones para el Trabajo Futuro

Las recomendaciones para el futuro incluyen aumentar el tamaño de la muestra para el entrenamiento, establecer más pruebas para asegurar la calidad, y considerar cómo integrar mejor la ayuda de voluntarios en el proceso.

#Conclusión e Impacto

El impacto del proyecto REE-HDSC va más allá de solo reconocer nombres en una página. Abre puertas para explorar la vasta historia contenida en estos documentos. A medida que el proyecto evoluciona, busca contribuir a una comprensión más amplia de los registros históricos y su significado.

#Implementación Técnica

Esta sección describe cómo se han implementado las herramientas y tecnologías para llevar a cabo los objetivos del proyecto. Cada paso es crucial para asegurar que el resultado final cumpla con las expectativas establecidas al principio.

#Reflexiones Finales

Con una mejora continua y un enfoque claro en la extracción precisa de información, el proyecto REE-HDSC establece una sólida base para futuros trabajos en campos similares. Al combinar efectivamente la tecnología y la visión humana, el proyecto espera allanar el camino para nuevos descubrimientos en la investigación histórica.