Conectando Datos Abiertos y NGSI-LD para Mejorar el Acceso

Hoy en día, tenemos muchas fuentes de datos que generan grandes cantidades de información. Esta información puede ayudar a mejorar muchas áreas, como los servicios públicos y la transparencia gubernamental. Pero aún hay problemas con lo fácil que es encontrar, acceder y usar estos datos. Los portales de Datos Abiertos han empezado a abordar estos problemas al hacer que los datos estén disponibles para todos. Sin embargo, estos portales no imponen reglas estrictas sobre cómo deberían organizarse o describirse los datos.

El estándar NGSI-LD tiene como objetivo crear uniformidad en cómo se organizan y acceden los datos. Este documento presenta una solución que conecta portales de Datos Abiertos y datos NGSI-LD. Esta conexión nos permite mantener descripciones de datos bien estructuradas de portales de Datos Abiertos mientras aseguramos que los datos puedan interactuar sin problemas con otros sistemas utilizando el estándar NGSI-LD. Nuestra solución combina datos en conjuntos de datos comprensibles y crea descripciones de alta calidad, mejorando la descubribilidad, interoperabilidad y accesibilidad. Probamos esta solución en un escenario del mundo real que compartió datos de IoT en formato NGSI-LD a través del Portal de Datos Europeo (EDP). Los resultados de las evaluaciones muestran que las descripciones de los conjuntos de datos que generamos tienen una alta puntuación en términos de principios de datos FAIR, que representan Encontrabilidad, Accesibilidad, Interoperabilidad y Reusabilidad.

#El Problema con los Datos

A medida que crece el número de fuentes de datos, también aumentan las preocupaciones sobre la calidad y compatibilidad de estos conjuntos de datos y sus descripciones. Esto hace que sea más difícil usar los recursos de manera efectiva. La mayoría de las plataformas que gestionan Datos Abiertos, como CKAN, se centran en cómo se describen los conjuntos de datos, conocido como metadatos. Sin embargo, los datos reales no necesitan seguir ningún estándar específico. Esta falta de estandarización a menudo lleva a situaciones en las que diferentes conjuntos de datos que contienen tipos similares de datos no pueden trabajar juntos fácilmente.

Este problema se presenta de manera más pronunciada en los portales de Datos Abiertos más amplios, como el Portal de Datos Europeo, que reúne datos de varias fuentes, incluidos portales nacionales y regionales. Sin una forma estándar de organizar estos datos, se vuelve difícil acceder o reutilizarlos de manera eficiente. Es crucial que los datos disponibles en los portales de Datos Abiertos sigan marcos estandarizados, haciéndolos utilizables y fáciles de compartir entre diferentes sistemas.

Para resolver estos desafíos, necesitamos establecer acuerdos claros sobre cómo se comparten y estructuran los datos. El estándar NGSI-LD ayuda a lograr esto al establecer especificaciones para gestionar datos de contexto. Este estándar facilita el acceso a diferentes tipos de datos y es parte del proyecto de código abierto FIWARE. Se ha probado en diversas situaciones de la vida real y ofrece un método confiable para abordar problemas de compatibilidad al acceder a datos de diferentes fuentes.

Sin embargo, si dependemos únicamente de NGSI-LD, enfrentamos otro problema: este estándar no cuenta con herramientas integradas para ayudar a los usuarios a encontrar los conjuntos de datos accesibles a través de su API. Por lo tanto, NGSI-LD no puede sostenerse por sí solo para garantizar que los datos sean fáciles de encontrar, acceder y reutilizar.

#La Solución Novel

La clave de la innovación en nuestro trabajo es combinar portales de Datos Abiertos, particularmente aquellos basados en CKAN, que describen conjuntos de datos utilizando el formato DCAT-AP, con datos NGSI-LD. Al fusionar estos dos enfoques, podemos cubrir las lagunas del otro y crear una solución que maximice la Encontrabilidad, Accesibilidad, Interoperabilidad y Reusabilidad. Nuestra solución simplifica el proceso para los proveedores de datos que utilizan el estándar NGSI-LD para crear los metadatos necesarios para exponer sus datos en portales de Datos Abiertos basados en CKAN.

Dada la importancia de los principios FAIR en el intercambio de datos, nuestra solución contribuye positivamente a crear una base más sólida en torno a modelos de datos y metadatos bien conocidos, como NGSI-LD y DCAT-AP. Hasta donde sabemos, no se han propuesto enfoques similares en la literatura.

En este documento, mostramos el potencial de los portales de Datos Abiertos, específicamente aquellos que utilizan CKAN y DCAT-AP para descripciones de conjuntos de datos, para mejorar la disponibilidad de datos y la descubribilidad junto con NGSI-LD para una mejor compatibilidad de datos.

#El Panorama Actual de los Datos Abiertos

Desde que países como Estados Unidos y el Reino Unido lanzaron sus primeros portales de Datos Abiertos en 2009 y 2010, muchos otros países y organizaciones han seguido el ejemplo. Estas iniciativas ayudan a proporcionar acceso público a varios tipos de datos en diferentes formatos, mejorando la capacidad de compartir información en múltiples sectores.

Muchos gobiernos, especialmente en estados miembros de la UE, han adoptado esta tendencia. A menudo utilizan CKAN, una plataforma de código abierto desarrollada y mantenida por Open Knowledge, para sus portales. CKAN proporciona una API confiable que permite fusionar diferentes portales en un solo punto de acceso para datos gubernamentales. CKAN también admite la creación de extensiones para mejorar sus funcionalidades.

La especificación DCAT-AP es el método más adoptado para describir datos en estos portales. Proporciona una forma estandarizada de describir conjuntos de datos y servicios de datos, promoviendo una mejor compatibilidad e intercambio de metadatos entre diferentes portales de datos.

Por otro lado, el estándar NGSI-LD se centra en mejorar el intercambio de datos entre varias entidades en un entorno digital. Garantiza una comunicación efectiva y acceso a información contextual al definir una API y un modelo de información consistente. Este estándar está en el corazón del ecosistema FIWARE.

La iniciativa Smart Data Models complementa NGSI-LD al proporcionar un marco común para representar datos en diferentes sectores, como Ciudades Inteligentes, Agricultura Inteligente, y más. Esta iniciativa incluye muchos modelos de datos compatibles con NGSI-LD.

#Trabajo Relacionado

Los portales de datos abiertos sirven como una interfaz vital que promueve la transparencia. Pero para aprovechar verdaderamente estas oportunidades, deben ofrecer una variedad de mecanismos que permitan a los usuarios descubrir, extraer y usar datos de manera efectiva. Hay una necesidad de centrarse más en cómo la tecnología puede ayudar a la transparencia y cómo se pueden lograr estos objetivos.

El potencial de los Datos Abiertos no solo radica en liberar información, sino en garantizar la compatibilidad de múltiples catálogos, permitiendo un mejor intercambio de datos a través de interfaces bien estructuradas. Los servicios de datos son vitales para hacer que los conjuntos de datos abiertos estén disponibles en formatos estructurados y legibles por máquina.

Varios estudios han identificado diferentes tipos de capas de interoperabilidad, incluidas la técnica, semántica, organizativa y legal. Estos marcos guían la promoción de la gestión de servicios sin problemas y el intercambio de datos entre administraciones públicas.

Algunas investigaciones han intentado integrar métodos para mejorar la interconectividad y usabilidad en portales de Datos Abiertos basados en CKAN. Sin embargo, a menudo enfatizan la harmonización de metadatos en lugar de centrarse en hacer que los datos sean más utilizables.

El marco ODDM tiene como objetivo facilitar la investigación interdisciplinaria integrando datos abiertos de diversas fuentes. Sin embargo, se centra principalmente en modelos teóricos en lugar de en la implementación práctica basada en las mejores prácticas.

#Análisis de Modelado de Datos

El núcleo de nuestro conector propuesto es traducir y adaptar datos entre los datos de contexto NGSI-LD y los conjuntos de datos CKAN descritos utilizando DCAT-AP. Para asegurarnos de que estos dos dominios puedan trabajar juntos, debemos analizar las características de sus respectivos modelos de datos.

El primer paso en este análisis implica identificar qué datos necesitan ser representados. En nuestro diseño, el enfoque está no solo en acceder a los puntos de datos reales, sino también en los metadatos que describen estas colecciones de datos. Esto implica usar la especificación DCAT-AP como modelo de referencia para compartir información sobre conjuntos de datos.

Utilizamos el Modelo de Datos Inteligentes como intermediario entre el formato DCAT-AP y CKAN. Los procesos de mapeo y conversión aseguran que las descripciones de los conjuntos de datos sean exhaustivas y consistentes.

#Implementación del Conector NGSI-LD a CKAN

La solución propuesta consiste en varios componentes que actúan juntos para conectar los dos dominios de NGSI-LD y Datos Abiertos. La arquitectura incluye Brokers de Contexto (CB) federados en el mundo de NGSI-LD y una instancia de CKAN en el mundo de Datos Abiertos.

El papel principal del conector es crear descripciones de los conjuntos de datos disponibles a través del CB. Una vez que se generan estas descripciones, CKAN puede utilizarlas. Esto asegura que los datos de los dos paradigmas de NGSI-LD y Datos Abiertos funcionen de manera cohesiva.

Para lograr esto, definimos un proceso de tres pasos. La primera fase es crear descripciones comprensibles de los datos para CKAN. El siguiente paso implica publicar estas descripciones en la instancia de CKAN, permitiendo a los usuarios acceder a los datos. La fase final es asegurarse de que estas descripciones cumplan con el estándar DCAT-AP.

#Fase 1: Creación de Descripciones

En la primera fase, nos centramos en crear descripciones adecuadas de los datos. Esto implica usar los Modelos de Datos Inteligentes para definir entidades como catálogos, conjuntos de datos y distribuciones. Al agrupar datos según sus tipos y proporcionar descripciones completas, permitimos que CKAN entienda y utilice los datos.

#Fase 2: Publicación de Datos en CKAN

Una vez que se crean las entidades de datos, el siguiente paso es transferir estas descripciones a una instancia de CKAN. Un módulo de extensión, ckanext-harvest-ngsild, es responsable de esta tarea. Transforma los datos de los Modelos de Datos Inteligentes al formato CKAN adecuado e inyecta los datos en el portal de CKAN.

#Fase 3: Serialización DCAT

Para garantizar el cumplimiento con DCAT-AP, hemos desarrollado otra extensión de CKAN para transformar las descripciones de datos de CKAN en documentos RDF que siguen el estándar DCAT. Este paso es esencial para una máxima compatibilidad e interoperabilidad.

#Escenario de Validación

Para validar nuestros módulos propuestos, empleamos un caso de uso específico y los integramos en un entorno del mundo real. El Portal de Datos Europeo sirve como consumidor final de los datos generados a través del proyecto SALTED, que tiene como objetivo armonizar y enriquecer datos.

La arquitectura que implementamos tiene en cuenta los requisitos del proceso de Evaluación de Calidad de Metadatos (MQA) del EDP. Esto evalúa la calidad de los conjuntos de datos publicados y garantiza que cumplan ciertos criterios de Encontrabilidad, Accesibilidad, Interoperabilidad y Reusabilidad.

#Métricas de Calidad

El proceso de MQA evalúa conjuntos de datos basados en varias métricas que ayudan a determinar su calidad. Estas métricas se centran en aspectos de usabilidad y aseguran que los usuarios sean conscientes de la naturaleza y contexto de los datos que están consumiendo.

Los resultados del escenario de validación demuestran que nuestra arquitectura de conector ha logrado sus objetivos. El despliegue de CKAN como un portal de Datos Abiertos permite la alimentación sin problemas de descripciones de datos en la plataforma. Además, la integración del EDP como consumidor de datos asegura que la información compartida sea de alta calidad y fácilmente accesible.

#Conclusión

En conclusión, nuestro trabajo enfatiza los beneficios potenciales de conectar datos NGSI-LD y portales de Datos Abiertos. La combinación de estos dos dominios crea una poderosa solución que mejora la disponibilidad de datos públicos. La arquitectura propuesta, que incluye varios componentes y módulos, ayuda a facilitar el intercambio de información entre estos mundos.

El trabajo futuro puede mejorar aún más la funcionalidad del conector, permitiendo más formatos e integraciones directas sin la necesidad de una instancia intermedia de CKAN. El objetivo final sigue siendo garantizar que el intercambio de datos sea lo más fluido y efectivo posible, llevando a mejores conocimientos y toma de decisiones en varios sectores.