Collegare Open Data e NGSI-LD per un Accesso Migliore

Oggi abbiamo tante fonti di dati che creano enormi quantità di informazioni. Queste informazioni possono aiutare a migliorare molte aree, come i servizi pubblici e la trasparenza del governo. Ma ci sono ancora problemi su quanto sia facile trovare, accedere e utilizzare questi dati. I portali di Open Data hanno iniziato ad affrontare questi problemi rendendo i dati disponibili a tutti. Tuttavia, questi portali non impongono regole rigide su come i dati debbano essere organizzati o descritti.

Lo standard NGSI-LD mira a creare uniformità nel modo in cui i dati sono organizzati e accessibili. Questo documento presenta una soluzione che collega i portali di Open Data e i dati NGSI-LD. Questa connessione ci consente di mantenere descrizioni dei dati ben strutturate dai portali di Open Data, assicurando nel contempo che i dati possano interagire senza problemi con altri sistemi che utilizzano lo standard NGSI-LD. La nostra soluzione combina i dati in set di dati comprensibili e crea descrizioni di alta qualità, migliorando la scoperta, l'interoperabilità e l'accessibilità. Abbiamo testato questa soluzione in uno scenario reale che ha condiviso dati IoT nel formato NGSI-LD tramite il Portale Europeo dei Dati (EDP). I risultati delle valutazioni mostrano che le descrizioni dei dataset che abbiamo generato sono altamente valutate in termini di principi dei dati FAIR, che stanno per Findability, Accessibility, Interoperability e Reusability.

#Il Problema con i Dati

Con l'aumento del numero di fonti di dati, crescono anche le preoccupazioni sulla qualità e sulla compatibilità di questi set di dati e delle loro descrizioni. Questo rende più difficile utilizzare le risorse in modo efficace. La maggior parte delle piattaforme che gestiscono Open Data, come CKAN, si concentrano su come i dataset sono descritti, noto come metadata. Tuttavia, i dati stessi non devono seguire standard specifici. Questa mancanza di standardizzazione porta spesso a situazioni in cui diversi set di dati contenenti tipi simili di dati non possono facilmente lavorare insieme.

Questo problema diventa più evidente nei portali di Open Data più ampi, come il Portale Europeo dei Dati, che raccoglie dati da varie fonti, inclusi portali nazionali e regionali. Senza un modo standard per organizzare questi dati, diventa difficile accedervi o riutilizzarli in modo efficiente. È cruciale che i dati disponibili sui portali di Open Data seguano framework standardizzati, rendendoli utilizzabili e facili da condividere tra diversi sistemi.

Per risolvere queste sfide, dobbiamo stabilire accordi chiari su come i dati vengono condivisi e strutturati. Lo standard NGSI-LD aiuta a raggiungere questo obiettivo impostando specifiche per la gestione dei dati di contesto. Questo standard facilita l'accesso a diversi tipi di dati ed è parte del progetto open-source FIWARE. È stato testato in varie situazioni reali e offre un metodo affidabile per affrontare i problemi di compatibilità nell'accesso ai dati provenienti da diverse fonti.

Tuttavia, se ci affidiamo solo a NGSI-LD, affrontiamo un altro problema: questo standard non ha strumenti integrati per aiutare gli utenti a trovare i dataset accessibili tramite la sua API. Pertanto, NGSI-LD non può stare da solo nel garantire che i dati siano facili da trovare, accedere e riutilizzare.

#La Nuova Soluzione

L'innovazione chiave nel nostro lavoro è combinare i portali di Open Data, in particolare quelli basati su CKAN, che descrivono i dataset utilizzando il formato DCAT-AP, con i dati NGSI-LD. Unendo questi due approcci, possiamo coprire le lacune reciproche e creare una soluzione che massimizza Findability, Accessibility, Interoperability e Reusability. La nostra soluzione semplifica il processo per i fornitori di dati che utilizzano lo standard NGSI-LD per creare i metadata necessari per esporre i loro dati sui portali di Open Data basati su CKAN.

Data l'importanza dei principi FAIR nella condivisione dei dati, la nostra soluzione contribuisce positivamente a creare una base più solida attorno a modelli di dati e metadata ben noti, come NGSI-LD e DCAT-AP. A nostra conoscenza, non sono stati proposti approcci simili nella letteratura.

In questo documento, mettiamo in mostra il potenziale dei portali di Open Data, specificamente quelli che utilizzano CKAN e DCAT-AP per le descrizioni dei dataset, per migliorare la disponibilità e la scoperta dei dati insieme a NGSI-LD per un miglioramento della compatibilità dei dati.

#Il Contesto Attuale degli Open Data

Da quando paesi come gli Stati Uniti e il Regno Unito hanno lanciato i loro primi portali di Open Data nel 2009 e 2010, molti altri paesi e organizzazioni hanno seguito il loro esempio. Queste iniziative aiutano a fornire accesso pubblico a vari tipi di dati in diversi formati, migliorando la possibilità di condividere informazioni in più settori.

Molti governi, specialmente nei paesi membri dell'UE, hanno adottato questa tendenza. Spesso utilizzano CKAN, una piattaforma open-source sviluppata e mantenuta da Open Knowledge, per i loro portali. CKAN fornisce una API affidabile che consente di unire diversi portali in un unico punto di accesso per i dati governativi. CKAN supporta anche la creazione di estensioni per migliorare le sue funzionalità.

La specifica DCAT-AP è il metodo più ampiamente adottato per descrivere i dati in questi portali. Fornisce un modo standardizzato per descrivere dataset e servizi di dati, promuovendo una migliore compatibilità e scambio di metadata tra diversi portali di dati.

D'altra parte, lo standard NGSI-LD si concentra sul miglioramento della condivisione dei dati tra varie entità in un ambiente digitale. Assicura una comunicazione efficace e accesso alle informazioni di contesto definendo una API e un modello informativo coerente. Questo standard è al centro dell'ecosistema FIWARE.

L'iniziativa Smart Data Models completa NGSI-LD fornendo un framework comune per rappresentare dati in diversi settori, come Smart Cities, Smart Agriculture e altro. Questa iniziativa include molti modelli di dati compatibili con NGSI-LD.

#Lavori Correlati

I portali di Dati Aperti servono come un'interfaccia vitale che promuove la trasparenza. Ma per sfruttare davvero queste opportunità, devono offrire una gamma di meccanismi per consentire agli utenti di scoprire, estrarre e utilizzare i dati in modo efficace. C'è bisogno di concentrarsi di più su come la tecnologia può aiutare la trasparenza e su come questi obiettivi possono essere raggiunti.

Il potenziale degli Open Data non sta solo nel rilasciare informazioni, ma nell'assicurare la compatibilità di più cataloghi, consentendo una migliore condivisione dei dati attraverso interfacce ben strutturate. I servizi di dati sono vitali per rendere disponibili dataset aperti in formati strutturati e leggibili da macchine.

Vari studi hanno identificato diversi tipi di livelli di interoperabilità, inclusi interoperabilità tecnica, semantica, organizzativa e legale. Questi framework guidano la promozione di una gestione dei servizi senza soluzione di continuità e condivisione dei dati tra le amministrazioni pubbliche.

Alcune ricerche hanno tentato di integrare metodi per migliorare l'interconnettività e l'usabilità nei portali di Open Data basati su CKAN. Tuttavia, spesso sottolineano l'importanza di armonizzare i metadata piuttosto che concentrarsi sul rendere i dati stessi più utilizzabili.

Il framework ODDM mira a facilitare la ricerca interdisciplinare integrando dati aperti provenienti da diverse fonti. Tuttavia, si concentra principalmente su modelli teorici piuttosto che su implementazioni pratiche basate sulle migliori pratiche.

#Analisi della Modellazione dei Dati

Il cuore del nostro connettore proposto è tradurre e adattare i dati tra i dati di contesto NGSI-LD e i dataset CKAN descritti utilizzando DCAT-AP. Per assicurarci che questi due domini possano lavorare insieme, dobbiamo analizzare le caratteristiche dei rispettivi modelli di dati.

Il primo passo in questa analisi consiste nell'identificare quali dati devono essere rappresentati. Nel nostro design, l'attenzione è rivolta non solo all'accesso ai dati effettivi, ma anche ai metadata che descrivono queste raccolte di dati. Questo comporta l'uso della specifica DCAT-AP come modello di riferimento per condividere informazioni sui dataset.

Utilizziamo il Modello di Dati Intelligenti come intermediario tra DCAT-AP e il formato CKAN. I processi di mappatura e conversione garantiscono che le descrizioni dei dataset siano complete e coerenti.

#Implementazione del Connettore NGSI-LD a CKAN

La soluzione proposta consiste in diversi componenti che agiscono insieme per collegare i due domini di NGSI-LD e Open Data. L'architettura include Broker di Contesto (CB) federati nel mondo NGSI-LD e un'istanza CKAN nel mondo Open Data.

Il ruolo principale del connettore è creare descrizioni dei dataset disponibili tramite il CB. Una volta generate queste descrizioni, CKAN può utilizzarle. Questo assicura che i dati provenienti dai due paradigmi di NGSI-LD e Open Data funzionino in modo coeso.

Per raggiungere questo obiettivo, abbiamo definito un processo in tre fasi. La prima fase consiste nella creazione di descrizioni comprensibili dei dati per CKAN. Il passo successivo implica la pubblicazione di queste descrizioni nell'istanza CKAN, consentendo agli utenti di accedere ai dati. L'ultima fase è garantire che queste descrizioni siano conformi allo standard DCAT-AP.

#Fase 1: Creazione di Descrizioni

Nella prima fase, ci concentriamo sulla creazione di descrizioni adeguate dei dati. Questo comporta l'utilizzo dei Modelli di Dati Intelligenti per definire entità come cataloghi, dataset e distribuzioni. Raggruppando i dati in base ai loro tipi e fornendo descrizioni complete, consentiamo a CKAN di comprendere e utilizzare i dati.

#Fase 2: Pubblicazione dei Dati in CKAN

Una volta create le entità di dati, il passo successivo è trasferire queste descrizioni in un'istanza CKAN. Un modulo di estensione, ckanext-harvest-ngsild, è responsabile di questo compito. Trasforma i dati dai Modelli di Dati Intelligenti nel formato CKAN appropriato e li inietta nel portale CKAN.

#Fase 3: Serializzazione DCAT

Per garantire la conformità con DCAT-AP, abbiamo sviluppato un'altra estensione CKAN per trasformare le descrizioni dei dati CKAN in documenti RDF che seguono lo standard DCAT. Questo passaggio è essenziale per massimizzare la compatibilità e l'interoperabilità.

#Scenario di Validazione

Per convalidare i nostri moduli proposti, abbiamo impiegato un caso d'uso specifico e li abbiamo integrati in un ambiente reale. Il Portale Europeo dei Dati funge da consumatore finale per i dati generati attraverso il progetto SALTED, che mira a armonizzare e arricchire i dati.

L'architettura che abbiamo implementato tiene conto dei requisiti del processo di Valutazione della Qualità dei Metadata (MQA) dell'EDP. Questo valuta la qualità dei dataset pubblicati e assicura che soddisfino determinati criteri di Findability, Accessibility, Interoperability e Reusability.

#Metriche di Qualità

Il processo MQA valuta i dataset in base a diverse metriche che aiutano a determinare la loro qualità. Queste metriche si concentrano su aspetti di usabilità e garantiscono che gli utenti siano consapevoli della natura e del contesto dei dati che stanno consumando.

I risultati dello scenario di validazione dimostrano che la nostra architettura del connettore ha raggiunto i suoi obiettivi. Il deployment di CKAN come portale di Open Data consente un'alimentazione senza soluzione di continuità delle descrizioni dei dati nella piattaforma. Inoltre, l'integrazione di EDP come consumatore di dati garantisce che le informazioni condivise siano di alta qualità e facilmente accessibili.

#Conclusione

In conclusione, il nostro lavoro sottolinea i potenziali vantaggi della connessione tra i dati NGSI-LD e i portali di Open Data. La combinazione di questi due domini crea una soluzione potente che migliora la disponibilità dei dati pubblici. L'architettura proposta, che include vari componenti e moduli, aiuta a facilitare lo scambio di informazioni tra questi mondi.

Il lavoro futuro potrebbe ulteriormente migliorare la funzionalità del connettore, consentendo più formati e integrazioni dirette senza la necessità di un'istanza CKAN intermedia. L'obiettivo finale rimane quello di garantire che la condivisione dei dati sia il più fluida ed efficace possibile, portando a migliori intuizioni e decisioni nei vari settori.