Misurare la qualità nei dati di ricerca e nel software

I Dati di ricerca e il software sono risultati importanti del lavoro scientifico. Però, non ci sono modi accettati per misurare la loro qualità come abbiamo per le pubblicazioni accademiche tradizionali. Questo documento parla di uno sforzo per creare una misura di qualità specificamente per i dati di ricerca e il software. Questa misura è in fase di sviluppo da un gruppo nell'Associazione Helmholtz, che è una rete di centri di ricerca in Germania. L'obiettivo è creare uno strumento che aiuti a valutare la qualità di questi risultati e a garantire che contribuiscano in modo efficace alla comunità scientifica.

#Contesto

Nel mondo scientifico, valutare la qualità della ricerca di solito si basa sull'uscita delle pubblicazioni scientifiche. Gli articoli testuali hanno processi stabiliti per l'assicurazione della qualità, ma lo stesso non vale per i dati di ricerca e il software. Questi risultati rappresentano aspetti preziosi del lavoro scientifico, specialmente poiché la ricerca si basa sempre di più su dati e software.

L'Associazione Helmholtz riconosce questa necessità e ha deciso di includere i dati di ricerca e il software nei suoi indicatori di performance chiave. L'obiettivo è aumentare la consapevolezza sulla varietà di risultati della ricerca, allineare le valutazioni con il crescente panorama della scienza digitale e aperta, e incoraggiare i ricercatori a migliorare la loro qualità.

Il gruppo che lavora su questa misura di qualità include scienziati, sviluppatori di software, curatori di dati e altri coinvolti nella segnalazione dei risultati della ricerca. Il documento riassumerà la loro visione per creare un indicatore di qualità.

#Definizioni

Per evitare confusione, è essenziale chiarire cosa si intende per dati di ricerca e software di ricerca in questo contesto.

• Dati di Ricerca: Si riferisce ai dati raccolti, creati o usati nelle attività scientifiche. Sono utilizzati per supportare i risultati della ricerca e sono riconosciuti nella comunità scientifica come necessari per la validazione. Questo può variare da dati sperimentali complessi a set di dati standard.

• Software di Ricerca: Questo significa software sviluppato durante il processo di ricerca. Può includere software in varie fasi di maturità, dall'uso personale al supporto a lungo termine e applicazioni critiche.

I risultati della ricerca sono definiti come oggetti digitali resi permanentemente disponibili su Internet, consentendo ad altri di accedervi e utilizzarli.

#Sviluppo dei Criteri di Qualità

Il processo di sviluppo di una misura di qualità richiede di affrontare alcuni problemi chiave:

1. Quali criteri dovrebbero essere valutati per la qualità?
2. Come possiamo misurare la qualità di ogni criterio?
3. Come possiamo combinare queste misurazioni in un punteggio di qualità unico?
4. Come possiamo automatizzare il processo di raccolta di queste misurazioni di qualità?

Poiché l'indicatore di qualità deve essere adatto a vari campi di ricerca, è necessario un approccio generico.

Per definire i criteri di qualità, il gruppo sta utilizzando concetti consolidati come i Principi FAIR, che stanno per Findability, Accessibility, Interoperability e Reusability. Inoltre, sarà utilizzato il Modello di Maturità COBIT, che fornisce un modo per valutare la qualità guardando ai processi e alle fasi di sviluppo.

Il punteggio finale di qualità sarà derivato da varie misurazioni, illustrando la natura multifacetica della qualità.

#Metodologia

Creare una misura di qualità comporta seguire un approccio strutturato.

1. Definire le Dimensioni di Qualità: Il primo passo è identificare diverse dimensioni riguardanti le quali la qualità può essere valutata. Potrebbe includere aspetti come metodi di pubblicazione, apertura, curatela e qualità dei metadati.

2. Identificare gli Attributi: Per ogni dimensione, dovrebbe essere identificato un insieme di attributi specifici. Questi attributi cattureranno le varie sfaccettature della qualità.

3. Valutare gli Attributi: Ogni attributo sarà valutato secondo una scala di maturità, permettendo una rappresentazione numerica della qualità.

4. Aggregare i Punteggi: Utilizzando medie ponderate, i punteggi per tutti gli attributi saranno combinati per ottenere un livello di maturità per ogni dimensione.

5. Visualizzare i Risultati: Infine, i risultati possono essere rappresentati visivamente, ad esempio, utilizzando grafici radar per mostrare come si comportano i diversi risultati della ricerca rispetto alle dimensioni di qualità.

Questo approccio strutturato consente un metodo approfondito ma gestibile per valutare la qualità attraverso risultati diversi.

#Valutazione della Qualità dei Dati di Ricerca

Quando si valuta la qualità dei dati di ricerca pubblicati, si considereranno cinque dimensioni principali:

1. Pubblicazione: Questa dimensione guarda a quanto bene sono pubblicati i dati, incluso se hanno un identificatore unico e se sono archiviati in repository riconosciuti.

2. Apertura: Questa si concentra sull'accessibilità dei dati, incluso se sono disponibili apertamente e che tipo di licenza hanno.

3. Curatela: Questa dimensione valuta quanto bene i dati sono stati curati e documentati, il che può aumentare la loro utilità per gli altri.

4. Metadati: Metadati di qualità sono cruciali per rendere i dati rintracciabili e interpretabili. Questa dimensione valuterà la qualità e la struttura dei metadati forniti insieme ai dati.

5. Vista Esterna: Questo include una valutazione basata sulle migliori pratiche e requisiti specifici della comunità, dando una prospettiva più ampia sulla qualità dei dati.

#Valutazione della Qualità del Software di Ricerca

Per il software di ricerca, saranno valutate sei dimensioni:

1. Rintracciabilità: Questa dimensione considera se i ricercatori possono trovare il software e identificare la sua versione.

2. Accessibilità: L'accessibilità guarda a se il software può essere utilizzato facilmente e quali condizioni si applicano al suo uso.

3. Interoperabilità: Questo valuta la capacità del software di funzionare all'interno di sistemi e framework più grandi.

4. Riutilizzabilità: Questa si concentra su quanto facilmente il software può essere adattato per altri usi.

5. Base Scientifica: Questo verifica se il software è in linea con gli standard e le pratiche della comunità.

6. Base Tecnica: Questa dimensione valuta il processo di sviluppo del software, inclusi aspetti dell'ingegneria del software professionale.

#Livelli di Qualità e Maturità

Per i dati di ricerca e il software, la valutazione della qualità utilizzerà una scala per valutare la maturità di diversi attributi.

I livelli di maturità possono essere categorizzati come segue:

• Livello 0: Nessuna informazione disponibile.
• Livello 1: Informazioni iniziali disponibili.
• Livello 2: Le informazioni sono ripetibili ma non ancora formalizzate.
• Livello 3: Esiste un processo definito per raccogliere informazioni.
• Livello 4: Il processo è gestito e monitorato.
• Livello 5: Il processo è ottimizzato per un miglioramento continuo.

Il punteggio di ogni attributo rifletterà il suo livello di maturità, costruendo sui livelli precedenti. Questa valutazione completa consentirà una comprensione più sfumata della qualità.

#Rappresentazione Visiva

Per rendere la valutazione della qualità più comprensibile, i risultati possono essere visualizzati attraverso grafici radar. Questi grafici mostreranno le prestazioni dei dati di ricerca o del software rispetto a tutte le dimensioni di qualità, offrendo un chiaro confronto e mettendo in evidenza punti di forza e debolezze.

#Pensieri Finali

L'obiettivo generale di sviluppare questo indicatore di qualità è fornire un modo equo per valutare i dati di ricerca e il software. Mira a creare consapevolezza sulla diversità dei risultati della ricerca, allineare le valutazioni con le pratiche moderne e incoraggiare i ricercatori a migliorare.

Questo documento delinea un viaggio in corso verso l'istituzione di un quadro robusto per la valutazione della qualità della ricerca. Il gruppo accoglie contributi e feedback dalla comunità scientifica più ampia per affinare e migliorare questo approccio. L'obiettivo è che questo indicatore si evolva continuamente, riflettendo cambiamenti e progressi nelle metodologie di ricerca.

In sintesi, implementando un indicatore di qualità per i dati di ricerca e il software, l'Associazione Helmholtz cerca di contribuire al miglioramento complessivo della qualità scientifica e della fiducia. Questa iniziativa rappresenta un passo verso il riconoscimento dell'importanza dei dati e del software come risultati essenziali della ricerca, garantendo che ricevano l'attenzione e la validazione che meritano nel panorama scientifico.