Sfide nella misurazione dell'innovazione con l'Indice di Disruptione
Esaminare come l'indice di interruzione possa rappresentare male le tendenze dell'innovazione.
― 4 leggere min
Indice
- Cos'è l'Indice di Disruzione?
- Perché è Importante
- Problemi con l'Indice di Disruzione
- Risultati di Studi Recenti
- Importanza di una Misurazione Accurata
- La Relazione Tra Crescita delle Citazioni e Dimensione del Team
- Conclusione
- Il Futuro della Misurazione dell'Innovazione
- Osservazioni Finali
- Fonte originale
- Link di riferimento
Misurare come nascono nuove idee e invenzioni sia nel mondo accademico che nell'industria è fondamentale per tenere sotto controllo l'economia basata sulla conoscenza. È stato creato uno strumento chiamato Indice di Disruzione per aiutare in questo. Si guarda a quanto spesso un nuovo lavoro fa riferimento a lavori precedenti in articoli e brevetti. Tuttavia, scoperte recenti suggeriscono che questo indice potrebbe avere dei problemi perché il modo in cui i ricercatori citano il lavoro è cambiato nel corso degli anni.
Cos'è l'Indice di Disruzione?
L'indice di disruzione viene usato per valutare quanto un nuovo lavoro, come un articolo di ricerca o un brevetto, si allontana dalla conoscenza esistente. Prova a vedere se un'idea nuova è davvero nuova o se si basa su idee più vecchie. Se un nuovo lavoro cita meno il lavoro vecchio del solito, potrebbe essere visto come più dirompente.
Perché è Importante
Capire l'indice di disruzione ci aiuta a valutare l'innovazione nella scienza e nella tecnologia. Se ricercatori e aziende capiscono come si sviluppano le nuove idee, possono migliorare la gestione della ricerca e le politiche che supportano l'innovazione.
Problemi con l'Indice di Disruzione
Nonostante il suo scopo, l'indice di disruzione ha ricevuto critiche. Due motivi principali contribuiscono ai suoi problemi. Uno riguarda il comportamento dei ricercatori stessi, mentre l'altro è legato a come le citazioni crescono nel tempo.
Cambiamenti nel Comportamento della Ricerca
Cambiamenti comportamentali, come il modo in cui i ricercatori citano il proprio lavoro, influenzano l'indice di disruzione. Ad esempio, alcuni ricercatori potrebbero citare frequentemente i propri articoli precedenti per aumentare la loro visibilità e importanza percepita. Questa auto-citazione può dare un'immagine fuorviante di quanto nuovo lavoro interrompa le vecchie idee.
La Crescita delle Reti di Citazione
Un altro problema viene da quello che si chiama Inflazione delle citazioni. Questo si riferisce all'aumento totale delle citazioni nel tempo a causa del numero crescente di articoli e brevetti. Man mano che vengono pubblicati più lavori, il numero di riferimenti in ogni lavoro tende ad aumentare, il che può abbassare artificialmente l'indice di disruzione. Quando i gruppi di ricerca diventano più grandi, spesso includono più riferimenti, portando a una rete di citazioni più densamente popolata.
Risultati di Studi Recenti
Analisi recenti indicano che l'indice di disruzione è effettivamente diminuito nel tempo, ma questo potrebbe non riflettere un vero declino nell'innovazione dirompente. Invece, potrebbe essere il risultato dell'inflazione delle citazioni e dei cambiamenti nel modo in cui i ricercatori citano il lavoro.
Citazioni Mancanti
La ricerca ha identificato che molti studi potrebbero trascurare citazioni, soprattutto brevetti o articoli più vecchi. Questa lacuna porta a un'immagine inaccurata di quanto disruzione stia realmente avvenendo. Quando i ricercatori correggono le citazioni mancanti, spesso vedono un aumento nel livello misurato di disruzione.
Confronti di Diversi Articoli
Per studiare questi problemi, i ricercatori hanno confrontato articoli di due tipi di pubblicazioni simili: articoli tradizionali e pubblicazioni più lunghe. Hanno scoperto che gli articoli più lunghi avevano punteggi più bassi nell'indice di disruzione. Questa differenza potrebbe essere attribuita a elenchi di riferimenti più lunghi che accompagnano più citazioni.
Importanza di una Misurazione Accurata
Una misurazione accurata dell'innovazione è essenziale per comprendere il progresso scientifico. L'indice di disruzione, pur essendo utile, non è privo di difetti. Man mano che i ricercatori identificano questi problemi, possono lavorare per trovare modi migliori per valutare quanto siano davvero innovative le proprie ricerche.
La Relazione Tra Crescita delle Citazioni e Dimensione del Team
Esiste una forte relazione tra la dimensione dei Team di Ricerca e la lunghezza dei loro elenchi di riferimenti. Team più grandi tendono a produrre articoli più lunghi e citano più fonti. Questa tendenza crescente complica la misurazione della disruzione, poiché più riferimenti possono mascherare l'impatto di idee veramente dirompenti.
Conclusione
L'indice di disruzione è uno strumento prezioso per valutare l'innovazione, ma è fondamentale riconoscerne i limiti. Man mano che le pratiche di citazione evolvono, anche il modo in cui misuriamo la disruzione deve adattarsi. Comprendendo queste dinamiche, ricercatori e decisori politici possono supportare meglio l'innovazione genuina nell'economia della conoscenza.
Il Futuro della Misurazione dell'Innovazione
Andando avanti, sarà fondamentale valutare e perfezionare continuamente i metodi usati per misurare la disruzione nella ricerca. Questo potrebbe comportare l'impostazione di limiti sulla lunghezza degli elenchi di riferimenti o la creazione di standard migliori per le pratiche di citazione. Migliorando questi metrici, possiamo ottenere una visione più chiara di come nascono le nuove idee e influenzano il corpo esistente di conoscenza.
Osservazioni Finali
Man mano che il panorama della ricerca e dello sviluppo continua a cambiare, anche i nostri approcci alla valutazione devono evolversi. Promuovendo un ambiente che incoraggia l'innovazione genuina e riconosce correttamente la sua dirompenza, possiamo coltivare risultati migliori sia per la scienza che per l'industria negli anni a venire.
Titolo: The disruption index suffers from citation inflation and is confounded by shifts in scholarly citation practice
Estratto: Measuring the rate of innovation in academia and industry is fundamental to monitoring the efficiency and competitiveness of the knowledge economy. To this end, a disruption index (CD) was recently developed and applied to publication and patent citation networks (Wu et al., Nature 2019; Park et al., Nature 2023). Here we show that CD systematically decreases over time due to secular growth in research and patent production, following two distinct mechanisms unrelated to innovation -- one behavioral and the other structural. Whereas the behavioral explanation reflects shifts associated with techno-social factors (e.g. self-citation practices), the structural explanation follows from `citation inflation' (CI), an inextricable feature of real citation networks attributable to increasing reference list lengths, which causes CD to systematically decrease. We demonstrate this causal link by way of mathematical deduction, computational simulation, multi-variate regression, and quasi-experimental comparison of the disruptiveness of PNAS versus PNAS Plus articles, which differ only in their lengths. Accordingly, we analyze CD data available in the SciSciNet database and find that disruptiveness incrementally increased from 2005-2015, and that the negative relationship between disruption and team-size is remarkably small in overall magnitude effect size, and shifts from negative to positive for team size $\geq$ 8 coauthors.
Autori: Alexander M. Petersen, Felber Arroyave, Fabio Pammolli
Ultimo aggiornamento: 2024-06-21 00:00:00
Lingua: English
URL di origine: https://arxiv.org/abs/2406.15311
Fonte PDF: https://arxiv.org/pdf/2406.15311
Licenza: https://creativecommons.org/licenses/by/4.0/
Modifiche: Questa sintesi è stata creata con l'assistenza di AI e potrebbe presentare delle imprecisioni. Per informazioni accurate, consultare i documenti originali collegati qui.
Si ringrazia arxiv per l'utilizzo della sua interoperabilità ad accesso aperto.