Herausforderungen bei der Messung von Innovation mit dem Disruptionsindex
Untersuchung, wie der Störungsindex Innovations-Trends falsch darstellen kann.
― 5 min Lesedauer
Inhaltsverzeichnis
- Was ist der Disruption Index?
- Warum das wichtig ist
- Probleme mit dem Disruption Index
- Veränderungen im Forschungs-Verhalten
- Das Wachstum von Zitierungsnetzwerken
- Ergebnisse aus aktuellen Studien
- Fehlende Zitierungen
- Vergleiche von verschiedenen Artikeln
- Bedeutung genauer Messungen
- Die Beziehung zwischen dem Wachstum von Zitierungen und der Teamgrösse
- Fazit
- Die Zukunft der Innovationsmessung
- Abschliessende Bemerkungen
- Originalquelle
- Referenz Links
Die Messung, wie neue Ideen und Erfindungen in der Wissenschaft und Industrie entstehen, ist entscheidend, um die wissensbasierte Wirtschaft im Blick zu behalten. Ein Werkzeug namens Disruption Index wurde entwickelt, um dabei zu helfen. Er schaut sich an, wie oft neue Arbeiten auf frühere Arbeiten in Artikeln und Patenten verweisen. Neueste Erkenntnisse deuten jedoch darauf hin, dass dieser Index Probleme haben könnte, weil sich die Art und Weise, wie Forscher Arbeiten zitieren, im Laufe der Jahre verändert hat.
Was ist der Disruption Index?
Der Disruption Index wird verwendet, um zu bewerten, wie weit ein neues Stück Arbeit, wie ein Forschungspapier oder ein Patent, vom bestehenden Wissen abweicht. Er versucht herauszufinden, ob eine neue Idee wirklich neu ist oder ob sie auf älteren Ideen aufbaut. Wenn neue Arbeiten weniger auf alte Arbeiten verweisen als üblich, könnte das als disruptiver angesehen werden.
Warum das wichtig ist
Das Verständnis des Disruption Index hilft uns, Innovation in Wissenschaft und Technologie zu bewerten. Wenn Forscher und Unternehmen verstehen, wie neue Ideen entstehen, können sie verbessern, wie sie Recherche und Politiken, die Innovation unterstützen, managen.
Probleme mit dem Disruption Index
Trotz seines Zwecks hat der Disruption Index Kritik erfahren. Zwei Hauptgründe tragen zu seinen Problemen bei. Der eine betrifft das Verhalten der Forscher selbst, der andere hängt mit dem Wachstum von Zitierungen im Laufe der Zeit zusammen.
Veränderungen im Forschungs-Verhalten
Verhaltensänderungen, wie die Art und Weise, wie Forscher ihre eigenen Arbeiten zitieren, wirken sich auf den Disruption Index aus. Zum Beispiel könnten einige Forscher ihre früheren Arbeiten häufig zitieren, um ihre Sichtbarkeit und wahrgenommene Wichtigkeit zu steigern. Diese Selbstzitierung kann ein verzerrtes Bild davon vermitteln, wie sehr neue Arbeiten alte Ideen stören.
Das Wachstum von Zitierungsnetzwerken
Ein weiteres Problem ergibt sich aus dem, was als Zitierungsinflation bezeichnet wird. Das bezieht sich auf den allgemeinen Anstieg von Zitierungen über die Zeit aufgrund der wachsenden Anzahl von Artikeln und Patenten. Je mehr Arbeiten veröffentlicht werden, desto mehr Verweise haben die einzelnen Arbeiten, was den Disruption Index künstlich senken kann. Wenn Forschungsteams grösser werden, enthalten sie oft mehr Verweise, was zu einem dichteren Netzwerk von Zitierungen führt.
Ergebnisse aus aktuellen Studien
Neueste Analysen deuten darauf hin, dass der Disruption Index tatsächlich im Laufe der Zeit abgenommen hat, aber das muss nicht unbedingt einen echten Rückgang disruptiver Innovation widerspiegeln. Stattdessen könnte es das Ergebnis von Zitierungsinflation und Veränderungen in der Art und Weise sein, wie Forscher Arbeiten zitieren.
Fehlende Zitierungen
Forschungen haben gezeigt, dass viele Studien möglicherweise Zitierungen übersehen, insbesondere ältere Patente oder Artikel. Diese Lücke führt zu einem ungenauen Bild davon, wie viel Störung tatsächlich stattfindet. Wenn Forscher für fehlende Zitierungen korrigieren, stellen sie oft einen Anstieg des gemessenen Störungsgrads fest.
Vergleiche von verschiedenen Artikeln
Um diese Probleme zu untersuchen, verglichen Forscher Artikel aus zwei ähnlichen Arten von Publikationen: traditionellen Artikeln und längeren Veröffentlichungen. Sie fanden heraus, dass die längeren Artikel niedrigere Werte im Disruption Index hatten. Dieser Unterschied könnte auf längere Referenzlisten zurückzuführen sein, die mit mehr Zitierungen einhergehen.
Bedeutung genauer Messungen
Eine genaue Messung von Innovation ist entscheidend für das Verständnis des wissenschaftlichen Fortschritts. Der Disruption Index ist zwar nützlich, hat aber auch seine Schwächen. Wenn Forscher diese Probleme identifizieren, können sie daran arbeiten, bessere Wege zu finden, um zu bewerten, wie innovativ eine Arbeit wirklich ist.
Die Beziehung zwischen dem Wachstum von Zitierungen und der Teamgrösse
Es gibt eine starke Beziehung zwischen der Grösse von Forschungsteams und der Länge ihrer Referenzlisten. Grössere Teams neigen dazu, längere Artikel zu produzieren und mehr Quellen zu zitieren. Diese wachsende Tendenz kompliziert die Messung von Störungen, da mehr Verweise die Auswirkungen wirklich disruptiver Ideen verschleiern können.
Fazit
Der Disruption Index ist ein wertvolles Werkzeug zur Bewertung von Innovation, aber es ist wichtig, seine Einschränkungen anzuerkennen. Während sich die Zitierpraktiken weiterentwickeln, muss sich auch die Art und Weise, wie wir Störungen messen, anpassen. Durch das Verständnis dieser Dynamik können Forscher und politische Entscheidungsträger echte Innovation in der wissensbasierten Wirtschaft besser unterstützen.
Die Zukunft der Innovationsmessung
In Zukunft wird es entscheidend sein, die Methoden zur Messung von Störungen in der Forschung kontinuierlich zu bewerten und zu verfeinern. Das könnte beinhalten, Grenzen für die Länge von Referenzlisten festzulegen oder bessere Standards für Zitierpraktiken zu schaffen. Durch die Verbesserung dieser Metriken können wir einen klareren Blick darauf erhalten, wie neue Ideen entstehen und das bestehende Wissen beeinflussen.
Abschliessende Bemerkungen
Da sich die Landschaft von Forschung und Entwicklung weiter verändert, müssen sich auch unsere Ansätze zur Bewertung anpassen. Indem wir eine Umgebung fördern, die echte Innovation unterstützt und deren Disruptivität richtig anerkennt, können wir in den kommenden Jahren bessere Ergebnisse für Wissenschaft und Industrie erzielen.
Titel: The disruption index suffers from citation inflation and is confounded by shifts in scholarly citation practice
Zusammenfassung: Measuring the rate of innovation in academia and industry is fundamental to monitoring the efficiency and competitiveness of the knowledge economy. To this end, a disruption index (CD) was recently developed and applied to publication and patent citation networks (Wu et al., Nature 2019; Park et al., Nature 2023). Here we show that CD systematically decreases over time due to secular growth in research and patent production, following two distinct mechanisms unrelated to innovation -- one behavioral and the other structural. Whereas the behavioral explanation reflects shifts associated with techno-social factors (e.g. self-citation practices), the structural explanation follows from `citation inflation' (CI), an inextricable feature of real citation networks attributable to increasing reference list lengths, which causes CD to systematically decrease. We demonstrate this causal link by way of mathematical deduction, computational simulation, multi-variate regression, and quasi-experimental comparison of the disruptiveness of PNAS versus PNAS Plus articles, which differ only in their lengths. Accordingly, we analyze CD data available in the SciSciNet database and find that disruptiveness incrementally increased from 2005-2015, and that the negative relationship between disruption and team-size is remarkably small in overall magnitude effect size, and shifts from negative to positive for team size $\geq$ 8 coauthors.
Autoren: Alexander M. Petersen, Felber Arroyave, Fabio Pammolli
Letzte Aktualisierung: 2024-06-21 00:00:00
Sprache: English
Quell-URL: https://arxiv.org/abs/2406.15311
Quell-PDF: https://arxiv.org/pdf/2406.15311
Lizenz: https://creativecommons.org/licenses/by/4.0/
Änderungen: Diese Zusammenfassung wurde mit Unterstützung von AI erstellt und kann Ungenauigkeiten enthalten. Genaue Informationen entnehmen Sie bitte den hier verlinkten Originaldokumenten.
Vielen Dank an arxiv für die Nutzung seiner Open-Access-Interoperabilität.