Simple Science

最先端の科学をわかりやすく解説

# コンピューターサイエンス# デジタル・ライブラリー# 社会と情報ネットワーク

データの欠陥が科学の革新性の低下に関する主張を疑わせている

新しい分析が、科学論文や特許における革新の減少についての主張に誤りがあることを明らかにした。

― 1 分で読む


データエラーが混乱の主張をデータエラーが混乱の主張を誤解させる問視してる。欠陥のある分析が科学技術の革新の減少を疑
目次

最近の研究によると、科学論文や特許が時間とともにあまり革新性を持たなくなったって言われてるんだ。つまり、昔みたいに新しいアイデアを出してこないってこと。これって、他の研究者がどれだけ引用してるかを調べた結果に基づいてるんだよね。

研究者たちは、Citation Disruption(CD)インデックスっていう特定の指標を使って、約4500万本の科学論文と390万件の特許を分析したんだ。彼らは、本当に革新性が減ってるのか知りたかったんだけど、データの分析に問題があったみたい。

分析の問題

この研究を最初に行った研究者たちが結果を図にする時にミスをしちゃったんだ。引用がゼロの論文や特許をたくさん省いちゃったんだよ。このミスのせいで、結論が歪んでしまったんだ。

彼らの分析では、最大CDインデックスが1のエントリーが隠れてたことに気づいてなかった。この隠れたエントリーが全体の結果を歪めてたんだ。レビューの時に、ちゃんとしたチェックをしたにも関わらず、この見落としは見逃されちゃった。

別の分析をしたら、革新性が減ってるっていうのは実際には引用がゼロのエントリーが減った結果だったってわかった。これは最初の研究にとって重大な見落としで、外されたデータポイントが全体の状況を理解するのに重要だったんだ。

CDインデックスの理解

CDインデックスは、科学論文や特許がどれだけ革新的かを引用数で測る指標なんだ。高いCDインデックスは多くの他の作品に影響を与えたことを示すし、逆に低いインデックスはあまり影響がなかったことを意味する。

最初の研究では、全体的に革新性が減ってるって言ってたんだけど、外されたデータポイントを含めると結果が大きく変わった。減少は明らかじゃなくなったんだ。

ゼロ引用の論文と特許の役割

引用がゼロのエントリーは、ただの重要でない作品じゃなかった。これらの論文や特許は元の文書では引用されてたけど、データベースに間違って記録されちゃったんだ。だから、ゼロ引用と誤分類されちゃった。

データを調整してこれらのエントリーを含めると、最初の結果が誤解を招いてたことが明らかになった。隠れたエントリーが、科学や技術の革新性が減少しているという誤った物語を作ってたんだ。

データの再分析

再分析では、データベースを詳しく見て、隠れた外れ値を修正したんだ。研究者たちがゼロ引用のエントリーを取り除いたら、革新性の減少がほとんど消えちゃった。これは、元の主張が欠陥のあるデータに基づいていたことを示してる。

さらに、データのプロットの仕方も結果を誤って表現する原因になってたんだ。プロットソフトのバグで、最大のデータポイントが表示されてなかったから、結果がさらに歪んでた。

発見の重要性

今回の発見は、データ分析や正確なデータ管理の重要性を示してる。誤分類は、科学の進歩の理解に影響を与える間違った結論を導くことがあるからね。

零引用とされてたスター論文や特許をファクトチェックしたら、多くが元の文書に引用が含まれてることがわかった。これが、データベースのエントリーが誤ってることを強く示してる。

時間の経過に伴う進化

ゼロ引用のエントリーの数は時間とともに安定してたけど、相対的な頻度は減少してて、これが前に報告された革新性の減少と一致してた。これによって、革新性の減少が本当に実在するのか、データベースの質が向上した結果なのか疑問が生まれる。

研究者たちがゼロ引用のエントリーを誤解を招くものとしてターゲットにした時、これらのエントリーを調整すると、科学と技術の分野での革新性の全体的な見方が大きく変わったんだ。

他のデータソースの探索

最初のデータベースに加えて、研究者たちはSciSciNetっていう別の引用ネットワークも調べて、似たようなパターンを見つけたんだ。隠れた外れ値が、科学や技術の革新性の減少の印象を形作るのに関わってたんだ。

いろんなソースを通じて、ゼロ引用のエントリーが革新性の減少を見せる要因になってることがわかった。これらの作品が除外または修正されると、結果は全然違うストーリーを示したんだ。

結論

科学論文や特許の革新性の減少に関する初期の主張は、データの不正確さに大きく影響を受けてたみたい。隠れたエントリーを調べて含めることで、研究者たちは状況をより明確に描くことができたんだ。

この発見は、科学と技術の革新性の減少が、以前に主張されていたほど深刻ではないかもしれないことを示唆してる。誤ったエントリーを考慮に入れると、物語が変わって、最近の科学と技術の進展の影響とインパクトに対してより楽観的な見方ができるようになる。

この再分析は、データを解釈する際の注意の必要性と、データベースのエントリーを徹底的にチェックして検証する重要性を強調してる。メタデータの質が向上するにつれて、研究者たちはこれが科学の進歩に関する結論にどう影響するかを認識することが重要なんだ。

要するに、初期の主張は科学の進展の革新性が減少したって言ってたけど、近くで見ると、それは主にデータ管理の問題が原因だったんだ。これらの不正確さを正すことで、今日の科学と技術の状況についてより良い理解が得られ、進化についての正確な議論を促進する手助けになるんだ。

オリジナルソース

タイトル: Dataset Artefacts are the Hidden Drivers of the Declining Disruptiveness in Science

概要: Park et al. [1] reported a decline in the disruptiveness of scientific and technological knowledge over time. Their main finding is based on the computation of CD indices, a measure of disruption in citation networks [2], across almost 45 million papers and 3.9 million patents. Due to a factual plotting mistake, database entries with zero references were omitted in the CD index distributions, hiding a large number of outliers with a maximum CD index of one, while keeping them in the analysis [1]. Our reanalysis shows that the reported decline in disruptiveness can be attributed to a relative decline of these database entries with zero references. Notably, this was not caught by the robustness checks included in the manuscript. The regression adjustment fails to control for the hidden outliers as they correspond to a discontinuity in the CD index. Proper evaluation of the Monte-Carlo simulations reveals that, because of the preservation of the hidden outliers, even random citation behaviour replicates the observed decline in disruptiveness. Finally, while these papers and patents with supposedly zero references are the hidden drivers of the reported decline, their source documents predominantly do make references, exposing them as pure dataset artefacts.

著者: Vincent Holst, Andres Algaba, Floriano Tori, Sylvia Wenmackers, Vincent Ginis

最終更新: 2024-02-07 00:00:00

言語: English

ソースURL: https://arxiv.org/abs/2402.14583

ソースPDF: https://arxiv.org/pdf/2402.14583

ライセンス: https://creativecommons.org/licenses/by/4.0/

変更点: この要約はAIの助けを借りて作成されており、不正確な場合があります。正確な情報については、ここにリンクされている元のソース文書を参照してください。

オープンアクセスの相互運用性を利用させていただいた arxiv に感謝します。

参照リンク

著者たちからもっと読む

類似の記事