研究データとソフトウェアの品質を測ること

研究データとソフトウェアは、科学的な仕事の重要な成果なんだ。でも、従来の学術出版物に比べて、その質を測るための受け入れられた方法がないんだ。この論文では、研究データとソフトウェア専用の質の測定基準を作るための取り組みについて話している。これは、ドイツの研究センターが集まったヘルムホルツ協会のグループによって開発されているんだ。目的は、これらの成果物の質を評価するツールを作って、科学コミュニティに効果的に貢献することなんだ。

#背景

科学界では、研究の質を評価するのは通常、科学出版物の成果物に基づいている。テキストベースの記事は質の保証のプロセスが確立されているけど、研究データやソフトウェアには同じことが当てはまらない。これらの成果物は科学的な仕事の貴重な側面を代表していて、特に研究がデータやソフトウェアにますます依存するようになっている今、重要なんだ。

ヘルムホルツ協会はこのニーズを認識して、研究データとソフトウェアを重要なパフォーマンス指標に組み込むことに決めた。目的は、研究の成果物の多様性についての認識を高め、評価をデジタル・オープンサイエンスの成長に合わせ、研究者が質を向上させることを促すことなんだ。

この質の測定基準に取り組むグループには、科学者、ソフトウェア開発者、データキュレーター、そして研究成果を報告する他の人たちが含まれている。この論文では、彼らの質の指標を作るためのビジョンをまとめる予定なんだ。

#定義

混乱を避けるために、ここでの研究データと研究ソフトウェアの意味を明確にすることが大事なんだ。

• 研究データ: これは科学活動において収集、作成、または使用されるデータを指す。研究結果をサポートするために使われ、科学コミュニティで検証に必要だと認識されている。複雑な実験データから標準データセットまで幅広いんだ。

• 研究ソフトウェア: これは研究プロセスを通じて開発されたソフトウェアを意味する。個人使用から長期サポートがあるものや重要なアプリケーションまで、いろんな成熟段階のソフトウェアを含むんだ。

研究成果物は、インターネット上で永続的に利用可能なデジタルオブジェクトとして定義されていて、他者がアクセスして利用できるようになっている。

#質基準の開発

質の測定基準を開発するプロセスでは、いくつかの重要な問題に取り組む必要があるんだ：

1. どの基準を質として評価すべきか？
2. 各基準の質をどう測るか？
3. これらの測定をどうやって一つの質のスコアにまとめるか？
4. 質の測定を集めるプロセスをどう自動化するか？

質の指標はさまざまな研究分野に適応できる必要があるから、一般的なアプローチが必要なんだ。

質基準を定義するために、グループはFAIR原則（見つけやすさ、アクセス可能性、相互運用性、再利用可能性）などの確立された概念を使うことにしている。さらに、品質を評価するためにCOBIT成熟度モデルも利用される予定で、プロセスや開発の段階を見ていくんだ。

最終的な質のスコアは、さまざまな測定から導き出され、質の多面的な性質を示す予定なんだ。

#方法論

質の測定基準を作るには、構造化されたアプローチに従う必要があるんだ。

1. 質の次元を定義: まずは質を評価できるいくつかの次元を特定することから始める。出版方法、オープン性、キュレーション、メタデータの質などが含まれるかもしれない。

2. 属性を特定: 各次元に対して、特定の属性のセットを特定する必要がある。その属性が質のさまざまな側面を捉えることになる。

3. 属性をスコア化: 各属性は成熟度スケールに従って評価され、質の数値表現が得られる。

4. スコアを集約: 加重平均を使って、すべての属性のスコアを組み合わせて、各次元の成熟度レベルを得る。

5. 結果を視覚化: 最後に、結果は視覚的に表現される、例えばレーダープロットを使って、異なる研究成果物が質の次元でどのようにパフォーマンスしているかを示す。

この構造化されたアプローチは、多様な成果物の質を評価するための徹底的でありながら管理可能な方法を提供するんだ。

#研究データの質評価

公開された研究データの質を評価する際には、5つの主要な次元が考慮されるんだ：

1. 出版: この次元はデータがどれだけよく出版されているかを見ていて、ユニークな識別子があるか、認識されたリポジトリに保存されているかなどを含む。

2. オープン性: これはデータのアクセス可能性に焦点を当てていて、オープンに利用できるかどうか、どんなライセンスがあるかを見ている。

3. キュレーション: この次元はデータがどれだけよくキュレーションされ、文書化されているかを評価するもので、他の人にとっての有用性を高める可能性がある。

4. メタデータ: 質の高いメタデータはデータを見つけやすくし、解釈可能にするために重要なんだ。この次元では、データと一緒に提供されるメタデータの質と構造を評価する。

5. 外部ビュー: これはコミュニティ特有のベストプラクティスや要件に基づいた評価を含んでいて、データの質についての広い視点を提供するんだ。

#研究ソフトウェアの質評価

研究ソフトウェアでは、6つの次元が評価されることになる：

1. 見つけやすさ: この次元は研究者がソフトウェアを見つけられるか、バージョンを特定できるかを考慮している。

2. アクセス可能性: アクセス可能性は、ソフトウェアが簡単に使えるかどうか、使用にどんな条件があるかを見ている。

3. 相互運用性: これはソフトウェアがより大きなシステムやフレームワーク内で機能する能力を評価する。

4. 再利用性: これはソフトウェアを他の用途にどれだけ簡単に適応できるかに焦点を当てている。

5. 科学的基盤: これはソフトウェアがコミュニティの標準や慣行に沿っているかどうかをチェックする。

6. 技術的基盤: この次元はソフトウェアの開発プロセスを評価していて、プロフェッショナルなソフトウェアエンジニアリングの側面も含まれる。

#質レベルと成熟度

研究データとソフトウェアの両方において、質評価にはさまざまな属性の成熟度を評価するためのスケールが使用される。

成熟度のレベルは以下のように分類できる：

• レベル0: 情報がない。
• レベル1: 初期情報がある。
• レベル2: 情報は繰り返し可能だが、まだ正式化されていない。
• レベル3: 情報をまとめるための定義されたプロセスが存在する。
• レベル4: プロセスは管理され、監視されている。
• レベル5: プロセスは継続的な改善のために最適化されている。

各属性のスコアは、その成熟度レベルを反映し、前のレベルに基づいて構築される。この包括的なスコアリングは、質をより詳細に理解するのを可能にするんだ。

#視覚的表現

質評価をより理解しやすくするために、結果はレーダープロットを通じて視覚化される。これらのプロットは、研究データやソフトウェアがすべての質の次元においてどのようにパフォーマンスしているかを示し、明確な比較を提供し、強みと弱みを際立たせるんだ。

#最後に

この質指標を開発する全体の目標は、研究データとソフトウェアを公正に評価する方法を提供することなんだ。研究成果物の多様性についての認識を創出し、現代の慣行に評価を合わせ、研究者が質を向上させることを促すことを目指している。

この論文では、研究の質を評価するための堅牢なフレームワークを確立するための進行中の旅を概説している。グループは、このアプローチを洗練し、強化するために広範な科学コミュニティからの意見やフィードバックを歓迎している。この指標が研究方法論の変化や進展を反映しながら、常に進化することを目指しているんだ。

要するに、研究データとソフトウェアの質指標を実装することによって、ヘルムホルツ協会は科学的な質と信頼性の全体的な向上に寄与することを目指している。この取り組みは、データやソフトウェアが研究の重要な成果であることを認識し、科学的な領域でそれらが必要な注意や検証を受けることを確保するためのステップを示しているんだ。