ソフトウェア研究アーティファクトの共有における課題とトレンド

最近、ソフトウェア工学（SE）の研究者たちは、出版物と一緒に研究の成果物を共有するように促されています。成果物には、コード、データ、そして研究論文の結果をサポートするためのその他の資料が含まれます。これらの資料を共有することで、他の人がその研究を理解し、検証し、発展させる手助けになります。しかし、これらの成果物の共有の現状、その質や影響については、もっと理解される必要があります。

この論文は、SE出版物における成果物の共有を研究・特性化することに焦点を当てています。研究者がどのように成果物を共有しているのか、どれだけ維持しているのか、人気や質など、さまざまな側面を見ていきます。

#データ収集

データを集めるために、2017年から2022年の間に発表された2,196本のSE会議の論文を調査し、合計1,487の成果物を抽出しました。私たちが注目した会議は、業界内で評価が高く、高い研究基準で知られています。

この研究は、主に4つの分野を調査します：

1. 成果物の共有に関する一般的な実践。
2. 出版後の成果物の維持管理。
3. コミュニティ内での成果物の人気。
4. これらの成果物の全体的な質。

#成果物の共有に関する一般的な実践

研究者が成果物をどのように共有しているかを見たところ、今では多くの出版物がこれらの資料へのリンクを含むようになってきています。成果物を提供する論文の割合は、2017年の60.1%から2022年には81.1%に増加しました。

研究者は、成果物を保存・共有するためにさまざまなプラットフォームを使用しており、GitHubが最も人気の選択肢です。多くの研究者は、使いやすさと親しみやすさからGitHubを好んでいますが、いくつかの会議では、研究資料の共有に特化したZenodoのようなプラットフォームの使用を推奨しています。Zenodoでの成果物の共有割合は、2017年の0%から2022年には16%に増加しました。

Pythonは、これらの成果物で最も頻繁に使用されるプログラミング言語として現れ、従来好まれていたJavaを上回りました。2022年の時点で、61.1%の成果物がPythonで書かれており、この多様な言語の使用が広がっていることを反映しています。

#成果物の維持管理

時間が経つにつれて成果物を維持管理することは重要です。リンクが無効になったり「ダーク」になったりすることがよくあるからです。このリンクが無効になる率は上昇しており、研究者が成果物をアクセス可能な状態に保つことがますます重要になっています。

2017年から2022年の間に、リンクが無効になる率は4.8%から29.8%に上昇しました。具体的な保存方法がリンクの無効になる可能性に影響を与え、仮想ドライブに保存された成果物は高い無効率が見られましたが、GitHubやZenodoに保存されたものは低い無効率を示しました。

また、研究者が成果物を更新することも重要です。平均して、出版後に90%以上の成果物が継続的な更新を必要としています。しかし、更新の割合は時間と共に減少し、古い成果物が新しいものよりも多くの注意を引きます。

#成果物の人気

成果物の人気は、GitHubで受け取るスターの数で測ることができます。多くの成果物はあまり注目されず、65%が10個以下のスターしか持っていません。これは、成果物の共有が増えているにもかかわらず、ほとんどが重要な認識や実際の使用を達成していないことを示唆しています。

わずか3.7%の成果物が100スターを超え、これは成果物の共有が増えている一方で、これらの資料の多くが広いオーディエンスに届かず、実質的な影響を与えていないことを示しています。

#成果物の質

共有された成果物の質は、使いやすさと信頼性にとって重要です。この研究では、ドキュメントの質やコードの匂いの発生率も調査されました。コードの匂いは、コード内の潜在的な問題の指標です。

Pythonの成果物では、96%以上がコードの匂い警告を引き起こしており、多くの成果物が基準に達していない可能性があることを示しています。Javaの成果物の警告率はさらに高く、98.3%に達しています。問題は主にコーディングの慣習に関するものであり、機能的な問題ではなく、これらの成果物の全体的な質や維持管理能力に対する懸念を引き起こします。

#結果と提案

この分析からわかるのは、SEコミュニティで成果物の共有が進展している一方で、いくつかの課題が残っていることです。成果物の質と可用性を高めるために、いくつかの重要な提言ができます：

1. 成果物の準備に関するガイダンスの改善: 会議やジャーナルは、成果物の準備に関するより明確なガイドラインを提供するべきです。どのプラットフォームを使用し、どのように成果物を文書化すべきかを含めます。

2. 持続可能な保存ソリューションの推進: 研究者がGitHubやZenodoのような確立されたプラットフォームを使用することを奨励し、一時的なドライブや個人のウェブサイトの使用を最小限に抑え、リンクの劣化を防ぎます。

3. URLの場所の標準化: 成果物のURLは、出版物内で明確に見えるようにすべきで、理想的には専用のセクションに配置するべきです。これにより、見つけやすくなります。

4. 定期的な維持管理の奨励: 研究者は、成果物を一度きりの提出ではなく、継続的なプロジェクトとして扱う必要があります。定期的な更新は、成果物を有効に保つために必要です。

5. 質の向上に焦点を当てる: 成果物の質、特に文書化に関して、より多くの努力が求められます。明確で包括的なREADMEファイルが、使いやすさや再現性を大幅に向上させます。

6. 成果物の重要性の認識を高める: コミュニティは、成果物が研究の重要な要素であり、単なる補助的な材料ではないという環境を引き続き育むべきです。

#結論

SE出版物における成果物の透明性と共有の増加は、分野における前向きな進展を示しています。しかし、コミュニティは、成果物の維持管理、人気、質に関する継続的な問題に取り組む必要があります。これらの提案を実施することで、研究者や会議の主催者は、研究成果物の効果と影響を高めることができ、最終的には広範なソフトウェア工学コミュニティに利益をもたらします。

研究成果物がソフトウェア工学におけるコラボレーション、検証、進展を促進する上で重要な役割を果たし続ける中、これらの実践を改善することに焦点を当てることは、これらの資料を共有する利点が完全に実現されるために重要です。