ソフトウェア脆弱性検出の課題と解決策

ソフトウェアの脆弱性（SV）は、攻撃者によって悪用されるソフトウェアの弱点で、データ漏洩のような深刻な損害を引き起こす可能性がある。よく知られている例としてLog4Shellの脆弱性があり、これはソフトウェア開発者やセキュリティ専門家の間で警戒感を呼んだ。これらの脆弱性は、財政的にも評判的にも非常にコストがかかることがある。だから、潜在的な攻撃を防ぐために、できるだけ早く特定して修正することが重要なんだ。

ソフトウェアの脆弱性を手動で検出するのは難しい。特にソフトウェアシステムがますます複雑になっていく中で、かなりの努力と専門知識が必要になる。多くの脆弱性は何年も見逃されたままで、システムが侵害されるリスクが残る。だから、早期に脆弱性を検出するための自動化されたソリューションの需要が高まっているんだ。そうすれば、脆弱性が引き起こす損害を減らせて、開発者の負担も軽減できる。

ここ10年で、機械学習（ML）などのデータ駆動型アプローチがソフトウェア脆弱性予測の分野で注目を集めてきた。これらのモデルは、ソフトウェアリポジトリからの歴史データを分析して、脆弱なコードと脆弱でないコードを区別するパターンを学ぶことで、より効率的に脆弱性を検出できる。しかし、これらのモデルは高品質なデータセットに大きく依存していて、そのデータセットが不足しがちなんだ。既存のデータセットの大半は手動でラベリングされていて、時間がかかり、不完全なことが多い。

#データラベリングの課題

ソフトウェア脆弱性予測における重要な課題の一つは、十分な高品質なデータを取得すること。脆弱性データの最も一般的なソースは、脆弱性修正コミット（VFC）で、これは既知の脆弱性を修正するためにコードベースに加えられた変更だ。ただ、このデータ収集の方法にはいくつかの欠点がある。

1. リソースを大量に消費する：脆弱性を手動でラベリングするには、専門家のかなりの時間と労力が必要。

2. 不完全なデータ：多くの脆弱性修正コミットは報告されず、重要なデータが失われてしまうこと。研究によれば、脆弱性を修正するコミットの60%以上が、いわゆるサイレント修正によって報告されないことがあるらしい。

3. 品質の問題：手動ラベリングに依存することで、データに誤りが生じることがある。だから、機械学習モデルはそのような欠陥のあるデータセットから効果的に学びにくくなる。

これらの課題を解決するために、研究者たちは脆弱性を自動的にラベリングする方法を探求し始めていて、リソースの負担を軽減しつつ大規模なデータセットを作成できるようにしている。

#自動データラベリング

自動ラベリングとは、コードの変更における脆弱性を自動的に特定するツールを使用することを指し、利用可能なデータセットのサイズを大幅に増加させる。そんなツールの一つがD2Aで、これはセキュリティに関連しているかどうかや、静的解析ツールによって検出された脆弱性を成功裏に修正しているかどうかといった基準に基づいて脆弱性修正コミットを自動的にラベル付けする。

自動データラベリングの利点はあるものの、その信頼性についての疑問は残る。D2Aや同様のツールはノイズの多いデータを生成することがあり、自動的にラベル付けされた脆弱性のかなりの部分が不正確である可能性がある。以前の研究によれば、半数以上の自動ラベル付けされたSVが誤ってラベル付けされていることが示されている。

#研究の目標

この研究は、自動ラベル付けされたデータセットのソフトウェア脆弱性予測における効果を探求することを目的としている。私たちは、以下の3つの主要な研究質問に焦点を当てる。

1. 品質の比較：自動ラベル付けされたSVの品質は、人間がラベル付けしたSVと比べてどうなのか？
2. パフォーマンスへの寄与：自動ラベル付けされたSVは、脆弱性予測モデルのパフォーマンスにどの程度寄与するのか？
3. ノイズ削減：ノイズ削減技術は、自動ラベル付けされたSVを使ったモデルのパフォーマンスを向上させられるのか？

#方法論

これらの質問に答えるために、私たちはOpenSSLとFFmpegという2つの有名なオープンソースプロジェクトを使った。これらには活発な貢献者コミュニティがあり、脆弱性の報告プロセスも確立されている。私たちは、これらのプロジェクトから人間ラベルの脆弱性修正コミットと自動ラベルの脆弱性修正コミットのデータを収集した。

#データ収集

人間ラベルデータのために、さまざまな脆弱性データベースから公に報告されたVFCとOpenSSLおよびFFmpegのメンテナーが発表した公式なセキュリティアドバイザリーの組み合わせを利用した。この増強アプローチにより、人間ラベルの脆弱性の数が大幅に増加し、より包括的なデータセットで作業できるようになった。

また、D2A技術を用いて自動ラベルのデータも収集した。これは、コミットメッセージとコードの変更に基づいてVFCを特定する。これにより、大きなデータセットが得られたが、品質にばらつきがあることは認識しており、ラベル付けされたデータのノイズ分析が必要とされた。

#データ分析

データセットを収集した後、私たちは人間ラベルのデータと自動ラベルのデータの両方に対して手動によるラベルの検証を行った。これにより、不一致を特定し、人間ラベルのデータと比較したときの自動ラベルのデータの品質をより明確に把握できた。

私たちの分析によれば、自動ラベルのSVのかなりの部分が正確でないことがわかった。しかし、このノイズの多いデータを使用して作成されたモデルも依然として高いパフォーマンスを示しており、ノイズの中にも価値あるパターンがあるかもしれないことを示唆している。

#結果

#自動ラベルSVの品質

私たちの分析によれば、自動ラベルのVFCのうち、人間ラベルのVFCと重複していたのはごくわずかだった。具体的には、D2AラベルのVFCのうち約2%だけが人間による検証によって脆弱性として認識されていた。これは、手動でキュレーションされたデータセットと自動生成されたデータセットの間に大きなギャップがあることを示している。

さらに、自動ラベルのSVの多くにはノイズが含まれており、誤ってラベル付けされていることを意味する。この不一致は、適切な検証なしに機械学習モデルのトレーニングに自動ラベリング技術を使用することへの懸念を引き起こす。

#予測パフォーマンスへの寄与

興味深いことに、自動ラベルデータにノイズが含まれているにもかかわらず、このデータを使用したモデルは良好なパフォーマンスを示した。結果は、自動ラベルデータだけでトレーニングされたモデルが合理的な予測スコアを達成したことを示している。場合によっては、彼らは人間ラベルデータだけに基づいたモデルを上回ることもあった。

これらの結果は、自動ラベルデータがノイズを含んでいても、ソフトウェア脆弱性予測の機械学習モデルのパフォーマンスを向上させるのに十分な価値ある情報を提供する可能性があることを示唆している。ただし、ノイズの多いデータセットは適切に検証されないと誤解を招く結果をもたらす可能性があるので注意が必要だ。

#ノイズ削減技術

自動ラベルデータのノイズに対処するために、さまざまなノイズ削減技術を探求した。これらの方法は、モデルのトレーニングに使用するデータの品質を向上させ、予測パフォーマンスをさらに向上させることを目指している。私たちが調査した技術には、

1. 自信の学習：この技術は、予測確率を分析して誤分類される可能性の高いサンプルを特定して削除する。

2. セントロイドベースの削除：このアプローチは、サンプルを既知の脆弱なサンプルと脆弱でないサンプルの平均特性と比較し、最も類似性のないものを削除する。

3. ドメイン特異的削除：この方法は、データラベリングに使用された静的解析ツールによって示された既知のセキュリティパターンや特徴と一致しないサンプルをフィルターする。

私たちの結果は、特に自信の学習がモデルの性能にプラスの影響を与えることを示した。これらの技術を適用することで、自動ラベルデータの小さなサブセットを使用しながら、より良い予測精度を達成できた。

#議論

この研究の結果は、ソフトウェア脆弱性予測のための自動ラベルデータの可能性と限界に関する意味のある洞察を提供する。大規模な自動ラベリングは既存のデータセットを大幅に強化できるが、そのデータの品質は慎重に評価される必要があり、不正確な結果を避けるためには重要だ。

一つの重要な教訓は、自動ラベルデータはノイズが含まれている場合でも予測パフォーマンスを向上させるのに寄与できる可能性があることだ。これは、こういったデータを確認済みの人間ラベルデータセットと組み合わせた補完リソースとして使用する道を開く。ただ、研究者や実務家は、自動ラベルデータを検証して、そこから発展させたモデルの信頼性を確保する必要がある。

さらに、高度なノイズ削減技術を探求することで、ラベル付けされたデータの品質と、それに基づいて構築されたモデルの性能の両方を向上させることができるだろう。ソフトウェア脆弱性検出の分野が進化する中で、これらのアプローチはソフトウェアシステムの脆弱性を特定し、緩和するためのより効果的なツールや方法につながる可能性がある。

#結論

この研究は、ソフトウェア脆弱性予測の領域における継続的な課題と機会を強調している。また、自動ラベルデータの検証の重要性を強調しつつ、そのデータが予測モデルの向上に寄与する可能性も認識している。

ソフトウェアの景観が成長し続ける中、脆弱性を検出する効率的な方法の必要性は引き続き重要であり、研究者や組織は、自動ラベリング技術やノイズ削減戦略を改善するために努力する必要がある。

人間ラベルのデータと自動ラベルのデータの組み合わせを推奨することで、ソフトウェアの脆弱性についてのより強固な理解を築く道を開きたい。そして、この協力は、ユーザーがソフトウェアの脆弱性から受ける脅威に対するより安全なソフトウェアシステムとより良い保護につながる可能性がある。

この結果は、既存の技術を改善するだけでなく、将来的に脆弱性の検出と緩和を強化するための革新的なアプローチを探求することを促進する。自動ラベルデータの品質に対処し、効果的なノイズ削減技術を実施することで、ソフトウェアセキュリティのための強固な基盤を築くことができる。