セキュリティ脅威の評価：分析資料の役割

安全なソフトウェアを作るのは、世界中の企業にとって重要だよね。最近では、EUサイバーセキュリティ法やアメリカのクラウド法みたいな新しい法律やガイドラインができて、サイバーセキュリティを確保する取り組みが進んでる。これらの規制は、組織にセキュリティリスクを考慮させ、自分たちを高額な漏洩から守るための計画を立てるよう促してる。特に、交通業界みたいな安全が重要なシステムでは、製品全体の徹底的な脅威分析が必須なんだ。

でも、サイバーセキュリティの専門家が足りてないから、こういった要件に対応するのが難しい。脅威分析やリスク評価は、セキュリティ上の問題を特定して、それを修正する方法を提案するための手段なんだけど、既存の技術を使うのが難しいこともある。特に、いつ分析が完了したと言えるのかが曖昧だから。これが、特定された脅威を確認したり検証したりする必要があって、分析プロセス全体を遅らせることがあるんだ。

#脅威分析の理解

脅威分析は、システムを評価して潜在的なセキュリティリスクを見つけることだよ。よく使われる方法の一つがSTRIDEってやつ。STRIDEは、データがシステム内でどう動くかを示す簡単な図、データフローダイアグラム（DFD）を使うんだ。この図は、理解しやすくて、車やソフトウェア開発、アジャイルな組織などでよく使われてる。

通常の脅威分析セッションでは、セキュリティの専門家や関係者がDFDを見ながらブレインストーミングして、潜在的な脅威を特定することが多い。このプロセスは時間がかかって、いろんなリソースが必要だから大変なんだ。さらに、脅威分析がすべてのセキュリティ問題を見つける保証もないから、専門家はしばしば自分の分析資料を何度も見直す羽目になる。重要なセキュリティリスクを見逃してないか確認するためにね。

例えば、セキュリティの専門家は、脅威の説明を見ただけでウェブインターフェースのSQLインジェクションの脅威をすぐに特定することができる。でも、特定のドメインに関連するもっと具体的な脅威については、DFDや要件、他のセキュリティカタログに戻る必要があるかもしれない。

#自動化の限界

脅威分析の一部を自動化しようとした試みがあるけど、設計段階で分析されるシステムが明確に定義されていないから、これらの取り組みはしばしばうまくいかない。最近では、大規模言語モデル（LLM）がセキュリティアドバイスを提供したり、情報を要約したりする能力で注目を浴びてる。LLMを使うことで、専門家は膨大なセキュリティカタログを手動で確認する必要がなくなるかもしれない。代わりに、LLMが要約したアドバイスを提供して、それを人間のアナリストが評価するってスタイルだね。

LLMをベースにした新しいツールが現れ始めて、STRIDEを使った脅威分析をサポートすることができる。例えば、一部の高機能なチャットモデルは、潜在的なセキュリティ脅威のリストを生成するためのプロンプトの提案をしてくれる。ただ、LLMが時々不正確な情報を生成することがあって、それを「幻覚」と呼んだりするんだ。だから、LLMが提案する脅威は分析のための追加資料としてしか役に立たないかもしれない。

脅威の検証における課題や不確実性を考えると、効果的に脅威を検証するためにどれだけの分析資料が本当に必要かを見極めることが大切だね。私たちは、LLMやDFDなどの分析資料が脅威の検証プロセスを改善できるかどうかを、本物の専門家と実験することで調べようと思ってる。

#研究の目的

私たちの研究は、セキュリティ脅威の検証における分析資料の有用性を探ることを目指しているよ。具体的には、追加の分析資料がないよりは良いのか、さらにDFDとLLMが生成したアドバイスなど、複数の資料を持つことで検証プロセスがさらに良くなるのかを知りたいんだ。

私たちは、マスターの学生を対象にパイロットスタディを行って、予備データを集めた。このスタディは、業界の実務者と行う大規模な研究のデザインに役立つんだ。私たちのアプローチの大事なポイントは、結果が簡単に再現できるようにすることだから、実験資料や分析スクリプトを含む初期の再現パッケージを用意したよ。

#脅威検証の課題

脅威検証は、脅威分析プロセスの重要な部分で、特定された脅威の実現可能性を確認することを含むんだ。これが分析の中で何度も行われることがあるけど、この作業には時間と労力がかかるから、重要な脅威を見逃してないか確認する必要があるから遅延が生じることも多い。

今のところ、実務者は脅威の妥当性を評価する際に、自分の判断に頼ることが多いんだけど、この判断は個人的なバイアスや経験に影響されることがあるから、検証が不完全になることもある。研究では、さまざまな脅威分析技術の効果に違いがあることが示されていて、いくつかの方法は他と比べて良い結果を出しているんだ。

私たちの研究では、この課題に取り組むために、脅威検証プロセスで専門家にとって最も有益な分析資料のタイプを調査する予定なんだ。

#提案する実験

分析資料が脅威検証に与える影響をより理解するために、制御された実験を行うことを提案するよ。この実験では、異なるタイプの分析資料に基づいて潜在的なセキュリティ脅威を評価する専門家のグループを用意するんだ。

主に比較するグループは三つあるよ：

1. 追加資料を受け取らないグループ。
2. DFDかLLMのアドバイスのどちらかを受け取るグループ。
3. どちらも受け取るグループ。

このシナリオで、参加者が本物の脅威と偽の脅威を正しく特定する能力を測定するよ。

#予備的パイロットスタディ

私たちの方法を試すために、41人のマスター学生を対象にパイロットスタディを行った。参加者は脅威モデリングの概念についてトレーニングを受けた後、GitHubリポジトリの更新やKubernetesでのポッドのデプロイに基づいて脅威を評価する任务を与えられた。目的は、異なるタイプの分析資料が有効な脅威を特定する能力にどのように影響するかを理解することだよ。

パイロットスタディに参加した学生は、GitHubやKubernetesの経験がバラバラだったけど、セキュリティの概念には興味を持っていて、多少の理解もあった。結果として、LLMを使った脅威検証を行った人たちが、使わなかった人たちより少しだけ全体的に良い成績を収めたけど、LLM生成のアドバイスに依存していた人たちの中には偽陽性が目立つケースもあった。

#パイロットスタディの結果

パイロットスタディでは、LLMを使った参加者が本物の脅威を特定する成功率が高かったけど、同時に偽の脅威を本物だと間違える可能性も高かった。多くの参加者はKubernetesのシナリオで脅威の妥当性を評価する際に、LLMのアドバイスが役立ったと感じていた。

面白いことに、追加資料を一切受け取らなかった参加者でも、合理的な数の有効な脅威を特定できていた。このことは、場合によっては、少ない分析資料でも有効な検証に十分である可能性を示しているんだ。

#今後の計画

次のステップは、パイロットスタディの結果に基づいて研究デザインを洗練させることだよ。私たちは、ソフトウェア開発やサイバーセキュリティのさまざまなバックグラウンドを持つ専門家を主な研究に募集し、DFDやLLMの使用が脅威検証プロセスに与える影響をさらに探求する予定なんだ。

また、参加者に研究の目的を理解してもらい、データ収集中のプライバシーを維持することで、潜在的な倫理的懸念にも対処しようと思ってる。私たちの目標は、脅威検証時に実務者がより良い判断を下せるように、明確で実行可能な洞察を提供することなんだ。

#結論

この研究は、セキュリティ脅威の検証プロセスにおけるさまざまなタイプの分析資料の有効性を明らかにすることを目指しているよ。どの資料が専門家の判断を助けるのかを理解することで、より強固なセキュリティプラクティスに貢献できればいいなと思ってる。パイロットスタディは貴重な第一歩だったけど、業界の専門家とのさらなる調査が、この問題を包括的に理解するためには欠かせないんだ。

最終的に、私たちの目標は脅威分析プロセスを改善して、組織が潜在的なセキュリティ侵害からより良く自分たちを守れるようにすることだよ。従来の分析方法とLLMのような新しい技術を活用することで、セキュリティ脅威のアプローチと管理方法に大きな進歩の可能性があると思ってる。