ChatGPTのPythonセキュリティコードレビューにおける役割の評価

最近、人工知能（AI）が生活の多くの分野で重要になってきてる。特にAIが役立つのは、コードのセキュリティ問題をチェックすること、つまりセキュリティコードレビューだね。今、人々はコードの問題を見つけるためにAIツールを探してて、注目されているツールの一つがChatGPT。ChatGPTは指示に従ったり、詳細な答えを提供したりする能力で知られてる。この論文では、ChatGPTがPythonコードのセキュリティ問題を見つけられるかどうかを見ていくよ。

テクノロジーの進化に伴い、書かれるコードの量も増えてきた。例えば、GitHubのプロジェクト数は数年で倍増して、2018年には1億から2022年には2億に増えた。このコードの増加は、セキュリティ問題が発生する可能性が高まることを意味してる。研究によれば、ソフトウェアの脆弱性の数も増加してて、これらの問題を見つけて修正することが重要だってことがわかる。脆弱性は利用されてデータ漏洩やサービス停止につながる可能性のある弱点だ。

コードの脆弱性を見つけるために、多くのツールが静的ソースコード分析という手法を使ってる。この方法は、コードを実行せずに分析するから、テスターが効率的にセキュリティ問題を見つけられる。一般的なツールにはBandit、Semgrep、SonarQubeがあるけど、これらには多くの誤警告（間違った警告）や見逃し（実際の問題を見逃す）という制限もある。誤報が多すぎると、すべてをチェックするのに時間と労力がかかるし、実際の問題を見逃すことは大きな影響をもたらす。

最近、機械学習や深層学習は、多くの分野で大きく進歩してきた、人間の言語を理解することを含めて。コードは自然言語に似てるから、研究者たちは脆弱性を見つける作業に深層学習の手法を使うことに興味を持ってる。機械学習モデルはデータから学んで、セキュリティ問題を示すパターンを特定できる。研究によれば、これらのモデルは従来のツールよりも誤警告が少ないことが示されてる。さらに、深層学習モデルがC/C++コードの問題を見つける点で、いくつかの既存のオープンソースツールよりも優れているという研究もある。

今、AIに基づくChatGPTは、ビジネスなどの分野での可能性が注目されてる。通常人間が必要とする作業を自動化して、時間とリソースを節約できる。このモデルは2021年までの大規模データセットでトレーニングされてて、コードに見られる様々なパターンについての知識を持っている。この論文は、ChatGPTがBandit、Semgrep、SonarQubeといった人気のセキュリティツールと比べて、Pythonコード内のセキュリティ脆弱性をどれだけ特定できるかを評価する。

Pythonは最も人気のあるプログラミング言語の一つになってて、さまざまな調査でトップ3に入ることが多い。機械学習やデータサイエンスだけでなく、DjangoやFlaskといったフレームワークを使ったウェブ開発にも広く利用されてる。人気があるから、Pythonアプリケーションのセキュリティを確保することはめちゃ重要だ。

この論文は数つのセクションに分かれてる。最初のセクションでは、この分野の以前の研究を簡単にレビューするよ。次のセクションでは、テストに使ったデータセットについて話す。で、その後にChatGPTを使った実験の詳細を説明する。次に得られた結果の評価を示す。最後に、結果の有効性に影響を与える要因についての議論があり、その後に結論が続く。

#以前の研究

過去には、異なるAIモデルを使って脆弱性を見つけることに焦点を当てた研究がたくさんあった。これらの研究の多くは、監視学習という手法に従ってきた。この手法では、さまざまな機械学習モデルがコードの行数や複雑さといった特徴を活用する。研究によると、テキストに基づいたモデルは、コードの特徴に主に依存したモデルよりもよく機能することが示されている。

最近では、深層学習への焦点が移ってきた。研究者たちは、畳み込みニューラルネットワーク（CNN）や長短期記憶（LSTM）ネットワークといった異なる深層学習モデルを探求してる。中には、さまざまなタイプのコードプロパティグラフを使った実験をしてる研究者もいる。いくつかの研究では、深層学習モデルが脆弱性を見つける上でどのように機能するかを具体的に見ていて、モデルの微調整によってパフォーマンスが向上することが示されている。

ある研究では、トランスフォーマーベースのモデルがグラフベースのモデルよりもパフォーマンスが良いと示唆してる。例えば、VulBERTaというモデルは、C/C++コードの脆弱性を特定するためにRoBERTaモデルを使用して開発された。他の研究では、コードの脆弱性を検出するためにBERTアーキテクチャの使用を探っていて、トランスフォーマーモデルが従来の深層学習モデルよりも効果的であることがわかってる。

最近、Javaコードの脆弱性を見つけるためにChatGPTを評価する研究があったけど、Pythonに特化した既存のセキュリティツールとChatGPTを比較する研究にはギャップがある。この論文ではそのギャップを埋めることを目指してる。

#テストに使ったデータセット

私たちのテストデータセットは156のPythonコードファイルで構成されている。そのうち130ファイルは75種類の異なる脆弱性タイプを表すセキュリティ評価データセットから取られた。残りの26ファイルはPythonの脆弱性検出に焦点を当てたプロジェクトからのものだ。セキュリティの専門家がファイルをレビューして、脆弱性を含む特定のコード行をマークした。

#ChatGPT APIを使った検出

私たちの実験では、ChatGPTのGPT-3.5-turboモデルを使った。このモデルは、前のバージョンよりも高度なインタラクションを可能にする。シリーズのメッセージを処理してコンテキストを保持できるから、特定のコードファイルに関連する質問をしやすい。私たちはこのモデルを使って4つのタイプの実験を行った。

1. 最初の実験では、脆弱なファイルをモデルに提供し、脆弱性の種類を指定せずにセキュリティ問題が含まれているかどうかを尋ねた。目的は、モデルがコードの行番号を示すことによって脆弱性を特定できるかどうかを確認することだった。

2. 2番目の実験では、既知の脆弱性の種類のリストを提供し、脆弱なコードファイルにどの種類が存在するかをモデルに特定させた。レスポンスは他のツールの結果と比較しやすいようにJSON形式で整形された。

3. 3番目の実験では、既存のセキュリティツールからのラベルをモデルに与えて、各ファイルに特定の脆弱性が存在するかどうかを確認させた。ここでは、モデルが特定する追加の脆弱性を含めるオプションもあった。

4. 最後の実験では、モデルにラベルを与えず、知識に基づいて脆弱性を特定するように依頼した。レスポンスは同じJSON形式だった。

モデルとのインタラクションで使用したプロンプトの選択は重要で、結果に大きな影響を与える可能性があった。モデルのパフォーマンスを最適化するために、プロンプトの提示方法を調整した。

#結果の評価

ChatGPTの効果を既存ツールと比較するために、脆弱性の特定の正確性に基づいてさまざまな指標を計算した。これらの指標には、モデルが生成した真陽性、真陰性、偽陽性、偽陰性の数が含まれた。それからChatGPTの結果をBandit、Semgrep、SonarQubeの結果と比較した。

最初の実験では、ChatGPTは精度や再現率において他のツールよりも良い結果を出さなかった。2番目の実験では、提供された脆弱性ラベルを使用しても、モデルの結果はSASTツールに近かった。

3番目の実験では、私たちがSASTツールのアシスタント役を務めた際、結果は顕著な改善が見られた。特に、モデルが特定した新しいラベルを無視した場合、ChatGPTの結果は既存のツールよりもかなり良かった。

モデルが自分の知識に頼ってラベルを与えられなかった場合、パフォーマンスはSASTツールのものと同様だった。

#課題と制限

私たちの研究の結果に影響を与える要因がいくつかある。主な課題は、ChatGPTに適切なプロンプトを選ぶことで、これがパフォーマンスに大きく影響する可能性がある。データセットのサイズと多様性も重要で、さまざまな脆弱性のカバレッジも影響する。私たちはPython用の3つのセキュリティツールとChatGPTを比較しただけで、他のツールを使うと異なる洞察が得られるかもしれない。

最後に、私たちはChatGPTのGPT-3.5バージョンに焦点を当てていて、新しいバージョンが今後の研究でさらに良い結果を生む可能性もある。

#結論

要するに、私たちはChatGPTのPythonコード内のセキュリティ脆弱性を特定する能力をテストするためにさまざまな実験を行った。結果は、ChatGPTが特に既存のセキュリティツールのアシスタントとして使うと貴重な洞察を提供できる可能性があることは示しているが、まだ従来の方法の代わりにはならない。私たちの研究の結果は限られているが、高度なAIモデルを使ったコードセキュリティの改善に向けた将来の作業の可能性を示唆している。新しいモデルがリリースされるにつれて、異なるプログラミング言語にわたる脆弱性を特定する上でさらに良い結果が得られるかもしれない。