AIツールを使ったコードセキュリティの評価

人工知能（AI）ツールを使ってコードを書くのが、ソフトウェア開発者の間で人気になってるんだ。これらのツールはプログラマーがコードをより早く作れるよう手助けしてくれるけど、作ったコードが安全かどうか不安があるんだ。この研究では、コーディングをサポートするAIツールであるGitHubのCopilotに注目して、開発者が書くコードのセキュリティにどんな影響を与えるかを見ていくよ。

#背景

コーディング生成ツールというAIツールは、ユーザーが入力した内容に基づいてコードを生成するために大きな言語モデルを使ってる。最近はコンピュータがデータから学ぶ方法が進化したおかげで、これらのツールもすごく進化した。でも、これらのAIツールがセキュリティ上の欠陥のあるコードを生み出す可能性があるって心配もあるんだ。例えば、Copilotは約40％の確率で安全でないコードを生成することが研究でわかっているから、こういったツールが生成されるコードの質や安全性に与える影響を理解する必要があるんだ。

#研究の目的

この研究の主な目的は、Copilotがユーザーが書いたコードのセキュリティにどのように影響するかを特定し、Copilotが生成または回避しがちな特定のセキュリティ脆弱性のタイプがあるかどうかを探ることだよ。参加者がCopilotを使ったり使わなかったりしながらコーディング問題を解くユーザー研究を行ったんだ。そして、Copilotを使った場合と使わなかった場合の解答のセキュリティを測定して、Copilotの影響を理解しようとしたんだ。

#ユーザー研究

#参加者

この研究にはオンラインで募集した33名の参加者がいたよ。大学院生、学部生、そして少しのプロフェッショナルが含まれてる。参加するには18歳以上、プログラミング経験が1年以上、Copilotの開発には関わってないことが条件だったんだ。適格性を確認した結果、25人が研究を完了したよ。

#研究で使用した問題

参加者のために2つのコーディング問題を用意した：

1. 問題S：ユーザーが識別子とパスワードを提供するサインイン機能を作ること。
2. 問題T：ファイルからトランザクションを処理し、そのファイルの名前を変更する関数を書くこと。

これらの問題は、注意して扱わないとセキュリティ上の脆弱性が出る可能性があるように設計したんだ。問題は参加者が1時間以内に解けるようにしたよ。

#研究の進行方法

参加者をグループに分けて、特定の順序で各問題を解かせたよ。一部はCopilotを使い、一部は使わなかった。それぞれの参加者は問題を解くのに60分の時間があり、必要な指示やリソースにアクセスできた。コーディングセッション中の画面は後で分析するために録画したよ。

各問題を解いた後、参加者は自分の体験についてのアンケートを回答したんだ。特に自分の解答がどれだけ安全だと思ったかについてもね。

#解答の分析

参加者が提出した解答をいろんなセキュリティ脆弱性の観点からチェックしたよ。各解答は2人のレビュアーによって特定の既知の脆弱性を探すために検査された。見つかった脆弱性の数に基づいてセキュリティスコアを計算したんだ。

#結果

#参加者のパフォーマンスの概要

分析の結果、25人中17人が両方の問題に対して有効な解答を出したことがわかったよ。少数の参加者はCopilotを使った方が良い結果を出したけど、他の参加者は使わない方が良かったみたい。平均的なセキュリティスコアは、Copilotを使った解答が使わなかった解答よりも少し低かったんだ。

問題を別々に見たとき、問題Sの方が問題Tよりも有効な解答を出した参加者が多かったよ。問題Tを解くのに時間がかかったってことは、それがより難しいってことだね。

#Copilotのセキュリティへの影響

1. 問題Sについて：Copilotを使った場合と使わなかった場合のセキュリティスコアに大きな差はなかったよ。
2. 問題Tについて：Copilotを使った参加者は、使わなかった参加者と比べて平均的にセキュリティのスコアが高かった。

これからすると、難しい問題に直面した時にCopilotは参加者がより安全なコードを書くのを助けているのかもしれないね。

#脆弱性の種類

Copilotが特定の脆弱性に与える影響を調べたよ。その結果、Copilotを使った場合と使わなかった場合の脆弱性の種類に大きな差は見られなかった。つまり、Copilotは特定のセキュリティの問題を好んだり避けたりしているわけではなさそうだね。

#ユーザーの意見とフィードバック

参加者はCopilotの使いやすさを評価したけど、ほとんどの人がとても役立ったと感じていたよ。また、自分のコードがどれだけ安全だと思ったかや、自分の解答が正しいとどれだけ自信があるかも評価したんだ。全体的に、参加者は自分のコードの正しさに対しては自信を持っていたけど、安全性についてはそれほど自信がなかったんだ。

#議論

#結果の意味

この研究は、Copilotが特に難しいコーディングタスクで役立つ可能性があるけど、コードが欠陥のないことを保証するわけではないことを示しているよ。セキュリティスコアからは、Copilotがより複雑なシナリオでより良いコードを書くのを助けるかもしれないことがわかるけど、シンプルな問題ではその明確な利点は見られないね。

#研究の限界

いくつかの限界を考慮する必要があるよ。サンプルサイズが比較的小さく、参加者のほとんどが学生だったから、全てのソフトウェア開発者を代表しているわけではないかもしれない。また、セキュリティ脆弱性の評価は手動分析に頼っていたから、一部の問題を見逃したり誤って特定したりする可能性があったんだ。

#今後の方向性

今後の研究では、より多様な参加者プールを含めたり、さまざまな難易度のコーディング問題を探求することで利益を得られるかもしれないね。Copilotがより安全なコードを書くことにどれだけ影響を与えるかを調べるには、この研究の結果を検証してさらに発展させるための追加研究が必要だね。

#結論

この研究は、Copilotを使ったときのコードセキュリティへの影響についての洞察を提供したよ。難しい問題に対処するのを助ける可能性があるけど、生成されたコードの質についてはまだ懸念があることを示してる。AIツールをコーディングに活用する際には、開発者が潜在的なセキュリティ問題に注意を払い続けることが重要だってことを強調しているね。

全体的に見て、Copilotはより安全なコードを書くのを助けるかもしれないけど、特に複雑な問題に取り組む際には、まだ現れる可能性のある脆弱性に対して開発者は警戒心を持っているべきだよ。