大規模言語モデルが生成したコードの検出

Large Language Models（LLMs）みたいなClaude 3の使い方が、ソフトウェア開発者の間でソースコード作成に広がってるよね。このモデルはコーディングを楽にすることができるけど、あまり良くないコードやバグのあるコード、安全でないコードを生成することもあるんだ。だから、LLMsが生成したコードを正しく見極める方法を見つけるのが重要だよ。

この記事では、特定のLLMであるClaude 3を、CodeSearchNetというデータセットを使って調べてみるよ。私たちの研究は主に二つの部分に分かれていて、関数（小さなコードの塊）とクラス（関数を含む大きな構造）がどのように生成されるかを見ていくよ。さまざまなソフトウェアメトリクスを集めて、Claude 3が生成したコードと人間が書いたコードとを比較するんだ。最後に、機械学習を使ってClaude 3が生成したコードのユニークな特徴を認識するモデルを作るよ。

#検出の必要性

LLMsの普及とともに、これらのモデルが書いたコードを正確に検出できる強力なシステムの必要性が高まってるんだ。研究によると、LLMsは誤って脆弱なコードを提供することがあるから、所有権についての懸念があるんだ。LLMsによって生成されたコードの所有権が誰にあるのかまだはっきりした答えがないから、そういったコードを特定する方法を開発するのが非常に重要だよ。

オープンソースソフトウェアが商業アプリケーションでますます一般的になると、LLM生成コードを意図せずに含めるリスクが増加するよ。この種のコードを特定することがソフトウェア開発の重要な部分になってきてるんだ。

LLM生成コードの検出に関する研究はあるけど、ほとんどは単独の関数だけに焦点を当ててるんだ。実際のソフトウェアでは、これらの孤立した関数で構成される部分はほんの少ししかないから、多くのアプリケーションはもっと複雑な構造を持っていて、クラスや他の要素も取り入れられているんだ。

過去のいくつかの研究では、LLMsを使ったクラスレベルのコード生成を助けるためのデータセットが作られているけど、これらの研究はリアルなデータが欠けていることが多いんだ。例えば、いくつかのデータセットは実際のソフトウェアプロジェクトではなく、競技プログラミングの演習から作られているんだ。この現実の文脈の欠如がその有用性を制限してるんだ。

#私たちの研究の目標

この研究では、実際のソフトウェアプロジェクトでLLM生成コードを検出する方法を開発することで、既存の研究のギャップを埋めることを目指してるよ。Claude 3を詳細に分析して、関数レベルとクラスレベルの両方でその生成されたコードをどれだけ効果的に特定できるか探るよ。

まず、Claude 3を使って関数とクラスのコードを生成するところから始めるよ。それから、スタイルや複雑さを含むさまざまなメトリクスに基づいて、生成されたコードと人間が書いたコードを比較するんだ。その後、Claude 3生成コードを検出するための異なる機械学習分類器をトレーニングして、どの特徴がこの検出に役立つかを特定するよ。

#データセットの理解

人間が書いたコードとClaude 3が生成したコードを比較するために、人間作成のコードを含むデータセットが必要なんだ。私たちは、オープンソースプロジェクトからの実際のコードを含むCodeSearchNetデータセットを分析に使うよ。

#関数レベルの分析

関数レベルの分析にはCodeSearchNetをソースに選んだよ。このデータセットにはコメントとそれに対応するPython関数のペアが含まれているんだ。それぞれのコメントは関数が何をするべきかを説明しているから、LLMsがその説明に基づいてコードを生成しやすくなってるんだ。

Claude 3がコードを生成するために、これらの関数ペアのサブセットをランダムに選んだよ。このデータセットは実際のソフトウェアタスクのバランスが良いから、私たちの結果がより適用可能になるんだ。

#クラスレベルの分析

クラスレベルのデータについては、CodeSearchNetデータセットに含まれている同じプロジェクトを使ったよ。私たちは、他のクラスから継承されない、または他のクラスに継承されない独立したクラスに焦点を当てたんだ。この制約により、分析が簡単になってクラス階層から来る複雑さを避けられるんだ。

選んだクラスは、Claude 3が意味のあるコードを生成できるように、docstringに十分なコンテキストが提供されている必要があったんだ。私たちは、コメントとコードの比率という指標を使って、コメント行数と実際のコード行数を比較したんだ。

#Claude 3を使ったコード生成

私たちはClaude 3を研究に選んだのは、その時点でPythonコード生成においてトップクラスのモデルで、コストパフォーマンスも良かったからなんだ。関数とクラスのdocstringを含むようにプロンプトをフォーマットして、Claude 3に余分な説明なしで関連するコードを生成するように頼んだよ。このアプローチは出力の無駄なテキストを最小限に抑えて、必要なコードだけに焦点を合わせるんだ。

#特徴抽出

人間が書いたコードとClaude 3によって生成されたコードを区別するために、さまざまなソフトウェアメトリクスを使ったんだ。これらのメトリクスはコードの異なる特性についての洞察を提供するんだ。私たちはSciToolsのUnderstandというツールを使って、データセットからこれらのメトリクスを集めたよ。

私たちが焦点を当てたメトリクスは、コードスタイルや複雑さのさまざまな側面を含んでいるんだ。これにより、生成されたコードが人間が書いたコードとどのように異なるかを理解できるんだ。

#ユニークな特性の分析

私たちは、Claude 3が生成したコードのユニークな点を特定しようとしたんだ。抽出した特徴の分布を比較することで、どちらのコードがLLMによって生成されたものかを特定するのに役立つ重要な違いがあるかを判断できるんだ。

#関数レベルの分析結果

Claude 3が生成したコードは、人間が書いたコードと比べていくつかのユニークな特性を持ってることがわかったよ。例えば：

1. 長さ：Claude 3は長い関数を生成する傾向があるけど、それらは人間のよりも多くのコメントや空白行を含んでるんだ。つまり、総行数は多いけど、実際に実行可能なコードは短いってことだね。
2. 複雑さ：サイクロマティック複雑度の平均は、関数がどれだけ複雑かを測るもので、Claude 3が生成したコードは人間が書いたコードと比べて低いんだ。これは、Claude 3が生成したコードには意思決定ポイントが少ないことを示してるよ。

これらの違いを調べることで、検出に使えるパターンを特定できるんだ。

#クラスレベルの分析結果

クラスの分析では、Claude 3が生成したクラスは一般的に人間のものよりも短かったんだ。ただし、これらのクラスはまだ明確な構造と機能性を維持してたよ。関数と同様に、生成されたクラスの複雑さは人間の書いたクラスよりも低かったんだ。

これらの違いにもかかわらず、生成されたクラスは関数のように人間が書いたクラスに比べてより似ていたよ。これは、Claude 3がクラスと関数の両方に使えるコードを生成できる一方で、検出に活用できる顕著な違いがあることを示唆してるんだ。

#検出モデルの開発

Claude 3が生成したコードのユニークな特性をより明確に理解したことで、人間が書いたコードとLLMが生成したコードを区別できる分類器を構築するために、さまざまな機械学習手法を使ったよ。

#使用した分類器

いくつかの種類の分類器を試したよ、例えば：

• ロジスティック回帰（LR）
• K最近傍（KNN）
• サポートベクターマシン（SVM）
• ランダムフォレスト（RF）
• CatBoost（CB）

これらの分類器は、以前のソフトウェアエンジニアリングタスクで効果的だったから選んだんだ。

#モデルのトレーニングと評価

各モデルをトレーニングするために、私たちの分析から抽出した特徴を使用したよ。モデルのパフォーマンスを向上させるために、相関の高い特徴は削除したんだ。それから、各モデルがClaude 3生成コードを検出できるかどうかを徹底的に評価したよ。

結果は、特にCatBoostモデルのようなツリー系モデルが、Claude 3生成コードを検出するのに最も優れたパフォーマンスを発揮したことを示してるんだ。分類器は、関数レベルのコードかクラスレベルのコードかによって異なる精度を示したよ。

#特徴重要度分析

私たちの研究の重要な部分は、分類器のパフォーマンスに最も影響を与える特徴を理解することだったんだ。これを達成するために、Shapley Additive Explanations（SHAP）分析という手法を使ったよ。これにより、検出精度に寄与する最も重要な特徴を特定できたんだ。

#関数レベルの特徴

関数レベルの検出では、最も影響力のある特徴には以下が含まれてたよ：

• 平均コード行数
• 平均コメント行数
• 平均空白行数
• 平均サイクロマティック複雑度

これらの特徴は、行数、空白行、コメントが多いコードスニペットがClaude 3によって生成された可能性が高いことを示してる一方で、平均コード行数が短い場合は人間が書いたコードを指しているってことだね。

#クラスレベルの特徴

クラスレベルの検出でも、同様に長さに関する特徴が重要だったよ。分析の結果、Claude 3によって生成されたクラスは通常、行数が少なく、複雑さも低いため、人間が書いたクラスと区別されるんだ。

#調査結果の意義

私たちの研究結果は、ソフトウェアエンジニアリングの実務者や研究者にとっていくつかの重要な洞察を提供するよ。

#実務者向け

開発者は、Claude 3によって生成されたコードのユニークな特性を使ってプロセスを改善できるよ。このコードを特定する方法を知ることで、コードレビューやコードの品質評価に役立つんだ。

#研究者向け

私たちの研究は、LLM生成コードに関するさらなる調査の必要性を強調してるよ。検出方法は使用する具体的なLLMによって異なる可能性が高いから、モデルとその出力についてより深く理解する必要があるんだ。

#結論

この研究では、Claude 3生成コードの特徴を関数レベルとクラスレベルの両方で調べたよ。LLM生成コードを効果的に検出できる機械学習モデルを構築するためのユニークなパターンを特定したんだ。生成されたコードの長さと複雑さに焦点を当てることで、より正確な検出システムを開発するための基盤を提供したよ。

私たちの作業は、LLMの出力を理解することの重要性と、それがソフトウェアエンジニアリングの実践に与える影響を強調してるよ。そして、この成長分野でのさらなる研究を促進するために、私たちのデータセットとアプローチを共有したんだ。