人間とAIのコードを見分ける新しい方法

ソフトウェア開発は、人工知能（AI）ツールの導入により急速に変化してるよ。GitHub CopilotやChatGPTみたいなプログラムが、開発者がコードを書くのを手伝ってるんだ。でも、特に教育の面で、学生が自分の作業の代わりにこういうツールで生成されたコードを提出するんじゃないかって懸念が出てる。私たちは、どうやって人間が書いたコードとAIが作ったコードを区別できるかを調査したよ。

#研究内容

私たちの研究は、人間が書いたコードとAIが生成したコードを区別する能力に焦点を当てた。コードスタイロメトリーという手法を使って、コードが書かれるスタイルを見て、機械学習と組み合わせたんだ。人間が作った解答を競技プログラミングプラットフォームのCodeChefから集めて、AI生成の解答はGPT-4から集めたよ。

私たちが作った分類器はうまく機能して、二つのタイプのコードを区別する強い能力を示すスコアを達成した。実際、分類器のスコアは0.91で、人間が書いたコードとAIが生成したコードをしっかり区別できることを示してる。

#背景

AIツールは広まってきてて、コードの提案、バグの特定、さらにはコードブロック全体を生成することまでできる。これらの進展は特に初心者の開発者にとって有益だけど、リスクもある。教育者は、学生がAI生成のコードを自分のものとして提出する可能性があることに懸念を抱いているんだ。以前の盗作検出法は、AI生成のコードにはうまく機能しないかもしれないし、学生が書いたコードとはかなり異なることが多いから。

私たちの目標は、人間の著作とAI生成のスタイルの違いを使ってAI生成のコードを識別するツールが作れるか探ることだった。

#研究の進め方

#データ収集

CodeChefからデータを集めて、Pythonの問題と人間の解答を集めた。人間の解答は、Python 2が廃止された後でAIツールが普及する前のものを選んだよ。だから、分析した解答は学生がAIの助けなしに書いた時期のものになるようにしたんだ。最終的に、419の問題を用意して、それぞれに少なくとも二つの正解の解答があったよ。

#分析した特徴

分類器を訓練するために、コードのさまざまな特徴を見たよ：

• レイアウト特徴：コードが視覚的にどのように整理されているか、スペースやラインなど。
• 語彙的特徴：コードをキーワードやリテラルなどの基本要素に分解すること。
• 構文的特徴：コードの構造を調べて、異なる部分がどのように関係しているか。
• コードの複雑さの指標：メンテナンス性やコードの複雑さなどを測定した。

これらの特徴が、コードを分析・分類する効果的なモデルを作るのに役立ったんだ。

#機械学習技術

分類器を作るために、XGBoostという特定のタイプの機械学習を使った。この方法は効率的で、予測の正確さと単純さに焦点を当てるのに役立つ。私たちは、十回交差検証という方法で分類器をテストしたよ。この技術はデータセットを十部分に分けて、九部分でモデルを訓練して、残りの一部分でテストするんだ。これにより、モデルがどれだけうまく予測できるかの強い評価ができるよ。

#結果

私たちの分類器は、複数の指標でうまく機能した：

• 精度：予測したAI生成コードのうち、実際にAI生成だったものの割合。
• 再現率：実際のAI生成コードのうち、正しく識別されたものの割合。
• F1スコア：精度と再現率のバランスを保った単一のスコアで、モデルの効果を評価する。

結果は、私たちの方法が人間とAI生成のコードを区別するのに効果的であることを示していた。

#改造可能な特徴

「改造可能な特徴」についても調べたよ。これは、コードのパフォーマンスに影響を与えずに簡単に変更できる要素のこと。たとえば、空行やスペースを追加することで、AI生成のコードが人間が書いたコードに見えるようになることがある。こうした特徴をモデルから除外したところ、依然としてうまく機能したので、分類器が簡単に変更可能な要素に頼らずに本物のスタイルの違いを識別できることが示された。

#他のアプローチとの比較

私たちの分類器を以前の方法と比較した結果、正確さと解釈のしやすさの両方で古い技術を上回っていることがわかった。コードスタイルに基づいた私たちの分類器は、似たようなコードの構造だけに基づいたものよりも効果的だった。

#直面した課題

結果は期待できるものだったけど、データセットがクリーンで関連性があることを確保するのが課題だった。AI生成のコードが人間の解答と混ざらないようにし、不正確な提出を分析に含まないように気をつけなければならなかった。

#スタイルの重要性

私たちの研究からの重要なポイントの一つは、コーディングスタイルの重要性だよ。プログラマーはそれぞれ自分の書き方を持っていて、行の長さ、命名規則、特定のキーワードの使用などに見られるんだ。これらのスタイルの違いは、人間とAI生成のコードを区別するのに重要なんだ。

#教育への影響

プログラミングにおけるAIツールの急増は、教育者にとって重要な質問を提起している。AIが普及するにつれて、教育者は教育法や評価方法を適応させなければならない。私たちの発見は、教育者がAI生成の提出を識別するのを助けるツールの開発に役立つかもしれないね。そうすることで、学問の公正を維持できるんだ。

AI生成のコードの特性を理解することで、教育者はより効果的な評価やAIの使用に関する方針を作ることができる。

#今後の方向性

これから、いくつかの方法で研究を拡大する計画だよ：

• 広範なプラットフォーム：私たちの分類器が異なる文脈で効果的であるかを見るために、より多くのプラットフォームからコーディング提出を分析するつもり。
• さまざまなプログラミング言語：将来の研究では他の言語も含め、アプローチの汎用性をテストする。
• 改造されたコードの検出：生成後に意図的に変更されたAI生成コードを検出する方法を調査する。

最終的には、AIがプログラミングや教育にどのように影響を与えているのかをよりよく理解し、コーディングプラクティスの公正を維持するためのツールを開発するのが目標なんだ。

#結論

私たちの研究は、コードスタイロメトリーと機械学習を組み合わせて、コードが人間によって書かれたのかAIによって生成されたのかを識別する可能性を示している。強いパフォーマンスを示すスコアを持つ私たちの分類器は、プログラミングにおけるAIの使用が増加する中で、教育者が直面する課題への有望なツールを提供してる。技術が進化し続ける中で、これらの変化を理解し対処することが、コーディング教育の未来を形作るのに重要になるよ。