CRQBenchを使ったLLMの評価: 新しいアプローチ

大規模言語モデル（LLM）、特にGPT-4は、コーディングタスクにすごく秀でてるけど、実際にコードの論理をどれだけ理解してるか評価するのは難しいんだよね。今までのテストは、コードを書くことや意味的な推論など、いろんな能力が混ざっちゃってて、特にこの評価にはあまり役立たないんだ。だから、CRQBenchっていう新しいC++のコード推論に関する100問セットを作ったんだ。これらの質問は実際のコードレビューコメントから来てるから、現実のプログラミングにより関連性が高いんだ。

#CRQBenchの動機

今のところ、LLMのコーディングテストは、主にコメントや指示からコードを生成することに集中してるんだけど、これは役立つ反面、モデルがコードをどれだけ理解してるかを本当に測るわけじゃないんだ。多くの既存のベンチマークは、実際のプログラミングシナリオを反映してないから、あんまり現実的じゃないんだよね。コードレビューでは、他の開発者がコードについてコメントを残すから、より本物の質問のソースとして機能するんだ。たくさんのコードレビューコメントを見て、いくつかはコードについての深い質問が含まれてる一方で、多くはスタイルや簡単な変更に関連する表面的な提案だけだった。

#コードレビューからの観察

#観察1: 多くのコメントはコード論理についてじゃない

コードレビューコメントを分析してみると、65%がGitHubから、80%が別のソースからのもので、コードの論理に関係ないコメントが大量にあることが分かったんだ。ほとんどは小さな編集やスタイルの選択についてで、コードがどう働くかについての深い質問じゃないんだ。だから、そこから本物の質問を抽出するのは難しい。

#観察2: コメントは質問になってないことが多い

たとえコメントがコードの論理に関連してても、明確な質問として表現されることはあんまりないんだ。ほとんどが編集の提案みたいになっちゃって、コードの論理について尋ねるんじゃなくて、たとえば「この行を削除しろ」みたいな感じで、その変更がプログラムの挙動にどう影響するのかを尋ねることはあんまりない。このあいまいさが、本物の質問を特定するプロセスを複雑にしてる。

#観察3: 質問への答えが明確じゃない

コメントへの返答を見てると、回答がしばしば分かりにくいことがわかったんだ。開発者はそれぞれ違う方法で返答してて、時には理解しにくい長い説明をすることもあるし、他の時にはコードの変更として答えるけど、それが質問とどう関連してるのかが分からないこともある。

#ベンチマークの作成

CRQBenchを作るのを簡単にするために、LLMと人間の入力を組み合わせた方法を開発したんだ。私たちのアプローチでは、LLMを使ってコメントをフィルタリングし、明確な推論の質問に変えることを手助けしてる。これで時間が節約できるから、手動でチェックするコメントが少なくて済むんだ。

#コメントの分類

まず、どのコメントが実際にコードの論理に関連してるかを特定する必要がある。そこで、LLMを使って、コメントがコードについての深い推論を必要としているかどうかを判断する分類器を作ったんだ。このステップは、プロセスを効率的に保つために重要なんだ。

#コメントを質問に言い換える

関連するコメントが特定できたら、それを明確な質問に言い換える必要がある。コメントはしばしばあいまいか長すぎるから、LLMを使って再構築してる。コメントが値について尋ねてるのか、コードの部分の比較をしてるのかによって、異なる方法を適用して明確な質問を生成する。

#CRQBenchでのLLM評価

ベンチマークを作った後、GPT-4がどれだけ質問に答えられるかテストしたんだ。周りのコードコンテキストを提供して、回答が正確で関連性があるか確認した。GPT-4は100問中65問に正しい答えを出せたから、いい成績だよね。

#GPT-4の回答のエラー分析

GPT-4がどこで失敗したかを調べて、どの部分が難しいのかを理解したんだ。ほとんどのエラーはコンテキスト不足から来てて、モデルが質問に正しく答えるための情報が足りなかった。その他のエラーはC++に関する知識のギャップから来てた。このエラーを分析することで、今後モデルを改善するための道が開けるんだ。

#質問への回答の収集

生成した質問への答えを見つけるために、完全に手動のアプローチを使ったんだ。人間が議論されてるコードをレビューして、開発者のコメントを分析して、コードの論理に基づいて答えを導き出す。この方法で、答えが開発者の意図を反映してるか確認できるんだ。

#ベンチマーク作成の課題

私たちの方法はプロセスを簡単にするけど、たった100問の良い推論質問を作るためにまだたくさんのコメントが必要なんだ。プロセスは完璧じゃなくて、関連するコメントを見逃すこともある。私たちのアプローチによって得られる効率は、必要な作業を減らすのに役立つけど、しっかりしたベンチマークを作るにはまだ相当な努力が必要なんだ。

#結論

CRQBenchはLLMがコードの論理をどれだけ理解してるかをテストする新しい方法を提供してる。実際のコードレビューからのコメントに焦点を当てることで、モデルの推論能力をより正確に測ることを目指してる。私たちの方法は、LLMと人間の洞察を使って意味のある質問を作成するプロセスを合理化してる。かなりの進展はあったけど、モデルやその能力を評価するためのベンチマークの改善もまだ必要だってことを認識してる。この仕事は、将来的にコードの論理をより良く評価するための基盤を築いてるんだ。