効果的なAPI提案のためのLCM評価

APIの提案は開発者にとって重要だよね。これを使うことで、サードパーティAPIをもっと効率的に選んで使えるようになるから。最近、大規模なコードモデル（LCM）がこの分野で進展して、主にどのAPIを使うべきかを提案することに焦点を当ててきたんだけど、開発者はこれらのAPIをいつ使うべきか、どうやってプロジェクトで活用するかのガイダンスも必要なんだ。この記事では、LCMのAPI提案の能力を「いつAPIを使うか」「どのAPIを使うか」「どうAPIを使うか」の3つのシナリオで評価してるよ。

#ベンチマークの構築

このテーマを調査するために、さまざまなコード例を集めたベンチマークを作成したんだ。このベンチマークは、853のJavaプロジェクトに見つかった176のAPIをカバーしてる。これがあれば、LCMがさまざまな状況でAPI提案をどれだけうまく処理できるかをテストするのに重要なんだ。

#API提案のシナリオ

API提案のための3つの重要なシナリオを特定したよ：

1. APIを使うタイミング：このシナリオは、コード内でAPIを呼び出す適切なタイミングと位置に焦点を当ててる。
2. どのAPIを使うか：このシナリオでは、開発者がやりたいことはわかってるけど、具体的にどのAPIを使うべきかわからないときに、正しいAPIを認識することが含まれてる。
3. APIの使い方：このシナリオでは、特定のAPIを選択した後に必要な引数を予測することが目標なんだ。

この3つのシナリオを分析することで、LCMがAPI提案をどれだけうまく行うかを理解できるようになるんだ。

#LCMの評価

9つの人気のあるLCMを選んで、3つのシナリオでの能力をテストしたよ。また、異なる文脈の選択がパフォーマンスにどう影響するかも分析したんだ。結果的に、LCMは「どう使うか」のシナリオで最も成功して、逆に「いつ使うか」のシナリオで最も苦労していることがわかったよ。

#結果の概要

実験ではいくつかの重要なインサイトが明らかになった：

• LCMは「どう使うか」のシナリオでAPIの引数を予測するのが最も得意で、そのパフォーマンスは「いつ使うか」のシナリオと比べて平均34%の差があった。
• より多くの文脈情報を提供することで、提案の効果が大きく向上した。小さなモデルが、有用な文脈を与えられると、大きなモデルを上回ることもあった。
• でも、文脈を追加すると処理されるトークンの数が増えて、モデル全体のスピードが落ちることもあったんだ。

#開発者への影響

この発見は研究者と開発者の両方に役立つよ。開発者は、性能を向上させながら計算リソースをうまく管理するために、豊富な文脈を持つ小さなモデルを使うことを検討するといいよ。また、異なるシナリオに対する文脈の要件を理解することで、モデルの選択をガイドできるんだ。

#ベンチマーク準備

春フレームワークのAPIに特に焦点を当てたのは、ウェブ開発で広く使われているからだよ。GitHubから人気の高いJavaプロジェクトを集めて、春フレームワークを利用しているものをフィルタリングしたんだ。抽象構文木（AST）を使って、関数呼び出しを特定して、最も頻繁に使われるAPIを追跡した。このプロセスで176のAPIが得られたよ。

#文脈の種類

モデルのパフォーマンスに対する文脈の影響を評価するために、いくつかの種類の文脈を使った：

• 関数の文脈：APIが呼び出される関数内のコード。
• ファイルの文脈：特定の関数の外にある周辺コード。
• 関数コメント：関数が何をするかの説明で、APIの使い方のガイドになるかも。
• サフィックス文脈：API呼び出しの後に続くコードで、何が来るかの文脈を提供する手助けになる。
• インポートメッセージ：コードで使われるライブラリに関する情報で、利用可能なAPIを示す。
• ライブラリ候補：提案を補助するために選ばれたライブラリにあるAPIのリスト。

これらのさまざまな文脈を分析することで、モデルのAPI提案能力がどのように向上するかを理解することを目指したんだ。

#研究質問

評価を導くためにいくつかの研究質問に取り組んだよ：

• 異なるLCMはAPI提案の3つのシナリオでどのようにパフォーマンスを発揮するのか？
• さまざまな文脈を含めることで、LCMのパフォーマンスにはどんな影響があるのか？
• トークンの数とモデルのスループットにはどんな関係があるのか？

#実験のセットアップ

StarCoder、CodeLlama、DeepSeek-Coderなどのいくつかの有名なLCMを選んだ。それぞれのモデルが様々なサイズで存在してるから、異なるスケールでのパフォーマンスを比較できるよ。

#評価指標

モデルの有効性を測るために、3つの主要な指標を使った：

1. 正確な一致：モデルの出力が正しい答えと完全に一致するかチェックする。
2. API使用精度：モデルが「どのAPIを使うか」と「いつAPIを使うか」のシナリオで目指すAPIをどれだけ正確に予測できるかを評価する。
3. 編集の類似性：モデルの出力がどれだけ真実に似ているかを評価し、必要な変更も考慮する。

#実験結果

結果はシナリオごとにパフォーマンスの明確な違いを示したよ：

#APIを使うタイミング

「いつ使うか」のシナリオを評価したとき、LCMは基本的な関数の文脈だけではパフォーマンスが悪かった。ファイルの文脈を追加すると精度が改善された。ただし、インポートメッセージや関数コメントのような追加の文脈でもパフォーマンスは改善されたけど、正確な提案を提供するのは依然として難しかった。

#どのAPIを使うか

「どのAPIを使うか」のシナリオでは、様々な文脈を含めることでパフォーマンスが向上した。例えば、ライブラリ候補を提供するとモデルの予測が改善された。ただし、あまりにも多くの文脈を含めると、時々モデルが混乱することもあったんだ。

#APIの使い方

「どう使うか」のシナリオでは、LCMは一般的に最も良いパフォーマンスを示した。しかし、追加の文脈を含めても大きな改善にはつながらなかったから、シンプルなシナリオは文脈が少なくても良いのかも。

#文脈の長さとスループットの影響

文脈がパフォーマンスに与える影響を調査した結果、文脈を追加すると精度は向上するけど、入力の長さが増えてモデルのスループットが減ることがわかった。このトレードオフは実際に注意深く管理しなきゃいけないんだ。

#ケーススタディ

モデルがさまざまな文脈で成功したり苦労したりしたケーススタディを通じてポイントを説明したよ。これらの例は、追加の文脈を提供することでどのAPIを使うか、どう使うかに関する提案がより良くなることを示したんだ。

#発見の影響

#研究者への影響

私たちの研究は、API提案の分野でさらなる探求が必要であることを強調していて、特に「いつ使うか」のシナリオは前の研究で十分に扱われていなかったんだ。

#開発者への影響

私たちの発見は、開発者が自分のニーズに応じて適切なモデルと文脈を選ぶのに役立つよ。リソースが限られている場合、大きなモデルが使えないときに、豊富な文脈を持つ小さなモデルが有益かもしれない。

#結論

結論として、さまざまなシナリオにおけるAPI提案のためのLCMの評価は、その強みと限界についての洞察を提供しているよ。いつ使うか、どれを使うか、どう使うかのニュアンスを理解することで、開発者の生活を向上させて、ソフトウェア開発の生産性を改善できるんだ。

私たちの仕事は、API提案のためのより良いツールを構築するための将来の研究と開発の基盤を築いていて、最終的にプログラミングをより効率的でアクセスしやすいものにすることを目指しているよ。