LLMを使って自動ソフトウェアトレーサビリティを改善する

自動ソフトウェアトレーサビリティは、ソフトウェアアーティファクトのさまざまな部分を追跡・リンクして、その関係性と責任を保証する方法だよ。技術が進化するにつれて、大規模言語モデル（LLM）みたいなツールがこのプロセスを改善する可能性を示してる。この記事では、これらのモデルに与えられる指示（プロンプト）が自動ソフトウェアトレーサビリティを向上させる役割について考察するよ。

#ソフトウェアトレーサビリティの課題

ここ20年で、自動トレーサビリティの課題はいろいろ指摘されてきたんだ。多くの方法が提案されたけど、一貫して正確なアプローチを見つけるのは難しかったよ。複雑な専門用語、限られたトレーニングデータ、低い解釈性などが問題を引き起こした。2018年のGoogleのBERTモデルの進展はあったけど、まだ多くの問題が残ってる。

今、GPT-3やClaudeといったLLMは、自動トレーサビリティを実現する新たなチャンスを提供してるけど、これらのモデルをどう活用するのがベストかははっきりしていない。LLMを使う主な目的は、効果的なトレーサビリティリンクを生成するプロンプトの作成プロセスを洗練させることなんだ。

#トレーサビリティのためのプロンプト探求

研究の初めに、私たちは自動トレーサビリティに使う完璧なプロンプトを見つけることを目指したんだ。このプロンプトがいろんなプロジェクトで真のリンクを一貫して特定できることを期待してた。いくつかのケースでは一つのプロンプト法がうまくいったけど、最適なものは使うリソース、モデル、特定のタスクに応じてしばしば変わってた。

異なるLLMにはそれぞれ強みと弱みがあって、同じプロンプトに対して反応が違ったりする。また、同じモデルの多数のバージョンがあれば、パフォーマンスが異なることもあって、さらに複雑さが増してる。

#経験からの学び

プロンプトを作る中で、いくつかの課題に直面したから、同じ分野の他の人たちとこの難しさを共有したいと思ったんだ。ただ自分たちのベストな結果を提示するのではなく、適切なプロンプトを作る必要がある人たちに教育とインスピレーションを与えたかった。

LLMとその技術用語を使ったプロジェクトでの効果について、いくつかの重要な質問に答えようとしたんだ。このモデルが自分の決定について妥当な説明を提供できるか、そしてそうした説明がより良いプロンプトを生み出すのかも確かめたかった。

#データセットと関連研究の分析

LLMの自動トレーサビリティにおける効果を調べるために、CM1、iTrust、Dronologyの3つの異なるソフトウェアエンジニアリングデータセットを使ったよ。それぞれが異なるドメインとタイプのソフトウェアアーティファクトを表してて、自然言語やプログラミング言語の要素を含んでる。

ここ数十年、研究者たちは自動トレーサビリティのさまざまな方法を調査してきた。古典的な自然言語処理技術が基礎を築いたけど、2010年ごろからディープラーニング手法が注目されてきた。モデルが大きくなり、特にトランスフォーマーアーキテクチャで複雑になるにつれて、以前は手の届かなかった新たな機会が生まれたんだ。

でも、LLMの自動トレーサビリティにおける特定の可能性に関する研究はあまり行われていない。私たちの仕事は、これらのモデルがソフトウェアアーティファクト間のトレースリンクについてどう予測できるかを調査することで、このギャップを埋めることを目指してる。

#実験のセットアップ

実験のために、まずデータセットから小さなサブセットを選んだんだ。これで焦点を絞ってより詳細な分析ができて、コストと実行時間を減らせたよ。親アーティファクトに接続されている子アーティファクトの数など、さまざまな指標を計算して、代表的なトレースクエリのセットを作ることを目指した。

Claudeのようなモデルを使う前に、OpenAIのtext-davinci-003をトレースリンク予測のためにテストした。これも競争力があったけど、最終的にはClaudeが速くてコストも低いからそちらを選んだんだ。また、アーティファクトの類似度を計算するために埋め込みを使うアイデアも考えたけど、この方法は大きな利点をもたらさなかったので、生成能力に集中することにした。

分類アプローチの準備をするために、各ソースとターゲットアーティファクトのペアについてモデルにプロンプトを与えた。関係があるかどうかについて「はい」か「いいえ」の返答を引き出す質問を作ったんだ。

#分類プロンプトの開発

最初のプロンプトはかなり一般的だった。「(1)は(2)に関連してる？「はい」か「いいえ」で答えて。」これで結果は出たけど、真のリンクを見逃すことが多かった。モデルの推論を理解しようと、いろんな修正を試みたよ。たとえば、アーティファクトの詳細レベルの違いを無視することで予測が向上することが分かったんだ。

プロンプトを洗練させる中で、文脈を明確にすることがモデルがアーティファクト間の関係を把握するのに役立つことがわかった。同じソフトウェアシステムからのアーティファクトだと明示することで、モデルがリンクを特定する能力が向上した。ただ、この調整は多くの偽陽性も引き起こしちゃって、モデルがつながりを見つけているように見えても、実際にはリンクされていない場合を誤判断することもあったんだ。

さらなる調整として、モデルに一つのアーティファクトが別のものから分解できるかどうかに焦点を当てるように頼んだんだけど、このアプローチも制限が多すぎた。最終的には、二つ目のアーティファクトが最初のアーティファクトを満たすかどうかを聞くプロンプトに落ち着いたんだ。

#指示と推論

プロンプトを洗練させる過程で、推論ステップを追加することで結果が改善されることに気づいた。モデルに最終的な答えを出す前に思考過程を述べさせることで、精度とリコールの両方が向上した。モデルが自分の推論をよりよく説明できるようになり、トレーサビリティリンクを判断する際の最終的な判断を改善するのに役立ったんだ。

このプロセスでは、各プロンプトにもっと情報を詰め込むことができ、私たちが確立しようとしている関係についての文脈を提供できたよ。

#ランキングアプローチ

分類の他に、トレースリンクを予測するためにランキングアプローチも探求したんだ。ランキングは、予測に対する信頼度をよりニュアンス的に表現できるから、モデルが候補を優先順位付けしてリストアップすることができる。

このランキングを行うために、モデルにソースに関連するアーティファクトを最も関連のあるものから最も関連のないものへリストするように指示した。ただ、アーティファクトの提示順が重要だと気づいた。アーティファクトがランダムに並べられた場合、モデルのパフォーマンスがほぼランダムなレベルまで下がっちゃった。類似度スコアに基づいて事前にソートすることで、結果を改善できたんだ。

ランキングが効果的であることがわかったけど、大きなコンテキストウィンドウも必要だった。そのため、分類を有力な代替案として引き続き調査することにした。

#研究からの教訓

私たちの調査結果は、プロンプトエンジニアリングがLLMのトレーサビリティタスクの可能性を最大限に引き出すのに重要な役割を果たすことを示してる。ちょっとした変更が出力に大きな変化をもたらすことがあるから、プロンプト作成に対するアプローチには慎重な考慮が必要だよ。

一貫したテーマは、LLMがアーティファクト間の関係を人間のトレーサーとは異なる方法で特定することがあるってこと。トレーサビリティリンクの意図された使用法を明確にすることで、モデルの出力を望んでいる結果により近づけることができるんだ。

もう一つの重要なポイントは、モデルに推論を説明させることがタスクに対するパフォーマンスを向上させることにつながるってこと。この中間ステップはモデルが下す決定に役立つだけじゃなくて、トレースリンクを確立しようとしている人にとっても貴重なツールになり得る。

#今後の調査

いくつかの有望な結果を示したけど、LLMを自動トレーサビリティに効果的に活用する方法を完全に理解するにはまだ課題が残ってる。今後の研究では、さらなるデータセットや異なるプロンプトエンジニアリング手法の影響を探る必要があるんだ。

また、LLMがこの研究で使ったデータセットとはまったく新しいデータセットでどれだけうまく機能するかをテストすることの重要性も認識した。さまざまなプロジェクトタイプにおける知識を探求することが理解を深める鍵になるんだ。

#効果的なプロンプトの重要性

結局、LLMを自動ソフトウェアトレーサビリティに使う成功は、使用するプロンプトに大きく依存してる。これらのプロンプトを洗練させることで、ソフトウェアアーティファクトを追跡するためのLLMの有用性を最大化できるよ。

目指すべきことは、単一の完璧なプロンプトを見つけることではなく、さまざまな文脈やアプリケーションに適応できる効果的な戦略のセットを開発することなんだ。こうすることで、研究者やエンジニアはトレーサビリティリンクを確立し、活用する際により効果的に作業できるようになる。

この進行中の旅は、ソフトウェアトレーサビリティにおけるLLMの使用に関する有望でありながら複雑なダイナミクスを明らかにしている。プロンプト作成の制約がよりよく理解されるにつれて、実際のシナリオでこれらのツールの適用は、おそらくより合理化され、効率的になるだろう。