FormNexus: ウェブフォームをテストする新しい方法

ウェブフォームの自動テストは、人間の使い方に基づいて構築されていることや、さまざまなデバイスで機能する複雑なデザインのために難しい挑戦だった。この文章では、ウェブフォームの自動テストを生成するための新しい方法「FormNexus」を紹介する。この方法は、個々のフォーム要素の意味とそれらの関係を理解することに焦点を当てている。使用されるテキスト、オブジェクトモデルの構造（DOM）、要素の配置を見ながら、FormNexusは役立つインサイトを集める。これらのインサイトは「フォームエンティティ関係グラフ（FERG）」として整理され、コンピュータがフォームの情報をよりよく理解できるようにする。

FormNexusはまた、大規模言語モデル（LLM）を利用して、時間とともに改善されるプロセスを作成する。このプロセスは、フォームが提出されたときの応答に基づいて、入力に必要なルールを生成し、洗練させるのを助ける。最終的には、この方法によって、無効な入力を体系的にテストすることでウェブフォームを徹底的に評価する完全なテストケースのセットが生成される。我々の研究結果は、FormNexusがGPT-4と組み合わせることで、既存のモデルよりも多くのフォーム提出状態をカバーできることを示している。

今日のデジタル世界では、ウェブアプリケーションは日常のタスクに不可欠だ。これらのアプリケーションはますます複雑になり、ユーザーが高度な方法でインタラクトできるようになってきた。このインタラクションの重要な側面は、ユーザー情報を収集し、ユーザーとソフトウェア間のコミュニケーションを促進するためのフォームを通じて行われる。重要性を考えると、これらのフォームが正しく機能することを保証するために、厳密にテストすることが重要だ。

ウェブアプリケーションのテスト方法には改善があったが、フォームテストの分野はまだあまり調査されていない。フォームのための入力値とテストケースを作成することは独特の課題をもたらす。フォームは人間のインタラクションのために設計されているため、適切な値を生成するには各入力フィールドの具体的な意味を理解する必要がある。DOMによってもたらされる複雑さは、フォームの元々の意味を覆い隠すことがある。また、ウェブアプリケーションがデバイス間でシームレスに機能する必要があるため、HTML構造のデザインも複雑になる。

自動テスト生成のためにフォームの意味を理解する必要が高まっているため、自然言語処理（NLP）技術の利用が有望な解決策となっている。GPT-4やLlama-2のような最近のLLMの進展により、可能な方法の幅が大幅に広がった。これらのLLMは人間に似た言語理解と生成を模倣できるため、このタスクにアプローチする新しい方法を提供する。最近の研究では、LLMを使用してユニットテストを作成したり、モバイルアプリのフォームに記入したりするタスクがすでに行われており、自動ウェブフォームテスト生成の複雑さに取り組む新しい可能性を開いている。

この記事では、LLMを通じてウェブフォームのテストを生成するために設計された新しい技術「FormNexus」を紹介する。この方法は、入力フィールドのコンテキストを理解することに関連する複雑さに対処する。フォームのDOMのレイアウトを、「フォームエンティティ関係グラフ」と呼ばれるより整理された構造に変換することで、行われる。新しい構造は、フォーム要素の意味と関係を明確にし、機械が解釈しやすくする。これを達成するために、各ノードの特徴、テキストやDOM階層内の位置を分析する。これらの要素に基づいて、さまざまなノード間の類似点を特定し、潜在的な関係を確立することで、個々の入力の意味やそれらの間に存在するつながりの洞察を提供する。

フォーム要素間の意味的関係が定義されたら、フィードバック駆動型のプロセスを適用し、これらの接続を利用してLLMを使ってテストケースを生成する。このプロセスは、意味的リンクに基づいて初期ルールを決定し、その後これらのルールに従って入力値を生成することから始まる。次のステップは、これらのルールを検証し、必要に応じて修正し、調整されたルールの下でフォームを提出するための新しい入力値を生成することだ。我々の目標は、提出後に受け取ったフィードバックを分析してルールを確認することだ。ルールが検証されると、それらは時間の経過に伴ってフォームの機能をチェックするために使用できる堅牢なテストケースのセットに変換される。

FormNexusのパフォーマンスを評価するために、さまざまな実際のオープンソースアプリケーションを使用し、GPT-4をLLMとして活用する。結果は、FormNexusがGPT-4と組み合わせることで、フォーム提出状態をカバーするのに最高のパフォーマンスを発揮し、最も近い比較モデルを大きく上回ることを示している。

今日のウェブアプリケーションは、日常のインタラクションに不可欠で、複雑さが増し、洗練されたユーザーエンゲージメントを可能にしている。このエンゲージメントの重要な部分は、ユーザー情報を収集し、ユーザーとアプリケーションの間でコミュニケーションを確立するフォームを介して行われる。したがって、これらのフォームを厳密にテストして、その正確性と信頼性を保証することが不可欠だ。

テスト手法の改善があったにもかかわらず、フォームテスト生成の分野はまだ未開のままだ。フォームのための入力値とテストケースを作成することは、人的インタラクションを考慮したデザインのために独自の課題をもたらす。適切な値を生成するためには、入力フィールドの意味とそれらの間の関係を理解する必要がある。ウェブフォームのブラックボックステスト生成の文脈では、DOMによって導入される複雑さが、しばしばフォームの根本的な意味を隠すことがある。

視覚的に似た表示を可能にするコーディングの柔軟性は、ウェブフォームのアーキテクチャをさらに複雑にしている。デバイスに依存しないウェブアプリケーションの推進もHTMLデザインに影響を与え、自動テストのためのウェブフォームの課題を増やしている。

自動テスト生成のために適切な入力を生成するには、フォーム要素の意味を理解することが重要だ。入力生成のためにNLP技術を利用することは有望なアプローチとして浮上している。GPT-4やLlama-2のようなLLMの導入により、可能な手法が大幅に拡大した。LLMの人間に似た言語処理と生成の能力は、この分野にアプローチする新しい道を提供する。さまざまな研究が、入力生成やテストにおけるLLMの応用を掘り下げており、その多様性を示している。

この論文では、ウェブフォームのテスト生成のために特別に作られたLLM非依存の方法「FormNexus」を紹介する。この技術は、入力フィールドのコンテキストを理解する複雑さに取り組むため、フォームのDOMを「フォームエンティティ関係グラフ」に再編成する。この変換により、各入力フィールドのコンテキスト情報が向上し、関連するフォームエンティティがどのように相互に関連しているかが把握できる。

フォーム要素のテキスト的または構造的属性のみに依存しても、相互関係を包括的に明らかにすることはできない。これらの属性を組み合わせることで、個別に検討するよりも要素間の接続をより明確に理解できると仮定する。これを達成するために、個々の特徴を結合する埋め込み技術を使用し、それぞれの独自の制限を克服する。これらの結合埋め込みを使用して、フォーム要素間の潜在的な関係を発見し、要素が相互に関連していることを示すグラフを生成する。

グラフを構築する最初のステップは、フォーム内の要素の埋め込み空間を設定することだ。我々は、テキストを含むか入力要素として機能する非コンテナ要素のためのテキストおよび構造埋め込みを生成することから始める。テキスト埋め込みの生成にはADA埋め込みを使用し、DOMツリー内の構造関係を明らかにするためにはnode2vecメソッドを採用する。DOMツリーの各ノードには、ユニークな埋め込みベクトルが割り当てられる。

関連するノードをDOMツリーから反復しながら、テキスト的および構造的埋め込みを計算する。これらの埋め込みを結合して、さまざまなノードの類似性を反映する埋め込み空間を作成する。例えば、構造的に近く、類似したテキストを共有するノードは、この空間でクラスターを形成すると期待される。

私たちが明確にする最初のタイプのコンテキストは、入力フィールドの明確化を提供するテキストを含むローカルテキストコンテキストだ。この関係は、各入力の性質を理解するのに大いに役立つ。

例えば、入力フィールドに関連するテキスト要素は一般的に近くに配置されている。この近接性により、入力フィールドと関連するテキストとの関連付けが容易になり、正確な解釈が重要だ。したがって、私たちはこの手法の段階で、視覚的に隣接している要素を接続することから始める。

次に、入力フィールドとその隣接するテキスト要素とのコサイン類似度を計算する。これらの計算により、ノードがフォーム内の要素を表し、エッジが視覚的に関連する要素を接続するグラフが形成される。これらのエッジの重みは、要素の埋め込みベクトル間のコサイン類似度によって決定される。

しかし、隣接していることは必ずしも意味のある関係を保証するわけではない。例えば、フィードバックテキストが入力フィールドの近くにあっても、それが適用されるとは限らない。そのため、初期のグラフを形成した後、プルーニングプロセスを適用する。ノードを主なエンティティと補助的なエンティティに分類する。入力フィールドは主なエンティティと見なされ、補助的な要素は入力フィールドの存在に依存して意味を持つとされる。

プルーニング段階では、補助ノードとその接続エッジを調査し、最も強い関連性だけがグラフに残るようにする。類似度スコアが低い接続をフィルタリングすることで、要素間の意味のある関係をより良く表すグラフを洗練させる。

各入力フィールドのテキストコンテキストが発展した後、次のステップは接続を共有する関連入力を発見することだ。相互に関連している入力フィールドは、通常、類似したテキストコンテキストを共有し、近くに位置していることが多い。これらの関係を理解することは人間には直感的だが、入力の関係を認識しなければならない計算システムには課題をもたらす。

私たちは、以前に作成した埋め込みを利用して、入力フィールドのグループ間の相互接続の度合いを評価する。二つの入力フィールド間の関係スコアは、入力-to-入力およびラベル-to-ラベルの比較から得た最大の類似度スコアに基づいて定義される。

入力フィールド間の接続は必ずしも必須関係を示すわけではないことを認識することで、意味のある接続と無関係な接続を識別し、区別するために統計的アプローチを採用できる。

コンテキストが確立されたら、次の目標は、入力フィールドの特性と関係に沿った制約の一連を推測することだ。構築したグラフをクエリして、各入力フィールドに関連する要素を抽出する反復的プロセスが関与する。これに基づいてプロンプトを作成し、LLMに制約と値を生成させる。

初期に生成された制約が、各入力フィールドの要求に関する理解を導く。関連するコンテキスト情報を提供することで、LLMが人間の推測と同様に機能することを期待する。

制約を生成した後、次のステップはこれらの制約に基づいて値を生成することだ。フォームのコンテキスト、特定の入力フィールド、ローカルコンテキストがLLMへのガイダンスとして提供される。こうすることで、LLMは定義された制約に従った適切な入力値を作成するように指示される。

入力値のセットが得られたら、フォームを提出して結果を観察する。フォームは同じページに残るか、新しいページにリダイレクトされるかのいずれかだ。いずれの場合も、提出が成功したか失敗したかを示すテキストインジケータを探す。

フォーム提出の成功や失敗を評価するために、簡単な基準を定義する。成功した提出はユーザーを意図した目的地に移行させ、失敗はエラーフィードバックを生成する。提出後のフォームの状態を評価するために、ヒューリスティックに基づく方法を採用する。この方法は、提出前後のDOMツリーの違いを検査し、フィードバックメッセージに通常関連付けられるインジケータの結果をフィルタリングする。

フォームが提出された後、確立されたローカルコンテキストを使用してフィードバックをそれぞれの入力フィールドに再接続することができる。ただし、複数のフィールドに適用されるグローバルフィードバックのケースもある。特定の入力フィールドに結びついていないフィードバックはグローバルフィードバックとして扱われ、制約の洗練プロセスに組み込まれる。

提出時に受け取ったフィードバックを活用することで、フォームの要求を正確に反映するように制約を洗練させることができる。この制約を更新するプロセスは、新しい値を生成し、再度提出される。このサイクルは、成功したフォーム提出が達成されるまで続き、私たちの導出された制約がフォームの実際のニーズに一致していることを示す。

成功した提出の後、さまざまな入力値と受け取ったフィードバックを記録して、将来使用する可能性のあるテストケースとして整理する。各テストケースは、さまざまな入力条件の下でフォームが正しく機能できるか確認するように構成される。このプロセスにより、フォーム提出状態の徹底的なカバレッジが可能になる。

我々の自動テスト生成方法はPythonで実装されており、先進的なLLMとシームレスに統合されている。テキスト埋め込みを生成するために、ADAアーキテクチャとnode2vecの標準実装を利用して基盤となるグラフ構造を捉えている。

我々の技術を評価するために、研究質問を設定してアプローチの効果を測定した。ウェブフォームのテストを生成する我々の方法がどれほど効率的か、他の手法とどのように比較されるか、特定のコンポーネントが最終結果に対してどのように貢献したかを明らかにすることを目指した。

フォームの値や提出状態に関する公に利用可能なデータセットが不足しているため、我々はウェブフォームのリストをキュレーションし、注釈を付けた。さまざまなウェブアプリケーションドメインを表すフォームを選択し、我々の技術のパフォーマンスを評価するために入力値の検証が含まれていることを確認した。

我々の手法の効果を評価するために、成功した提出と失敗した提出の両方を含むフォーム提出状態をカバーした数を測定した。さまざまな値を系統的に提出し、フィードバックをキャプチャすることで、各フォームの要求を包括的に理解することを目指した。

ウェブフォームのテストを生成するプロセスは未開のままだが、我々のアプローチは既存の方法に対して顕著な前進を示すことができた。静的手法やランダム値を生成するウェブクローラーと比較して、我々の技術はフォーム提出状態のカバレッジを大幅に改善することが分かった。

生成されたテストケースの適用と成功率は、我々の手法の効果を示している。我々のアプローチは、フォームの挙動をより深く探求し、ウェブフォームの自動テストの正確性を向上させる。

利点がある一方で、我々の方法は、エラーフィードバックが具体性や関連性に欠ける場合に制限に直面することもある。これらの問題に取り組むことで、今後のアプローチの改良が期待される。それでも、FormNexusはさまざまな提出状態を明らかにする上でかなりの可能性を示しており、自動ウェブフォームテストのための基礎的な枠組みを提供している。

これらの発見を通じて、自動テスト方法の改善に潜む可能性が明確に見えてくる。フォームテストの現在のギャップを埋めることで、ソフトウェアのパフォーマンス向上、ユーザー満足度の向上、ウェブアプリケーションのエラー削減につながるだろう。