新しいQAデータセットがAdobeソフトウェア製品を対象にしてるよ。

最近、大規模言語モデル（LLM）の発展で特定のタスクに人気が出てきたんだ。その中のひとつが質問応答（QA）で、特に専門分野での活用が注目されてる。でも、これらのモデルが特定の分野でどれだけうまく機能するかを評価するのは難しい。主な理由は、実際の状況を模した適切なテストが簡単には手に入らないからなんだ。

この問題に取り組むために、Adobe AcrobatとPhotoshopに特化した2つのQAデータセットを作成したよ。これらのデータセットは、既存のモデルが製品に関連する質問に対してどれだけうまく答えられるかをテストするのに役立つんだ。さらに、製品QAタスクのパフォーマンスを向上させるために、ドメイン知識を活用した新しいシステムを設計した。実験の結果、関連する知識を使って質問を再構成することで、情報の検索と回答生成が改善されたけど、全体的な改善は控えめだった。このことは、私たちが導入した新しいデータセットの持つ課題を示してるね。

大規模言語モデルの普及に伴い、特定分野に特化したアプリケーションの需要が大幅に増えてる。正確なQAシステムの必要性も高まってるけど、多くの一般的な手法は専門分野ではイマイチだったりする。研究者たちは、こうしたシステムを強化する方法を見つけようと積極的に取り組んでいるよ。

これらのシステムを正しくトレーニングしてテストすることが重要なんだ。ドメイン特化のQAデータセットをもっと増やす声が強くなってきてる。医学、金融、法務などの分野でデータセットを作成しようとする取り組みはあったけど、ソフトウェア製品に特化したデータセットはまだ不足してる。

このギャップを埋めるために、業界特化のQAデータセットの作成を検討したんだ。特にAdobe HelpXデータセットに焦点を当ててる。これらのデータセットは、他の人がQAシステムを改善するためのベンチマークとして使えるように準備したよ。ユーザーの質問とAdobe製品に関する対応する回答を含んでいる。

#データセットの概要

データセットには、Adobe AcrobatとPhotoshopに関連する典型的なユーザーの質問と回答が含まれてる。これらのデータセットを提供することで、専門特化したQAシステムのパフォーマンスをテストするための貴重なリソースを提供したいと思ってる。Adobeからの許可が得られ次第、データセットをリリースする予定だよ。

さらに、QAシステムにドメイン知識を統合するユニークなフレームワークを紹介する。このフレームワークは包括的な知識ベースを使ってユーザーのクエリを拡張し、製品QAタスクにおける情報の検索と回答生成を向上させるんだ。

広範なテストを通じて、これらのデータセットから情報を正確に取得するのが難しいことがわかった。このデータセットの知識を活用してクエリを再構築しても、モデルのパフォーマンスの改善は限られていて、データセットの内在する難しさを浮き彫りにしている。

これらのデータセットをリリースし、この革新的なフレームワークを提案することで、大規模言語モデルを特定のQAタスクでの活用を進めて、さまざまな業界でのユーザー体験を向上させたいと考えてる。

#関連研究

さまざまな分野でQAベンチマークやトレーニングデータセットをキュレーションしようとする努力が数多くあったけど、私たちは製品QAに焦点を当ててる。この分野は多くのビジネス環境で重要な価値を持ってるんだ。以前のデータセットは単純な質問形式を多く使ってたけど、私たちの研究は生成的QAを目指してるよ。

関連研究の中には、Microsoft製品に関する質問を回答するデータセットがあった。でも、質問の多くが簡単なはい/いいえの回答を必要とするもので、複雑さが限られていた。もう一つのデータセット、PhotoshopQuiAは、私たちのものと似ている。これもAdobe Photoshopに関するもので、「なぜ」質問に焦点を当ててるけど、私たちは「どうやって」質問に集中してるんだ。これらの質問は詳細な手順に基づいた回答を必要とするから、すべてのステップが正確である必要があって、扱うのが難しいんだ。

Retrieval-Augmented Generation（RAG）フレームワークは、以前から研究されてきた。今後の研究では、大規模言語モデルをフル活用してドメイン特化のRAGシステムを改善する方法を見つけることが提案されている。最近の進展では、特定の分野内で外部知識を取り入れることでコンテキスト生成を改善しようとしている。一例として、文書内の関係性を示すためにツリー構造を用いる方法があったけど、私たちのデータセットにはそのような組織がないから機能しないね。

もう一つの文脈特化型の方法は、関連する知識でモデルをトレーニングしてから、それを使って大規模言語モデルに詳細な回答を生成させるものだ。私たちのアプローチは、関係性から成る知識ベースと多段階クエリ再構築プロセスを作ることでこれをさらに進めてる。さまざまなタスクに対する大規模言語モデルの効果を評価した結果、回答を向上させるのに役立つことが分かった。また、異なる学習環境でこれらのモデルを促すことでクエリを豊かにすることにも取り組んでる。私たちの研究は、知識ベースのタプルをクエリ拡張に組み込むことで、この概念をさらに進展させてる。

#データセット作成

#データの前処理

私たちは、Adobe AcrobatやPhotoshopの使い方に関する指示を提供するAdobe HelpXのウェブページからデータを取得したよ。スクリプトを使ってこれらのページからコンテンツを抽出し、見出しに基づいてセクションに分けた。各セクションは通常、ソフトウェア内の特定のタスクやトピックに関連している。この構造は、焦点を絞った分析に役立つ。

この過程で、ページ内のクリック可能なリンクや画像はすべて削除され、データセットはテキストコンテンツのみから構成されるようにした。

#質問-回答ペアの作成

高品質な質問-回答ペアを慎重に作成したよ。製品の専門家を雇って、どうやって質問を作成し、ソフトウェアを使った特定のタスクに対する詳細な回答を提供してもらった。各QAペアは、その元のウェブページへのリンクが付いていて、確認ができるようになってる。

Adobe Acrobatに関しては、専門家がHelpXページに基づいて手動でペアを作成した。Adobe Photoshopに関しては、最初にAIモデルを使ってペアを生成し、その後専門家がレビューして正確性と関連性を確保した。

この質問-回答ペアを作成する方法により、データセットが信頼でき、ソフトウェア製品に焦点を当てた研究の評価に役立つものになる。

#データ分析と統計

Adobe AcrobatとPhotoshopのデータセットには、質問、回答、および対応する元のウェブページへのリンクが含まれてる。すべての質問は「どうやって」タイプのもので、テキストを編集したりPDFに画像を追加したりする手順を尋ねている。回答にはステップバイステップのガイドが含まれていて、URLを使って情報を確認できる。

これらの「どうやって」質問に答えるのは難しいことがある。なぜなら、各ステップが重要だから。答えには正確な指示が必要で、間違いがあると全体の有用性に影響が出る。たとえば、Adobe Acrobatデータセットでは、質問に答えるのに必要な平均ステップ数は約4.71で、大半の質問が複数のステップを含んでいることが示されている。

ある質問の例として「PDFに画像を挿入する方法は？」があり、それに対するマルチステップの回答が具体的な手順を詳述している。

さらに、Acrobatデータセットの多くの質問は暗黙的またはあいまいで、さまざまな解釈が可能だ。私たちが提案するQAフレームワークは、こうした複雑さを効果的に処理できるように設計されている。

フレームワークの一般的な適用可能性を評価するために、Adobe Photoshopに焦点を当てた合成データセットも作成した。これはAcrobatデータセットと質問タイプや回答の長さの面で類似している。これらの合成質問はよく形成され明確だけど、私たちのフレームワークがどれだけ適応できるかを測るのに役立つ。

両方のデータセットは、実際のユーザーのクエリと制御された質問を表す重要なベンチマークとして機能する。さまざまなシナリオを提供し、ソフトウェア分野の研究にとって価値があるものになってる。

#質問カテゴリー

Acrobatデータセット内には、さまざまな質問カテゴリーが設定されていて、ユーザーが尋ねるかもしれない質問の例が示されている。

標準的なRAG-QAプロセスの典型的なワークフローでは、リトリーバーが入力質問に基づいて関連する文書を選択する。私たちのアプローチは、最初の段階でクエリの再構築を加え、ユーザーのクエリを私たちのトリプルから得られる知識を使って洗練させる。この再構築により、クエリがよりリトリーバルに適したものとなり、システムの効果が高まる。

私たちのパイプラインは、知識ベースのトリプルを生成することから始まり、クエリの取得と洗練を行い、最終的に生成された回答の質を向上させるという複数のステップを含んでいる。

#ステップ1: トリプルの生成

最初のステップは、各文書をユーザーのクエリに関連する重要な情報をキャッチするトリプルのセットとして表現することだ。各トリプルは、（ソース、アクション、ターゲット）という形式に従い、潜在的なユーザークエリに合わせている。たとえば、テキストを編集する文書はトリプル（回転ハンドル、回転、テキストボックス）を生成し、回転ハンドルがテキストボックスに影響を与えることを示している。

各文書は、その内容に応じて1から35の異なる数のトリプルを生成する。その後、これらのトリプルは効率的な検索を可能にする形でエンコードされ、整理される。

#ステップ2: トリプルの取得

この段階では、ユーザーのクエリを取り込み、保存されたトリプルとの類似度スコアを計算して関連するトリプルを検索する。この方法により、各ユーザーのクエリに対して多くの関連トリプルを取得できる。

#ステップ3: 関連性の分類

取得後、私たちはLLMを使用して最も関連性の高いトリプルをフィルタリングする。文書の内容と取得されたトリプルのリストをモデルに入力として提供し、最も pertinentな関係を特定する。関連性が高いと見なされたトリプルだけが次のステップで使われる。

#ステップ4: クエリの強化

ここで、ユーザーのクエリは、取得プロセスを助けるために必要な詳細を含むように再構築される。この強化により、リトリーバーがより正確な検索を行えるようになる。関連するトリプルと元のユーザーのクエリがLLMに提示され、そのクエリが言い換えられる。

#パフォーマンス評価

私たちはデータセットを使って多くの実験を行い、さまざまなベースライン方法に対してQAフレームワークの有効性を測定した。いくつかのリトリーバーがRAG-QAパイプラインの異なるコンポーネントとともにテストされた。

これらの評価を通じて、私たちが提案する方法は常にベースライン方法よりも改善を示した。評価指標には、ヒット率やセマンティック類似度スコアが含まれ、私たちのアプローチによって生成される出力の質を測定した。

#ベースラインと結果

BM25とDense Passage Retrieval（DPR）メソッドをベースラインとして使用し、私たちの提案したフレームワークとのパフォーマンスを評価した。結果は、DPRメソッドが一般にBM25よりも良いパフォーマンスを示したことを示している。また、私たちのフレームワークは、ドメイン特化の知識を組み込むことなく、一般的なLLMのプロンプトに完全に依存した他の手法を上回っていた。

#エラー分析

私たちのアプローチは関連するエンティティを効果的に特定できるけど、リトリーバル中にエラーが発生することもあった。たとえば、PDFのサイズを減らすことに関するクエリは、キーワードに焦点を当てるあまり、クエリの意図が誤解された。これは、私たちのフレームワークにおいて効率的なリトリーバルメカニズムの確保が重要であることを強調している。

また、類似度スコアの指標が取得したものよりもわずかに高いだけだったことも認識した。この観察から、Normalized Discounted Cumulative Gain（NDCG）などの追加指標を考慮して、システムのパフォーマンスをより包括的に評価することが必要だと考えるようになった。

#結論

要するに、私たちはAdobe AcrobatとPhotoshopに焦点を当てた2つのQAデータセットを導入し、特定の手続き的な長文質問に特化した新しいRAG-QAフレームワークのベンチマークとして機能させる。フレームワークはドメイン知識を取り入れて、情報の検索と回答生成を向上させる。

全体として、私たちの研究は今後の改善への道を開くもので、さまざまな業界での広範な応用の可能性や、クエリの再構築中のノイズを減らすためのリトリーバルシステムの強化を含む。これらの制限に対処することは、専門分野における質問応答システムの進展にとって不可欠だね。