コラボレーションクエリの書き換えでAIコミュニケーションを改善する
新しい方法がAIのあいまいなユーザーリクエストへの対応力を向上させる。
― 1 分で読む
目次
会話AIシステム、例えばバーチャルアシスタントって、ユーザーの音声コマンドに応じて手助けしてくれるんだけど、時々ユーザーがリクエストをはっきり言えなかったり、間違えたりすることもあるんだ。これが「不完全なクエリ」って呼ばれるものにつながる。こういうエラーがあると、AIがユーザーの望みを理解するのが難しくなって、イライラする原因になるんだよね。
この問題に対処するために、「クエリ書き換え(QR)」という方法が使われてる。QRは、不完全なクエリを洗練させたり修正したりして、AIがより良い応答を提供できるようにするんだ。さらに「パーソナライズドクエリ書き換え(パーソナライズドQR)」っていうのは、ユーザーの過去のシステムとのやり取りを考慮に入れながらこのプロセスをカスタマイズするんだけど、ユーザーが過去に経験したことがない新しい状況に直面したときには課題があるんだ。
新しいインタラクションの課題
ユーザーが新しいことに挑戦したり、今までに聞いたことがない質問をするのは普通のことだよね。実際、ユーザーのクエリのほぼ半分はこの「未見」のカテゴリーに入るかもしれない。これが不完全なクエリの高い率につながるんだ。パーソナライズドQRはこういう場合にはあまり効果的じゃない。なぜなら、ユーザーの過去の行動に依存しているから。ユーザーが新しいことを尋ねると、システムは修正するのが難しくなるんだ。
コラボレーティブクエリ書き換え
状況を改善するために、「コラボレーティブクエリ書き換え(コラボレーティブQR)」という新しいアプローチが開発された。この方法は、ユーザーが異なるエンティティ(曲やビデオなど)とやり取りした際の接続パターンを利用して、不完全なクエリを書き換える助けをするんだ。
この方法はまず「ユーザーフィードバックインタラクショングラフ(FIG)」を作成することから始まる。このグラフは、ユーザーが異なるエンティティとどのように関わったかの記録をキャッチするんだ。似たような好みを持つユーザーがリクエストをどうしたかを見ることで、新しいユーザーが質問をしたときに何を意味するのかを推測できるんだ。
ユーザーフィードバックインタラクショングラフの構築
ユーザーフィードバックインタラクショングラフは、ユーザーが異なるアイテムとどうインタラクトしているのかを視覚的に表現したものだ。各ユーザーと各アイテムは、過去のインタラクションを測る道によってつながれたノードとして表示されるんだ。例えば、ユーザーが「特定の曲を再生して」って以前に頼んだら、その情報がグラフに保存されるんだ。新しいユーザーが似たような興味でシステムに問い合わせると、AIはグラフを見て他の人の成功したインタラクションを見つけ、不完全なクエリの可能な書き換えを提供できるんだ。
グラフのトラバーサル
書き換えの助けのために、システムはグラフ内の接続を探すんだ。共通のエンティティを通じて、あるユーザーから別のユーザーに至る複数のパスを見つけることができる。こうすることで、新しいリクエストを修正するために使える歴史的データを集めるんだ。
ただ、このグラフのトラバーサルはかなりの計算パワーを要することがあるから、検索の範囲が制限される場合があるんだ。例えば、グラフの深さを3ステップだけに制限するみたいに。
言語モデルでのコラボレーティブユーザーインデックスの強化
最近の言語モデルの進展は、コラボレーティブQRのパフォーマンスを向上させる新しい道を開いたんだ。大規模言語モデル(LLM)は、見たデータを基にユーザーの好みを理解できるんだ。これらのモデルは、過去のユーザー行動に基づいて今後のクエリを提案することができて、コラボレーティブユーザーインデックスのカバーを広げる助けになるんだ。
これらのモデルをユーザーインタラクションデータでトレーニングすると、ユーザーが次に何を求めるかをより良く予測できるようになる。例えば、ユーザーがミュージカルに興味を示したら、そのモデルはそのユーザーが好むかもしれない関連するタイトルを提案できるんだ。たとえそのユーザーが前にそのタイトルに触れたことがなくてもね。
検索ベースのコラボレーティブQRシステム
検索ベースのコラボレーティブQRシステムは、主に2つのステップで動く。最初のステップでは、ユーザーの過去の履歴とコラボレーティブユーザーインデックスを組み合わせたパーソナライズドインデックスから潜在的な書き換えを取得するんだ。目標は、関連性のある書き換えを迅速かつ正確に見つけることなんだ。
2番目のステップでは、ランキングモジュールが過去のパフォーマンスやユーザーフィードバックなどのさまざまな特徴に基づいて、どの書き換えを選ぶかを評価するんだ。この二段階のアプローチにより、システムは不完全なクエリを効果的に修正できる可能性を最大化することができるんだ。
課題と改善点
このアプローチには期待できる面がある一方で課題もある。ユーザーインデックスが大きくなるほどノイズが増えて、不正確な提案が出ることもあるんだ。これを管理する方法の一つは、良い書き換えと悪い書き換えを区別するデータ特徴をもっと加えて、ランキングモデルの精度を向上させることなんだ。
モデルに追加のレイヤーを追加することで、取得システムは情報をより効果的に処理でき、エラーを減らすことができるんだ。それに、ガードレールを統合することで、質の基準を満たさない提案をフィルタリングする助けにもなるんだ。
システムの評価
その効果を評価するために、コラボレーティブQRシステムは制御された環境でテストを受けるんだ。このテストには、成功した書き換えがどれだけあるか、その精度、間違った書き換えがどのくらい発生するかを特定することが含まれるんだ。見たことのないインタラクションでは、精度は若干低くても、システムは欠陥を減らす上で良い改善を示しているんだ。
オンラインパフォーマンス
実装後、コラボレーティブQRシステムはユーザー体験の全体的な改善を示しているんだ。実際のアプリケーションでは、不完全なクエリに対処する能力が著しく向上したと報告されているんだ。
A/Bテストでは、システムの欠陥を減らす能力が19%以上改善されて、ユーザーが以前よりも正確な応答を受け取っていることを示しているんだ。
結論
コラボレーティブクエリ書き換えは、ユーザーインタラクショングラフと言語モデルの力を組み合わせることで大きな進歩を遂げているんだ。過去のインタラクションから学び、未来のインタラクションを予測することで、システムは不完全なクエリにより効果的に対処できるようになっているんだ。
これからも、これらのモデルを最適化する探索を続けていくことは、さらに高い精度とユーザーの満足度をもたらす可能性があるんだ。ユーザーの好みの進化や新しいエンティティの導入は、システムがどのように学び、適応するかを常に形成するから、会話AIにおいてみんなにより良い体験を提供することができるようになるんだ。
タイトル: Graph Meets LLM: A Novel Approach to Collaborative Filtering for Robust Conversational Understanding
概要: Conversational AI systems such as Alexa need to understand defective queries to ensure robust conversational understanding and reduce user friction. These defective queries often arise from user ambiguities, mistakes, or errors in automatic speech recognition (ASR) and natural language understanding (NLU). Personalized query rewriting is an approach that focuses on reducing defects in queries by taking into account the user's individual behavior and preferences. It typically relies on an index of past successful user interactions with the conversational AI. However, unseen interactions within the user's history present additional challenges for personalized query rewriting. This paper presents our "Collaborative Query Rewriting" approach, which specifically addresses the task of rewriting new user interactions that have not been previously observed in the user's history. This approach builds a "User Feedback Interaction Graph" (FIG) of historical user-entity interactions and leverages multi-hop graph traversal to enrich each user's index to cover future unseen defective queries. The enriched user index is called a Collaborative User Index and contains hundreds of additional entries. To counteract precision degradation from the enlarged index, we add additional transformer layers to the L1 retrieval model and incorporate graph-based and guardrail features into the L2 ranking model. Since the user index can be pre-computed, we further investigate the utilization of a Large Language Model (LLM) to enhance the FIG for user-entity link prediction in the Video/Music domains. Specifically, this paper investigates the Dolly-V2 7B model. We found that the user index augmented by the fine-tuned Dolly-V2 generation significantly enhanced the coverage of future unseen user interactions, thereby boosting QR performance on unseen queries compared with the graph traversal only approach.
著者: Zheng Chen, Ziyan Jiang, Fan Yang, Eunah Cho, Xing Fan, Xiaojiang Huang, Yanbin Lu, Aram Galstyan
最終更新: 2023-06-19 00:00:00
言語: English
ソースURL: https://arxiv.org/abs/2305.14449
ソースPDF: https://arxiv.org/pdf/2305.14449
ライセンス: https://creativecommons.org/licenses/by-nc-sa/4.0/
変更点: この要約はAIの助けを借りて作成されており、不正確な場合があります。正確な情報については、ここにリンクされている元のソース文書を参照してください。
オープンアクセスの相互運用性を利用させていただいた arxiv に感謝します。