AI質問提案でユーザーエンゲージメントを高める
AIがユーザーにより良い質問の提案をする方法を学ぼう。
Xiaobin Shen, Daniel Lee, Sumit Ranjan, Sai Sree Harsha, Pawan Sevak, Yunyao Li
― 1 分で読む
企業向けの会話AIプログラムは、マーケティングや顧客管理のタスクを手伝う頼りになるオフィス仲間みたいなもの。でも、新しいユーザーが参加する時、どんな質問をすればいいかわからなくなることがあるんだ。これは、常に進化している高度なシステムでは特に難しい課題。これを解決するために、質問の提案を改善するフレームワークが提案されてる。このフレームワークは、ユーザーに賢くてコンテキストに基づいた質問を提供して、必要な情報を見つけたり、利用可能な機能を最大限に活用できるように設計されてるんだ。
AIアシスタントの台頭
テクノロジーが進化するにつれて、大規模な言語モデルが注目を集めてAIシステムをより能力フルにしてる。今、多くの企業がAIアシスタントをツールに追加して、会話を自動化し、ユーザー体験を向上させてる。これらのアシスタントは、デジタルタスクのためのスキルのある受付みたいなもので、ユーザーを構造化されたタスクを通じて導いて、プラットフォームの全体的な動作を改善してる。
通常、企業向けAIアシスタントは、製品情報の共有と運用上のインサイトの提供の2つの主要な領域を扱う。今回の議論の焦点は、ユーザーに物事を説明して明確にし、プラットフォームをスムーズに案内すること。AIはたくさん学んではいるけど、単に質問に答えるだけじゃ不十分なことが多い。ユーザーは、答えをもらった後に次に何を聞けばいいのかわからなくなってしまう。特にシステムの機能になじみがない新規ユーザーには顕著だ。
ユーザーのジレンマ
例えば、マーケティング部の新しい社員が「プロファイルのリッチネスはどうやって計算されるの?」って聞くと、Adobe Experience Platform(AEP)の指標について長々と説明される。プロファイルのリッチネスについて知識は得られるけど、その情報を実生活でどう使うかについてはまだ考え込んじゃう。次に何をすればいいの?これが全体のタスクにどう関わるの?この混乱は、システムの全機能を引き出すためのフォローアップ質問を考えることの難しさを示してる。
質問の提案がこのギャップを埋める手助けをしてくれる。質問に答えるだけじゃなく、関連する問いへとユーザーを促すんだ。例えば、答えをもらった後に「プロファイルリッチネスの権利を超えた時の影響は?」や「プロファイルリッチネスを効果的に監視・管理するには?」みたいな提案があれば、ユーザーはプロファイルリッチネスの広い側面を理解できて、関連する機能に対する好奇心も湧いてくる。
質問提案の課題
でも、こういうシステムで良い質問の提案を生み出すのは簡単じゃない。多くの企業システムは十分な履歴データがないから、従来のモデルでクエリを予測するのが難しい。時には、ユーザーが奇抜な質問やバラバラな質問をすることもあって、一般的なパターンに合わない場合もあって、プロセスが複雑になるんだ。さらに、AIアシスタントが成長・変化し続ける中で、システムができることとユーザーが知っていることとの間にギャップが生じる。このギャップは、ユーザーのエンゲージメントを減らし、プラットフォームを十分に利用する人が少なくなる原因になっちゃう。
この課題を解決するために、企業向け会話AIシステムにおける質問提案を強化するフレームワークが提案されてる。このアプローチでは、Adobe Experience Platform(AEP)のAIアシスタントからの実データを利用する。ユーザーがプラットフォームについてもっと発見できるように、積極的で分類された質問提案を生成することに焦点を当ててる。
贡献
この研究で示された改善点は以下の通り:
- ユーザーの意図分析とチャットセッションのインタラクションをリンクさせた、企業AIにおけるフォローアップ質問生成の新しいアプローチ。
- 現在の問い合わせと過去のインタラクションに基づいたコンテキストフレンドリーな質問を生成するための高度な言語モデルの使用。
- 多様な基準(関連性や有用性など)に基づいて、質問提案の効果を評価するための人間による評価の実施。
この研究は、実際の企業AIシステムにおける質問提案の影響を研究する初めての試みだ。
関連概念
質問提案技術
テクノロジーの世界では、従来の質問提案方法が検索エンジンでのユーザー体験を大きく向上させてきた。ユーザーの過去の活動に基づいて質問を予測し、提案することで、検索をよりユーザーフレンドリーにしてくる。基本的なデータ分析から複雑なニューラルネットワークまで、さまざまなアプローチが大規模なウェブ検索の探検を強化するために使われてる。
いくつかの取り組みでは、質問の提案に多様性を持たせようとしていて、ユーザーが異なるけど関連性のある選択肢を受け取れるようにしてる。ただ、これらの手法は通常、効果的なモデルを訓練するためにタスクに特化したデータがたくさん必要になる。でも、大規模な言語モデルと情報検索を強化した生成技術の進展により、タスク固有のデータの必要性は減少してきた。代わりに、事前訓練されたモデルが既存の知識を活用して関連する質問を提案している。
AIアシスタントにおける発見可能性
発見可能性は、ユーザーがシステム内でどんなアクションを取れるかを見つけるのがどれだけ簡単かを指す。この考え方は従来のソフトウェアで研究されてきたけど、複雑なAIシステムではしばしば無視されちゃう。プラットフォームが機能豊かになっていく中で、ユーザーは新しい機能を認識するのが難しくなり、使用が減少しちゃう。
過去の発見可能性に関する研究は主にデスクトップソフトウェア、モバイルアプリ、音声インターフェースを対象にしてきた。多くは、ユーザーに関連するコマンドを提案して、全体の体験を改善することに焦点を当てている。最近の研究では、会話AIにおけるプロアクティブなインタラクションの利点も探求されてる。研究は、タイムリーな提案がより良いインタラクションとユーザー満足度の向上につながることを示している。
さまざまな分野に焦点を当てているにもかかわらず、企業向け会話AIにおける発見可能性はまだあまり探求されていない。顧客管理のような複雑なビジネスコンテキストをナビゲートするユーザーは、しばしば困難に直面する。これらのユーザーは多様なバックグラウンドを持っているから、システムが即座のエンゲージメントを支援し、プラットフォーム機能についての継続的な学習を促すことが重要なんだ。
質問提案のためのフレームワーク
企業向け会話AIシステムでの次の質問提案のためのフレームワークは、2つの主要な要素で構成されてる:
- ユーザー意図分析: ユーザー全体の傾向やニーズを特定するために行われる。
- チャットセッションの質問生成: 特定のチャットセッション内での個々のユーザーの履歴に基づいて質問を作成することに焦点を当てている。
この二つのアプローチにより、システムはユーザーの行動の変化を理解し、ユーザーのインタラクション履歴に合わせた関連質問を生成できるんだ。
ユーザー意図分析
この段階では、システム内のユーザーの問い合わせの一般的なパターンを特定する。なぜユーザーが特定の質問をするのかを理解することで、システムはユーザーの意図をカテゴライズできる。
例えば、ユーザーがプロセスを理解しようとしている場合、システムはフォローアップの問い合わせにつながるパターンに気づくかもしれない。この分析により、ユーザーをプラットフォーム内の関連するがあまり知られていない機能に導く質問カテゴリーを生成することが可能になる。
チャットセッションレベルの質問生成
この部分では、現在のインタラクション履歴を使ってユーザーに対する質問提案を作成する。このフェーズの入力には、最も最近のユーザーの問い合わせ、AIのその問い合わせに対するレスポンス、そしてそのセッション内での過去の質問などが含まれる。これらのリアルタイムインタラクションを活用することで、フレームワークは関連性だけでなく、ユーザーを機能の探求へと誘導する積極的な提案を作り出すことを目指している。
フレームワークの評価
強化された発見可能性の効果を評価するのは複雑な作業で、特にこの分野での成功を測るための標準的なデータセットやメトリックが不足している。フレームワークを評価するために、ユーザーとAIアシスタントの間のさまざまなインタラクションからデータが集められた。人間による評価が行われ、フレームワークの包括的な評価が確保されるようにされている。
ユーザー意図分析の結果
結果は、ユーザーのクエリの35%以上が同じセッション内の以前のインタラクションに関連していなかったことを明らかにしている。これは、ユーザーの問い合わせのパターンを形成する難しさを示している。また、ユーザーはしばしば拡張質問やフォローアップの質問をする傾向があり、これはユーザーの意図の多様性をよりよく捉えるのに役立つ。
人間による評価プロセス
新しいフレームワークのパフォーマンスをベースラインと比較するために、両方の質問提案セットが評価された。質問は、関連性、有効性、有用性、多様性、発見可能性の潜在性などの複数の基準に基づいて評価された。評価者は、どれがどれか知らない状態で提案を評価するように指示され、不偏性が確保された。
一般的な洞察
調査結果は、企業AIシステムにおけるスパースデータによって引き起こされる課題を強調している。従来のモデルの訓練方法は、ここではうまく機能しないことがある。代わりに、大規模な言語モデルを使用することで、質問提案を生成するための効果的なソリューションを提供できる。
さらに、結果は「一サイズフィッツオール」アプローチが効果的ではないことも示している。異なるユーザーはシステムとのインタラクションにおいて多様な意図があり、これらの異なる視点は質問提案の評価において考慮されるべきだ。
結論
このフレームワークは、ユーザーの行動やシステムの能力の変化に追随できる柔軟な質問提案戦略の必要性を強調している。複雑なプラットフォームをナビゲートするのを手助けし、あまり使われていない機能の探求を促すことを目指している。
将来的な取り組みは、改善された質問提案が実環境でのユーザーの行動にどのように影響するかを探ることに焦点を当てることができる。ユーザーが機能をクリックする頻度や、それらを探索する頻度などのメトリックが、これらの洗練された提案の効果を測るために重要になる。
要するに、効果的な質問提案は、ユーザーが企業AIシステムの広大な世界を十分に楽しむために必要なフレンドリーなガイドの役割を果たす可能性がある。これらのシステムがオフィスのコーヒーブレイクのように人気になることを願ってるよ!
タイトル: Enhancing Discoverability in Enterprise Conversational Systems with Proactive Question Suggestions
概要: Enterprise conversational AI systems are becoming increasingly popular to assist users in completing daily tasks such as those in marketing and customer management. However, new users often struggle to ask effective questions, especially in emerging systems with unfamiliar or evolving capabilities. This paper proposes a framework to enhance question suggestions in conversational enterprise AI systems by generating proactive, context-aware questions that try to address immediate user needs while improving feature discoverability. Our approach combines periodic user intent analysis at the population level with chat session-based question generation. We evaluate the framework using real-world data from the AI Assistant for Adobe Experience Platform (AEP), demonstrating the improved usefulness and system discoverability of the AI Assistant.
著者: Xiaobin Shen, Daniel Lee, Sumit Ranjan, Sai Sree Harsha, Pawan Sevak, Yunyao Li
最終更新: Dec 14, 2024
言語: English
ソースURL: https://arxiv.org/abs/2412.10933
ソースPDF: https://arxiv.org/pdf/2412.10933
ライセンス: https://creativecommons.org/licenses/by/4.0/
変更点: この要約はAIの助けを借りて作成されており、不正確な場合があります。正確な情報については、ここにリンクされている元のソース文書を参照してください。
オープンアクセスの相互運用性を利用させていただいた arxiv に感謝します。