カスタマーサポートのための効率的な意図検出

顧客サポートのリクエストの意図を把握するのは、効果的なサービスにとってめっちゃ大事だよ。これによってエージェントは問い合わせをすぐに理解して、対応を優先できる。意図を特定する方法はいろいろあるけど、クライアントや業界ごとに特定のモデルを作るのは、クライアントが増えるとコストが高くて現実的じゃない。

このアプローチは、さまざまなクライアントに対する意図検出を効率的にスケールさせる解決策を提供してる。一般的なモデルとクライアントごとの重要な意図のリストを組み合わせることで、トレーニングやメンテナンスのコストを抑えつつも、パーソナライズされた体験を提供できる。このシステムは、クライアントの関連する意図の変化にスムーズに適応できる。

このシステムのパフォーマンスは業界特化のモデルよりずっと良いことがわかっていて、さまざまなクライアントのニーズに応える柔軟性と能力を示してる。

#意図検出の重要性

顧客サポートのリクエストの意図を自動的に把握するのは、どんな効果的なサポートシステムの要だよ。サポートエージェントがリクエストの意図を知っていれば、もっと効率的に対応できる。例えば、意図を特定すると優先順位キューを作成できるから、エージェントは最も重要な問い合わせにまず対応できる。

意図検出は、特定の意図を自動返信やマクロに繋げるのにも役立って、サポートプロセスをさらに早くする。さらに、分析ツールと組み合わせることで、意図に関する情報が顧客サポートの活動やリクエストの貴重な概要を提供することができる。

#意図検出の課題

私たちが注目している課題は、大規模な顧客サポートでの効果的な意図検出を実現すること。システムは、さまざまなクライアントや業界からのリクエストを処理できる必要がある。金融、ソフトウェア、Eコマースなど、各業界は通常、関連する意図の独自のセットを持っていて、正確に分類する必要がある。

意図検出には、一般的に監視付き機械学習技術が使われる。このモデルは、リクエストの内容、例えばメールの件名や本文、クライアントやユーザーに関する他の情報を入力として取る。出力は、あらかじめ定義されたリストからの1つ以上の意図になる。

スケールで意図検出を実現する一つの方法は、すべてのクライアントと意図を処理できる単一のモデルを使用すること。これはコスト効率が良くてメンテナンスも楽だけど、時々特定のクライアントには当てはまらない意図を出すことがあって、そのことでシステムへの信頼が薄れる。

一方で、業界特化のモデルは、同じ分野のクライアント向けに提供される。このアプローチは特定の意図に対する精度が高くなるけど、業界の数が増えるほど複雑になる。特定の業界にクライアントを割り当てることも難しくて、特に複数のカテゴリーにまたがるクライアントの場合はなおさら。

さらに、クライアントの関連する意図のリストは時間とともに変化することもある。いくつかの意図は関係なくなるかもしれないし、システムはこれらの変化に効果的に適応できる必要がある。だから、意図検出システムは、新しい意図が突然現れてもパフォーマンスの一貫性を保つために強力であり続けることが重要だ。

#私たちの提案するシステム

私たちは、チケットの内容とクライアントの関連する意図のリストの両方を考慮に入れる単一の一般モデルを使ったシステムを提案する。このリストは、クライアントの過去のデータから来るか、クライアント自身が定義することができる。このリストがあれば、クライアントの業界ニーズがより明確に見える。

さらに、私たちは各クライアントのために無関係な意図をすぐに削除するフィルタリング方法を使うことで、モデル再トレーニングのスケジュールに依存しない。

このシステムの主な貢献は：

• クライアントが自分のパーソナライズされた意図のセットを持つことを可能にする。
• クライアントを業界別に分類する必要をなくし、複数の特定モデルを展開する必要がなくなる。
• 関連する意図のリストを追加機能として使うことで、一般モデルと比べてより良いパフォーマンスを提供する。
• 各クライアントの関連する意図の変化に時間とともに迅速に適応できるトレーニング手法を含む。

#プロセスを理解する

私たちは意図検出タスクを分類問題として見ることができ、目標は特定の特徴に基づいてあらかじめ定義されたリストから1つの意図を予測することだ。この特徴には、チケットの内容やクライアントからの追加情報が含まれる。

顧客サポートの分野では、意図検出のためにさまざまな方法が使われる。クライアントや業界があって、適用方法もいろいろある。一番シンプルな方法は、リクエストの出所を考慮しない単一の一般モデルを使うことだ。

逆に、業界特化モデルがあって、同じ業界のクライアントからのリクエストだけを扱い、その分野に関連する意図だけを使う。それぞれの方法には長所と短所がある。一般モデルはトレーニングやメンテナンスの面で簡単だけど、業界特化モデルはよりカスタマイズされた結果を提供するが、コストが高くなる。

私たちの提案する解決策は、関連する意図のリストを統合した単一の一般モデルを使うことで、両方の利点を組み合わせている。このアプローチは、トレーニング時間、展開時間、全体的なコストを削減しながら、モデルが各クライアントに正確な結果を提供することを保証している。

#モデルアーキテクチャ

私たちは、リクエストの内容を処理するためにXLM-RoBERTaというトランスフォーマーエンコーダーを使っている。この選択は、複数の言語を扱えるため、顧客サポートの状況では重要だ。

モデルの分類部分は、関連する意図のリストを考慮に入れて、よりパーソナライズされた予測を促すようになっている。モデルは、チケットの内容と関連する意図のリストを組み合わせるように構築されていて、精度を向上させている。

#実験のセットアップ

実験では、実際の顧客チケットから成る社内データセットを利用する。モデルへの入力は、チケットの件名と説明を含む。このデータセットは、9つの異なる言語のリクエストを含み、683の異なる顧客サポートの意図をカバーしている。

データセットをトレーニングと評価のために準備するために、ストラティファイドサンプリングという方法を使う。これによって、各意図の割合を維持しながら、一部を検証セットに割り当てる。また、さまざまな業界についてのデータセットも作成していて、その分野に関連するチケットだけを含んでいる。

#パフォーマンス評価

一般モデルと業界特化モデルを比較して、どれがより優れているかを見ている。目標は、単一のモデルがさまざまな業界のリクエストを効果的に処理できることを示すことだ。

ソフトウェア、Eコマース、金融などの分野で業界特化モデルをトレーニングした結果、一般モデルはそれらに対してもかなりの性能を示し、特定の領域でわずかな低下が見られるだけだった。これは、一般モデルが意図検出タスクを効果的に管理できることを裏付ける。

#関連意図リストの影響

関連する意図のリストを含めることで、モデルのパフォーマンスが向上する。ただし、これらのリストは変わる可能性があるため、モデルは常に再トレーニングなしで適応できる必要がある。

これを測定するために、さまざまなカバレッジレベルの関連意図を持つモデルをトレーニングする。クライアントが意図を追加したり削除したりした場合など、さまざまなシナリオに基づいてパフォーマンスを評価する。結果として、関連意図のリストを利用したモデルは、そうでないモデルよりも一般的にパフォーマンスが良いことがわかり、このアプローチが変化に対応しつつ高いパフォーマンスを維持する能力を持っていることを示している。

#意図リストの変化への対応

関連する意図の変化に対するモデルの耐性を高めるために、トレーニング中に合成ノイズを導入する。つまり、トレーニング中に同じクライアントのために異なるリストにさらされることで、現実の変化に柔軟に対応できるようになる。

私たちのテストでは、少量のノイズでトレーニングされたモデルが最高のパフォーマンスを示した。これにより、意図リストの変化に対しても信頼性を保つことができた。ただし、あまりにも多くのノイズでトレーニングされたモデルはパフォーマンスが悪くなる傾向があり、バランスが重要であることを示している。

#ドメイン外パフォーマンスの評価

トレーニングプロセスに参加していなかったクライアントからのデータでモデルがどれだけうまく機能するかも評価している。これにより、モデルが新しいシナリオにどれだけ一般化できるかを理解する。

要約すると、関連する意図のリストを考慮したモデルは、トレーニングデータ外のクライアントを扱ってもさまざまな文脈でより優れた性能を示すことがわかった。これは、モデルが一般化し、さまざまな状況にうまく対応できる能力を示している。

#結論

私たちは、クライアント数が増えてもスケールする顧客サポートの意図検出の新しいシステムを開発した。各クライアントのユニークな関連意図のリストを持つ一般的なモデルを使用することで、複雑さとコストを削減できた。

このアプローチは、メンテナンスを簡単にするだけでなく、クライアントのニーズに応じたサービスをカスタマイズすることも可能にしている。結果的に、このシステムは業界特化モデルや一般的モデルの両方を上回る性能を発揮していて、私たちの方法が意図の関連性を活用して分類精度を向上させる効果的なものだと証明している。

私たちの研究は、関連意図のリストを意図検出の貴重な情報として使用する可能性を示しており、ダイナミックな環境においてモデルが堅牢で適応力があることを保証している。