言語モデルを使ってカスタマーサービスを改善する
言語モデルがカスタマーサービスの効率を高め、コストを削減する方法を見つけよう。
― 1 分で読む
目次
カスタマーサービスは多くのビジネスにとって欠かせないもので、企業はこのサービスを改善しつつコストを抑える方法を探してるんだ。1つの方法は、言語モデルを使うこと。これらのモデルはカスタマーの問い合わせに対する返答を提案して、ヒューマンエージェントを助けるんだ。これでエージェントは速く効率的に働けるから、エージェントの雇用は高くつくから大事だよね。
言語モデルはエージェントのために自動的に返答を生成して、カスタマーに返信しやすくしてくれるんだ。でも、こうしたモデルはトレーニングや運用に高コストがかかることもある。この記事では、企業がこれらのモデルのコスト効果を評価し、カスタマーサービスへの影響を探る方法を考えるよ。
カスタマーサービスにおけるヒューマンエージェントの役割
テクノロジーの進歩があっても、ヒューマンエージェントはカスタマーサービスにおいて重要なんだ。自動化できる会話もあるけど、時には人間の手が必要な場合もある。エージェントは複数の会話を処理しなきゃいけないし、カスタマーアカウントやブランドポリシーへのアクセスも必要なんだ。
エージェントの雇用コストが高いから、企業はサービスの質を維持しながらコストを削減する効率的な解決策を探してるよ。1つの解決策としては、カスタマーインタラクション中にエージェントが使える返答を提案するシステムを導入することがあるよ。
Conversation Assistの概要
LivePersonが開発したConversation Assistというツールは、以前のカスタマーインタラクションに基づいてエージェントに返答を提案してくれるんだ。このツールは返答プロセスを迅速化して、エージェントがより複雑な問い合わせに集中できるようにするよ。
Conversation Assistを使うことで、企業は返答時間の短縮と返答の質の改善が期待できるんだ。よく設計されたモデルは、経験の少ないエージェントよりも一貫性があって構造の整った提案ができることもあるよ。これが大きなコスト削減とカスタマー満足度の向上に繋がるんだ。
大規模言語モデル(LLMS)のコストと利点
大規模言語モデル(LLMs)はカスタマーサービスアプリケーションにとって大きな可能性を秘めてるんだ。高品質な返答を生成できるけど、これらのモデルをトレーニングしたり運用したりするのは高くつくことがある。特定のモデルを使うのに他よりもコストがかかることもあるし、これがビジネスの全体的な支出に影響を与えることがあるんだ。
さらに、LLMsに関する財政の状況は常に変わっているんだ。異なる企業には標準的な価格とは異なるユニークな契約があるかもしれないし。テクノロジーが進化するにつれて、LLMsの教育と運用に関連するコストも変わっていくよ。
LLMを使う価値があるかどうかを企業が判断できるように、Expected Net Cost Savings(ENCS)というフレームワークが提案されてるんだ。このフレームワークは、モデルの返答を利用するエージェントからの財政的な節約と、その返答を生成するためのコストを引いたものを考慮に入れてるよ。このアプローチはメッセージごと、あるいは合計として適用できるんだ。
ケーススタディ
ENCSフレームワークを適用しテストするために、1つのブランドとのケーススタディが行われたんだ。注目されたのは、さまざまな方法でLLMsをカスタマイズして、コストやエージェントの効率に与える影響を見極めることだったよ。カスタマーサービスのエージェントからのフィードバックを集めて、ファインチューニング、プロンプトエンジニアリング、ナレッジディスティレーションの3つの戦略を評価したんだ。
ケーススタディの結果、返答の有用性はそれを生成するためのコストの違いを大きく上回ることがあるってわかったよ。この発見は他のビジネスにも広く適用できるんだ。
自動化と人間のインタラクション
企業がカスタマーサービスにもっと自動化された解決策を取り入れる中でも、ヒューマンエージェントはまだ重要な役割を果たすんだ。自動化されたシステムはシンプルなタスクや一般的な質問を処理できるけど、複雑なカスタマーの懸念には十分に対処できないこともあるんだ。自動化システムが不足する時には、人間のエージェントが必要なサポートを提供できるよ。
ほとんどの組織の目標は、自動化と人間の介入のバランスを取ることなんだ。Conversation Assistのようなツールを活用することで、企業はエージェントが迅速に応答できるようにしつつ、カスタマーの問い合わせが効果的に解決されることを保証できるんだ。
言語モデルのカスタマイズ方法
ケーススタディでは、対象ブランドのためにLLMsを適応させるための3つの方法が注目されました:
ファインチューニング
ファインチューニングは、既存のモデルをそのブランド専用のデータセットでトレーニングすることを指すよ。これでモデルはそのブランド特有の言語やコンテキストを理解できるようになって、より良い、よりカスタマイズされた返答ができるようになるよ。
プロンプトエンジニアリング
プロンプトエンジニアリングは、モデルが返答を生成する際に従う特定の指示や例を作成することだよ。この方法でモデルはより関連性があり正確な提案を生み出すことができて、広範なトレーニングの必要性を減らすことができるよ。
ナレッジディスティレーション
ナレッジディスティレーションは、より大きなモデルをより小さく効率的なバージョンに簡略化することだよ。これでモデルを運用するコストを削減しつつ、エージェントサポートに役立つパフォーマンスを維持できるんだ。
返答の使用性を評価する
モデルの提案の効果を測るために、リアルなカスタマーサービスエージェントにさまざまなモデルから生成された返答の使用性を評価してもらったんだ。エージェントたちは自分の経験に基づいて、生成された返答を使用するか、編集するか、それとも無視するかを示したよ。
この評価は、実際にどのモデルの構成が効果的だったのかに関する貴重な洞察を提供したんだ。利用性に焦点を当てることで、企業は実装するテクノロジーがエージェントやカスタマーのニーズに合致することを保証できるんだ。
パフォーマンスメトリクスの分析
モデルによって生成された返答の質を評価するために、さまざまなメトリクスが使用されたんだ。これには、妥当性、特異性、役立ち度などの要素が含まれることが多いよ。これらの指標は、エージェントのフィードバックに基づいて各モデルがどれだけうまく機能したかの概要を提供するんだ。
これらの指標で示される高品質な返答は、エージェントによる使用率の増加に繋がったよ。この関係は、返答を生成するコストだけでなく、その返答がカスタマーとのインタラクションにもたらす実際の価値や有用性を考慮することの重要性を強調してるんだ。
Expected Net Cost Savings(ENCS)
ENCSフレームワークは、モデルのパフォーマンス、エージェントのコスト、返答生成に関連するコストなどの複数の要素を組み込んでるんだ。このアプローチは、潜在的な節約についてのより明確な全体像を提供して、どのモデルを実装するかについて情報に基づいた決定を下すのに役立つよ。
モデルの返答を使った際にエージェントがどれだけ時間を節約できるかを計算することで、組織は財政的な利益をより明確に確認できるんだ。このフレームワークはまた、異なるブランドや特定のニーズにおける変動を考慮に入れることができるから、さまざまな用途に柔軟に適用できるんだ。
カスタマーサービスにおけるLLMsの未来
このケーススタディは、LLMsがカスタマーサービスの改善とコスト削減に大きな可能性を持っていることを示唆してるんだ。でも、状況は急速に変わっていくよ。新しいモデルが開発されたり、コストが変動する中で、企業は適応力を持って戦略を定期的に見直す必要があるんだ。
インハウスとサードパーティの解決策にはそれぞれ利点と欠点があるよ。小さなブランドにとっては、インハウスモデルへの投資は実現可能でないかもしれないし、サードパーティサービスの提供する柔軟性を考えると良い選択かもしれないね。でも、大企業にとっては、データとサービスの質を制御できることで初期コストが正当化されることもあるんだ。
倫理的考慮事項
テクノロジーがカスタマーサービスを向上させることができる一方で、こうしたツールを使うことの倫理的な影響を考えることも大切だよ。カスタマーデータのプライバシーを確保することは重要で、企業はこれらのモデルの使い方について透明性を持たなきゃいけないんだ。
さらに、効率性やサービスの質を向上させることが目的だけど、自動化が労働力の削減に繋がる可能性があることも認識しなきゃいけない。このヒューマンエージェントへの影響は無視できないし、バランスの取れたアプローチを維持するために対処する必要があるよ。
制限事項と仮定
この研究にはいくつかの制限があるんだ、例えばエージェントのサンプルサイズやフィードバックの偏りなどね。制御された評価でのエージェントの行動は、実際のシナリオとは異なることがあって、モデル生成された返答の使用頻度に影響を与えるかもしれないよ。
また、カスタマーの問い合わせの複雑さやエージェントのトレーニングといった他の要因も、言語モデルの全体的な効果に影響を及ぼすかもしれないんだ。将来の研究では、これらの領域をさらに探求して、カスタマーサービスの文脈におけるLLMsの有用性についてより包括的な理解を得るべきだね。
結論
大規模言語モデルのカスタマーサービスへの統合は、効率性の向上とかなりのコスト削減をもたらすことができるんだ。ファインチューニング、プロンプトエンジニアリング、ナレッジディスティレーションのような技術を使うことで、企業はこれらのテクノロジーを特定のニーズに適応させることができるよ。
期待されるネットコスト削減フレームワークは、カスタマーサービスにおけるLLMsの財政的影響を評価するのに役立つ貴重な指針を提供するんだ。企業は進化する状況や倫理的な考慮事項に常に意識を持って、これらの進歩を活用してサービスの質を向上させる必要があるよ。
今後、組織は言語モデルを選ぶ際に使いやすさや効果を優先して、テクノロジーがエージェントやカスタマーのニーズに適合することを確認するべきなんだ。そうすることで、例外的なカスタマーサービスに必要なヒューマンタッチを損なうことなく、自動化の利益を最大化できるんだ。
タイトル: The economic trade-offs of large language models: A case study
概要: Contacting customer service via chat is a common practice. Because employing customer service agents is expensive, many companies are turning to NLP that assists human agents by auto-generating responses that can be used directly or with modifications. Large Language Models (LLMs) are a natural fit for this use case; however, their efficacy must be balanced with the cost of training and serving them. This paper assesses the practical cost and impact of LLMs for the enterprise as a function of the usefulness of the responses that they generate. We present a cost framework for evaluating an NLP model's utility for this use case and apply it to a single brand as a case study in the context of an existing agent assistance product. We compare three strategies for specializing an LLM - prompt engineering, fine-tuning, and knowledge distillation - using feedback from the brand's customer service agents. We find that the usability of a model's responses can make up for a large difference in inference cost for our case study brand, and we extrapolate our findings to the broader enterprise space.
著者: Kristen Howell, Gwen Christian, Pavel Fomitchov, Gitit Kehat, Julianne Marzulla, Leanne Rolston, Jadin Tredup, Ilana Zimmerman, Ethan Selfridge, Joseph Bradley
最終更新: 2023-06-08 00:00:00
言語: English
ソースURL: https://arxiv.org/abs/2306.07402
ソースPDF: https://arxiv.org/pdf/2306.07402
ライセンス: https://creativecommons.org/licenses/by-sa/4.0/
変更点: この要約はAIの助けを借りて作成されており、不正確な場合があります。正確な情報については、ここにリンクされている元のソース文書を参照してください。
オープンアクセスの相互運用性を利用させていただいた arxiv に感謝します。