CRMシステムにおけるAIエージェントの評価

顧客関係管理（CRM）システムはビジネスにとって重要だよね。これらは企業が顧客とどのようにやり取りするかを管理するのに役立つんだ。これにAIエージェントを追加すると、日常的なタスクが楽になったり、顧客サービスが向上したりするんだ。でも、これらのAIエージェントをテストするのは難しくて、実際のCRMタスクの複雑さを示すリアルな例が不足してるんだ。

そこで、私たちはリアルな職場で見られるCRMタスクに基づいてAIエージェントを評価する新しいベンチマークを作ったよ。CRMの専門家と協力して、サービスエージェント、アナリスト、マネージャーの三つの役割に分けた九つのカスタマーサービスタスクを見つけたんだ。よく用いられるビジネスオブジェクトを反映したシミュレーション組織を作り、それを実際のSalesforce CRM空間にアップロードすることで、AIシステムがリアルな環境でこれらのタスクをこなすチャンスを提供しているんだ。

初期テストでは、たとえ最高のAIエージェントでも40%のタスクを完了するのに苦労して、特別に設計されたツールを使っても55%しか解決できないことがわかったんだ。これは、AIエージェントが実際の仕事環境で成功するためには、ルールに従ったり機能をうまく使ったりする能力をもっと向上させる必要があることを示しているよ。

#CRMシステムとは？

CRMシステムは現代のビジネスに欠かせないものだよ。これらは企業が現在の顧客や潜在的な顧客とのやり取りを記録するのに役立つ。これは関係性を維持したり、売上を上げたりするのに重要なんだ。AIがCRMシステムに統合されることで、以前は多くの時間を消費していたタスクが自動化されるようになって、顧客へのサービスが改善されたり、従業員の効率が向上したりするんだ。

#リアルなテストの必要性

職場環境でAIエージェントをテストするのは難しいんだ。なぜなら、現在のベンチマークは現実のシナリオを示すには不十分だから。以前のベンチマークは基本的なタスクに焦点を当てていて、さまざまなデータポイント間の複雑な関係を見逃していたんだ。たとえば、あるタスクは、他の側面、たとえば注文やケースに多くのつながりを持つアカウントに関する問い合わせを処理する必要があるかもしれない。これは以前のテストではキャッチできていなかった現実なんだ。

#新しいベンチマークの導入

これらの制限を克服するために、私たちはリアルなCRMタスクに基づいてAIエージェントを評価するための包括的なベンチマークを開発したよ。この新しいベンチマークは、SalesforceのCRMシステムの実際の構造を反映したサンドボックス環境を作るんだ。私たちのアプローチは、二つの主要な課題に取り組むことができるよ。

1. データの接続性: 実際のデータにはオブジェクト間の複雑な接続があるんだ。たとえば、顧客アカウントは複数のケースや注文にリンクされているかもしれない。私たちのデータ生成はこれらの関係を正確に反映しているよ。

2. リアルなデータの動態をシミュレート: シミュレートされたデータが現実のCRMデータで見られる動的な変化に似るように、隠れた変数も作成したんだ。これにより、私たちのテストが有効で実用的なものになるんだ。

#どんなタスクが含まれている？

私たちのベンチマークには、異なるCRM役割が行う典型的な活動を反映したタスクをデザインしたよ。以下は含まれている九つのタスクの概要だ：

1. 新しいケースのルーティング: スキルと空き状況に基づいて、適切な人間のエージェントに入ってきたケースを割り当てる。

2. ハンドル時間の理解: 平均的な問い合わせ処理時間が最も短い/長いエージェントを特定する。

3. 転送回数の理解: 特定の期間内にケースを最も少なく/多く転送したエージェントを見つける。

4. 名詞の曖昧性解消: 顧客取引に関連する商品名を明確にする。

5. ポリシー違反の特定: 顧客とのやり取りで会社のルールが破られたかどうかをチェックする。

6. 知識に基づく質問回答: CRMシステム内の知識記事に基づいて正確な回答を提供する。

7. 最上位の問題特定: 特定の製品について最も報告された問題を発見する。

8. 月別トレンド分析: 特定の製品の異なる月におけるケースのトレンドを分析する。

9. 最良地域の特定: ケースが最も早く解決される地域を特定する。

これらのタスクは、CRMにおける三つの主要な役割、つまりサービスマネージャー、サービスエージェント、サービスアナリストに適した課題を表しているんだ。

#リアルなサンドボックス環境の構築

リアルなテスト環境を作るために、データプライバシーやデータの多様性を確保するのが大変だったんだ。顧客アカウントから注文履歴まで、すべてを含む16のビジネスオブジェクトを構築したよ。

二つの重要な課題があった：

1. オブジェクト接続性: 実生活のデータには多くの相互接続がある。私たちは生成したデータがこれらの接続を正確に反映していることを確認したんだ。

2. 隠れた関係性: 実データには顧客行動に影響を与える要因のような隠れた因果関係があることが多い。私たちはこれらの要因を生成したデータにモデル化したよ。

質を確保するために、二重層の検証を使って重複を排除し、データが事前に設定した基準を満たしていることを確認したんだ。さらに、サンドボックス環境が実際のシナリオを反映しているかを徹底的にチェックしたよ。

#専門家からのフィードバック

私たちが作ったサンドボックスがリアルに感じられるかを確認するために、専門家スタディを行ったんだ。Salesforce CRMを定期的に使っているプロフェッショナルを招待して、私たちの環境をテストしてもらったよ。特定のタスクを完了した後、実際に体験したことのリアリズムを評価してもらった。

このスタディの結果は promising だったよ。90%以上の専門家が私たちのサンドボックスをリアルまたは非常にリアルと評価したんだ。このフィードバックは、私たちのテスト環境が実際のCRMシステムの良い反映であることを確認しているんだ。

#AIパフォーマンスのベンチマーキング

環境のリアリズムを確認した後、さまざまなAIエージェントがタスクをどのくらいうまくこなせるかを測定することにしたよ。GPT-4やClaude 3.5などの最先端モデルを異なる運用フレームワークの下で評価したんだ。

私たちの調査結果は、最高のAIエージェントでさえこれらのタスクに苦労していることを示しているよ。ReActフレームワークを使った最良のモデルは、タスクの約38%しか完了できなかった。追加のツールや機能を使っても、これが55%にしかならなかったんだ。

この結果は、私たちのベンチマークが提示する課題を強調し、AIシステムが実際のCRM環境で効果的に機能するためには能力を向上させる必要があることを示しているよ。

#コスト効率の良いソリューション

コスト効率は特にAIを統合しようとするビジネスにとって重要なんだ。私たちがテストしたAIエージェントの中で、GPT-4は最もコスト効率が良いことがわかったよ。タスクあたりのコストが低く維持されつつ、正確な結果を提供できたんだ。これは、CRMシステム内でのテストを必要とする企業にとって、最適な選択肢だよ。

#機能タイプの理解

私たちの実験では、AIエージェントに機能呼び出し能力を追加しても、パフォーマンスが必ずしも向上するわけではないことがわかったんだ。異なるタイプの機能は、エージェントのパフォーマンスに異なる影響を与えるんだ。見た目は有利に見える機能が、実際には弱いモデルを妨げることもあるんだ。

ここでのポイントは、強力なモデルは追加の機能から恩恵を受けることができる一方で、弱いモデルは混乱するかもしれないってこと。これは、AIエージェントが本当にどれだけのサポートを必要とするかを理解する重要性を強調しているよ。

#トライアルの一貫性

一貫性は特に職場環境でAIエージェントにとって重要だよ。私たちは、エージェントが複数の試みにわたってタスクをどれだけ一貫して解決できるかをテストしたんだ。驚くことに、すべてのテストフレームワークのパフォーマンスは同じように低下したんだ。これは、最高のモデルでも信頼できる結果を提供するのに苦しんでいることを示しているよ。

#結論

私たちが導入したベンチマークは、リアルなCRMタスクに基づいてAIエージェントを評価する新しい方法を提供していて、現在の手法のギャップを埋めているんだ。でも、私たちの発見は、先進的なAIでさえ実際のCRMシナリオの要求に対処するのが難しいことを示しているよ。今後の課題は、AIの能力を向上させるだけでなく、現代のカスタマーサービス環境に特有の複雑さを処理できるようにすることなんだ。

このベンチマークを作ることで、私たちはこの分野のさらなる発展を促したいと思っているよ。AIが顧客関係を管理するためのますます価値のあるツールになるといいな。もしかしたら、時間と努力次第で、顧客サービスを熟練のプロのようにこなせるAIエージェントが登場するかもしれないね。それまでの間は、やっぱり人間のエージェントに頼る必要がありそうだね！