生成 AI を使用して Connect Customer でエージェントのパフォーマンスを評価する

1. 「生成 AI の精度を向上させるためのガイドライン」を読んで、生成 AI を使って回答できる評価質問について大まかに理解してください。

2. 品質管理チーム内の特定のユーザーに、AI アシスタントにたずねるためのアクセス許可を割り当てます。これらのユーザーが評価を実施する際には、各質問の横に [AI にたずねる] ボタンが表示され、これを使用して推奨される回答を取得できます。これらのユーザーは、どの質問が生成 AI を用いて正確な回答を受け取っているかについて、フィードバックを提供できます。詳細については、「パフォーマンス評価とコーチングにセキュリティプロファイルのアクセス許可を割り当てる」を参照してください。

3. 精度を高めるために、評価者向けの手順で追加の評価基準を指定できます。詳細については、「生成 AI の精度を向上させるためのガイドライン」を参照してください。

4. 生成 AI によってどの質問で正確な回答が得られるかを十分に把握したら、質問に対して生成AI による自動回答を行うかどうかを評価フォーム上で事前設定することで、より広範なロールアウトを行うことができます。

5. オートメーションを設定すると、評価フォームを使用して評価を実施するすべてのユーザーが、事前設定された質問に対して生成 AI による自動回答を取得することになります (追加のアクセス許可は必要ありません)。詳細については、「ステップ 6: 自動評価を有効にする」を参照してください。

6. 評価者が生成 AI の回答を確認してから送信するようにオートメーションを設定できます。または、評価を自動的に入力して送信することもできます。

1. 評価フォームを作成または更新するときに、追加設定タブを選択します。

2. ドロップダウンからフォーム言語を選択します。

3. 最適な AI パフォーマンスを得るには、フォームの質問、指示、回答の選択肢が選択したフォーム言語と同じ言語であることを確認します。

生成 AI の推奨を取得する質問を選択する

1. 生成 AI を使用して、CRM システムなどのサードパーティーアプリケーションで情報を検証する必要なく、会話トランスクリプトの情報を使用して回答できる質問に対応します。

2. 生成 AI を使用して、「エージェントが顧客と対話した時間は?」などの数値回答を必要とする質問に答える 推奨されません。代わりに、Contact Lens メトリクスまたはコンタクトメトリクスを使用して、このような評価フォームの質問にオートメーションを設定することを検討します。

3. 例えば、「通話中、エージェントは注意深かったですか?」といった非常に主観的な質問に、生成 AI を使用して答えるのは避けます。

4. 会話のトランスクリプトだけではわからない情報を必要とする質問をしないでください。たとえば、生成 AI は、エージェントの画面録画を分析したり、CRM などの外部システムにアクセスしたり、複数の問い合わせで評価したりすることはできません。生成 AI では、エージェントまたは顧客の声調も判断できません。

5. 質問が複数のモノを測定する場合は、複数のより簡単な質問に分割します。例えば、「エージェントがアクティブリスニングをしたか？」ではなく、「エージェントが顧客の問題を初めて理解したが、顧客が自分自身を繰り返しなかったか？」などの個別の質問をします。「顧客が説明した後、エージェントは問題を要約しましたか？」。条件付きで有効な質問を使用して、トリガーする質問に特定の回答がある場合にのみフォローアップの質問が評価されるようにすることもできます。

質問と関連する指示の表現の改善

1. 完全な文を使用して質問します。例えば、ID 検証を「エージェントが顧客の ID を検証 しようとしましたか？」に置き換えます。生成 AI が質問をよりよく理解できるようにします。

2. 特に、質問文だけでは回答できない質問の場合、評価者向けの手順内に質問に回答するための詳細な基準を提供することをお勧めします。例えば、「エージェントは顧客 ID を確かめましたか?」という質問の場合 エージェントは、顧客の質問に対応する前に、常にメンバーシップ ID と郵便番号を顧客に尋ねる必要があります。

3. 質問に回答する際に特定のビジネス用語に関する知識が必要な場合は、その用語を指示で指定します。例えば、エージェントが挨拶文で部門名を明記する必要がある場合は、質問に関連付けられた評価者向けの手順の一部として、エージェントが必要とする部門名 (複数可) を一覧表示します。

4. 可能であれば、「同僚」、「従業員」、「代表者」、「代理人」、「提携者」などの用語の代わりに「エージェント」を使用します。同様に、「メンバー」、「発信者」、「ゲスト」、「サブスクライバー」などの用語ではなく、「顧客」という用語を使用します。

5. エージェントまたは顧客によって話された単語そのままを正確に確認したい場合にのみ、指示に二重引用符を使用します。例えば、エージェントが「"Have a nice day"」と言っているか確認するよう指示がある場合、生成 AI は「良い午後をお過ごしください」という文は検出しません。代わりに、 次のように指示する必要があります: The agent wished the customer a nice day.

6. 質問や手順で頭字語を使用しないでください。たとえば、「エージェントは CFPB ガイドラインに従っていましたか？」ではなく、生成 AI が正しく解釈できるように完全な用語をスペルアウトします。

7. 会話のトランスクリプトでスペルが間違っている可能性が高い適切な名詞を使用しないでください。たとえば、O2 Pay などの製品名は異なる文字起こしが行われる場合があり、生成 AI が一致するのを防ぐことができます。

8. 「エージェントが適切な言語を使用しましたか？」など、あいまいに表現された質問は避けてください。たとえば、「エージェントは冒涜的表現を使用しましたか？」と入力します。

9. 質問のフレーズを記述して、誰が評価されているかを明確にします。たとえば、「エージェントは冒涜的な言葉の使用を避けましたか？」と入力します。は、会話のどこかで冒涜行為が発生したかどうかを尋ねると解釈できるため、顧客だけが冒涜行為を使用した場合でも、回答は「いいえ」になります。エージェント自身の行動を評価するには、質問を「エージェントが冒涜的な言葉を使用しましたか？」と表現します。

10. 「エージェントが挨拶を見逃しましたか？」など、否定的に表現された質問は避けてください。否定的な表現は、参照を提供するときに生成 AI が証拠をハルシネーションする可能性があります。代わりに、「エージェントがお客様に挨拶しましたか？」など、質問を肯定的に表現します。

11. 手順で、回答がいつ該当しないか (該当なし) を説明します。たとえば、通話が転送された場合、応答は N/A です。

12. エージェントが と言ったことを確認するなど、長い逐語的なスクリプトを指示に使用しないでください"Thank you for calling ABC Bank. How may I assist you?"。文字起こしのわずかな違いは、生成 AI がスクリプト全体と一致する可能性が低いことを意味します。

13. 標準の通話フローだけでなく、エージェントが処理するさまざまなシナリオをカバーする例を提供します。エージェントがコールバック、エスカレーション、転送などの状況を処理する場合は、それらの状況を反映する評価者への指示に例を含めます。例えば、エージェントがタイムラインを提供した場合、標準通話で「通常 3～5 営業日かかります」を受け入れるかどうか尋ねる質問ですが、「更新して 30 分以内に折り返し電話する」など、コールバックに許容されるフレーズの例も含める必要があります。標準フローの例のみを含む質問は、標準以外の問い合わせで一貫して回答されない可能性が高くなります。

14. 1 つの失敗回答が評価スコア全体に影響するため、自動的に評価に失敗する質問の指示には特に注意してください。エッジケースや非標準シナリオなど、これらの質問の最も詳細な基準を提供します。スコアリングの詳細については、「」を参照してくださいステップ 5: 回答にスコアと範囲を割り当てる。

回答オプションの改善

1. Yes、No、Partial などの単純回答オプションと短い回答オプションを使用します。

2. 質問が当てはまらない状況が発生した場合は、オプションの質問設定を有効にします。これにより、評価者は質問をスキップするか、該当なしとしてマークできます。

3. 生成 AI 回答の精度を低下させる可能性があるため、回答オプションにスペルエラーや特殊文字を使用しないでください。

4. 回答オプションを使いすぎないようにしてください。たとえば、「カスタマーエクスペリエンスはどうだったか」という質問では、Great、Good、OK、Poor、Very Poor、Horrible などのオプションの長いリストは精度を低下させます。代わりに、より小さな個別のオプションのセットを使用します。

5. 生成 AI モデルによって誤って再現される可能性があるため、回答オプションに長いテキストを使用しないでください。