使用生成式 AI 在 Connect Customer 中评估代理表现

1. 通过阅读提高生成式人工智能准确性的指南，从高层次来了解哪些评估问题适合由生成式人工智能回答。

2. 为质量管理团队中的选定用户分配“向 AI 助手提问”权限。这些用户在进行评估时，将会在每个问题旁边看到一个“向 AI 助手提问”按钮，他们可以使用该按钮来获取答案建议。这些用户可以针对“哪些问题通过生成式人工智能获得了准确的答案”这一情况提供反馈。有关更多信息，请参阅 为绩效评估和指导分配安全配置文件权限。

3. 为了提高准确性，您可以在评估人员说明中提供其他评估标准。有关更多信息，请参阅 提高生成式人工智能准确性的指南。

4. 一旦您明确了哪些问题能够通过生成式人工智能获得准确答案后，您就可以进行更广泛的推广，具体方式是在评估表单上预先设定好哪些问题将使用生成式人工智能自动回答。

5. 一旦您完成了自动化设置，任何使用该评估表单执行评估的用户都将在那些预先配置好的问题上自动获得生成式人工智能提供的答案（无需任何额外的权限）。有关更多信息，请参阅 步骤 6：启用自动评估。

6. 您可以设置自动化流程，让评估人员在提交前先审阅生成式人工智能给出的答案；或者，您也可以让系统自动填写并提交评估。

1. 在创建或更新评估表时，选择 “其他设置” 选项卡。

2. 从下拉列表中选择 “表单语言”。

3. 确保表单的问题、说明和答案选项使用与所选表单语言相同的语言，以实现最佳 AI 性能。

选择问题以获取生成式人工智能建议

1. 使用生成式人工智能来回答可以使用对话记录中的信息回答的问题，而无需通过 CRM 系统等第三方应用程序来验证信息。

2. 不推荐使用生成式人工智能回答需要数字回答的问题，例如“座席与客户互动了多长时间？” 。相反，对于这类评估表单问题，可以考虑使用 Contact Lens 或指标来设置自动化。

3. 避免使用生成式人工智能来回答主观性很强的问题，例如“座席在通话过程中是否专注？”

4. 不要问那些需要仅从对话记录中无法知道的信息的问题。例如，生成式 AI 无法分析代理的屏幕录像、访问外部系统（例如 CRM）或对多个联系人进行评估。生成式人工智能也无法确定代理或客户的语气。

5. 如果一个问题衡量不止一件事，则将其分成多个更简单的问题。例如，而不是 “代理是否表现出积极的倾听？” ，单独问一些问题，例如 “工程师是否第一次了解了客户的问题，而无需客户重复自己的问题？” 以及 “客户解释问题后，工程师是否总结了问题？”。您也可以使用有条件启用的问题，这样只有在触发问题有特定答案时，才会评估后续问题。

改进问题和相关说明的措辞

1. 使用完整的句子来表达问题，例如，将身份验证替换为 “代理是否尝试验证客户的身份？” 使生成式人工智能能够更好地理解问题。

2. 建议您在给评估人员的说明中提供回答问题的详细标准，特别是在无法仅根据问题文本回答问题的情况下。例如，对于问题“座席是否尝试验证客户的身份？” 您可能需要提供其他说明，例如，在解决客户的问题之前，代理必须始终向客户询问其会员ID和邮政编码。

3. 如果回答问题需要了解一些特定业务术语，则应在说明中明确说明这些术语。例如，如果座席需要在问候语中指定部门名称，则应列出座席需要说明的所需部门名称，作为与问题相关的评估人员说明的一部分。

4. 如果可能，请使用“座席”一词来代替“同事”、“员工”、“代表”、“倡导者”或“同事”等词语。同样，使用“客户”一词来代替“会员”、“来电者”、“访客”或“订阅用户”等词语。

5. 如果您想要检查座席或客户的原话，请在说明中使用双引号。例如，如果说明是检查座席是否说了"Have a nice day"，那么生成式人工智能就不会检测 Have a nice afternoon。相反，说明应该说：The agent wished the customer a nice day。

6. 避免在问题和说明中使用首字母缩略词。例如，而不是 “代理人是否遵循了 CFPB 的指导方针？” ，请拼出完整的术语，以便生成式 AI 可以正确解释它。

7. 避免在对话记录中使用可能拼写错误的正确名词。例如，像 O2 Pay 这样的产品名称可能会以不同的方式转录，这可能会阻止生成式 AI 与之匹配。

8. 避免措辞含糊的问题，例如 “代理是否使用了适当的语言？”。具体一点，例如，“代理人是否使用了亵渎语言？”。

9. 短语问题，以便清楚谁正在接受评估。例如，“代理人是否避免使用亵渎语言？” 可以解释为询问对话中是否有亵渎内容，因此即使只有客户使用亵渎内容，答案也变为 “否”。要评估特工自己的行为，请将问题描述为 “特工是否使用了亵渎言论？”。

10. 避免使用负面措辞的问题，例如 “代理错过了问候语吗？”。负面措辞可能会导致生成人工智能在提供参考文献时产生幻觉。取而代之的是积极地表述这个问题，例如，“代理是否向客户打招呼？”。

11. 在说明中，解释答案何时不适用（N/A）。例如，答案是呼叫 N/A 是否导致转接。

12. 避免在说明中使用冗长的逐字记录脚本，例如检查代理所说的。"Thank you for calling ABC Bank. How may I assist you?"轻微的转录差异意味着生成式 AI 不太可能与完整脚本相匹配。

13. 提供涵盖您的代理处理的不同场景的示例，而不仅仅是标准呼叫流程。如果您的代理处理回调、升级或转接等情况，请在给评估者的说明中包含反映这些情况的示例。例如，询问工程师提供的时间表是否可以接受标准通话的 “通常需要 3 到 5 个工作日” 的问题，但还应包括一个可接受的回拨措辞示例，例如 “我会在 30 分钟内给你回电并提供更新”。仅包含标准流程示例的问题更有可能在非标准联系人中得到不一致的回答。

14. 请特别注意评估自动失败的问题的说明，因为单个失败的答案会影响整个评估分数。为这些问题提供最详细的标准，包括边缘案例和非标准场景。有关评分的更多信息，请参阅第 5 步：为答案分配分数和范围。

改善答案选项

1. 使用简单和简短的答案选项，例如 “是”、“否” 和 “部分”。

2. 如果存在问题不适用的情况，请启用 “可选问题” 设置。这允许评估者跳过问题或将其标记为 “不适用”。

3. 避免在答案选项中出现拼写错误和特殊字符，因为它们会降低生成式 AI 答案的准确性。

4. 避免使用过多的答案选项。例如，对于 “客户体验如何？” ，一长串选项，例如 Great、Good、OK、Poor、Very Poor 和 Torrible 会降低准确性。改用一组较小的不同选项。

5. 避免在答案选项中使用长文本，因为生成式 AI 模型可能会错误地复制它。