Avalie o desempenho do agente no Connect Customer usando IA generativa

1. Tenha uma compreensão geral de quais perguntas de avaliação devem ser respondidas com IA generativa lendo as Diretrizes para melhorar a precisão da IA generativa.

2. Atribua permissões para selecionar usuários da sua equipe de gerenciamento de qualidade para usar o assistente Pergunte à IA. Esses usuários começarão a ver o botão Pergunte à IA ao lado de cada pergunta ao realizarem avaliações e poderão usá-lo para receber recomendações de respostas. Esses usuários podem fornecer feedback sobre quais perguntas estão recebendo respostas precisas usando IA generativa. Para obter mais informações, consulte Atribua permissões de perfil de segurança para avaliações de desempenho e treinamento.

3. Para melhorar a precisão, você pode fornecer critérios de avaliação adicionais nas instruções para os avaliadores. Para obter mais informações, consulte Diretrizes para melhorar a precisão da IA generativa.

4. Depois de entender bem quais perguntas podem ser respondidas com precisão com a IA generativa, você pode fazer uma implementação mais ampla pré-configurando no formulário de avaliação se uma pergunta receberá uma resposta automática usando IA generativa.

5. Depois de configurar a automação, qualquer usuário que realize avaliações usando o formulário de avaliação receberá respostas automatizadas de IA generativa às perguntas pré-configuradas (sem exigir permissões adicionais). Para obter mais informações, consulte Etapa 6: habilitar avaliações automatizadas.

6. É possível configurar a automação para que um avaliador primeiro avalie as respostas de IA generativa antes do envio ou preencha e envie avaliações automaticamente.

1. Selecione a guia Configurações adicionais ao criar ou atualizar um formulário de avaliação.

2. Escolha o idioma do formulário no menu suspenso.

3. Certifique-se de que as perguntas, instruções e opções de resposta do seu formulário estejam no mesmo idioma do idioma do formulário selecionado, para um desempenho ideal de IA.

Selecionar perguntas para obter recomendações de IA generativa

1. Use a IA generativa para responder a perguntas que podem ser respondidas usando informações da transcrição da conversa, sem a necessidade de validar as informações por meio de aplicações de terceiros, como sistemas de CRM.

2. Usar IA generativa para responder a perguntas que exigem respostas numéricas, como “Por quanto tempo o atendente interagiu com o cliente?”, não é recomendado. Em vez disso, pense em configurar a automação para essas perguntas do formulário de avaliação usando o Contact Lens ou métricas de contato.

3. Evite usar IA generativa para responder a perguntas altamente subjetivas, por exemplo: “O atendente estava atento durante a chamada?”

4. Não faça perguntas que exijam informações que não possam ser conhecidas apenas pela transcrição da conversa. Por exemplo, a IA generativa não pode analisar a gravação de tela do agente, acessar sistemas externos, como um CRM, ou avaliar em vários contatos. A IA generativa também não pode determinar o tom de voz do agente ou do cliente.

5. Se uma pergunta mede mais de uma coisa, divida-a em várias perguntas mais simples. Por exemplo, em vez de “O agente exibiu escuta ativa?” , faça perguntas separadas, como “O agente entendeu o problema do cliente na primeira vez sem precisar que o cliente se repetisse?” e “O agente resumiu o problema depois que o cliente o explicou?”. Você também pode usar perguntas ativadas condicionalmente para que uma pergunta complementar seja avaliada somente quando uma pergunta desencadeadora tiver uma resposta específica.

Melhorar a formulação das perguntas e instruções associadas

1. Use frases completas para formular perguntas, por exemplo, substituindo a validação de identidade por “O agente tentou validar a identidade do cliente?” permite que a IA generativa entenda melhor a questão.

2. É recomendável fornecer critérios detalhados para responder à pergunta nas instruções para avaliadores, especialmente se não for possível responder à pergunta com base apenas no texto da pergunta. Por exemplo, para a pergunta “O atendente tentou validar a identidade do cliente?”, talvez você queira fornecer instruções adicionais, como: O agente deve sempre perguntar ao cliente seu ID de associado e código postal antes de responder às perguntas do cliente.

3. Se responder a uma pergunta exigir conhecimento de alguns termos comerciais específicos, especifique-os na instrução. Por exemplo, se o atendente precisar especificar o nome do departamento na saudação, liste os nomes obrigatórios do departamento que o atendente precisa indicar como parte das instruções para avaliadores associadas à pergunta.

4. Se possível, use o termo “atendente” em vez de termos como “colega”, “funcionário”, “representante”, “consultor” ou “associado”. Da mesma forma, use o termo “cliente”, em vez de termos como “membro”, “chamador”, “convidado” ou “assinante”.

5. Use apenas aspas duplas nas instruções se quiser verificar as palavras exatas faladas pelo atendente ou pelo cliente. Por exemplo, se a instrução for verificar se o atendente diz "Have a nice day", a IA generativa não detectará Tenha uma boa tarde. Em vez disso, a instrução deve dizer: The agent wished the customer a nice day.

6. Evite usar acrônimos em perguntas e instruções. Por exemplo, em vez de “O agente seguiu as diretrizes do CFPB?” , especifique o termo completo para que a IA generativa possa interpretá-lo corretamente.

7. Evite usar nomes próprios que possam estar escritos incorretamente na transcrição da conversa. Por exemplo, um nome de produto como O2 Pay pode ser transcrito de forma diferente, o que pode impedir que a IA generativa o corresponda.

8. Evite perguntas formuladas de forma vaga, como “O agente usou a linguagem apropriada?”. Seja específico, por exemplo, “O agente usou palavrões?”.

9. Faça perguntas para que fique claro quem está sendo avaliado. Por exemplo, “O agente evitou o uso de palavrões?” pode ser interpretado como perguntar se a profanação ocorreu em algum lugar da conversa, então a resposta se torna “Não” mesmo quando somente o cliente usou palavrões. Para avaliar a conduta do próprio agente, formule a pergunta como “O agente usou palavrões?”.

10. Evite perguntas formuladas de forma negativa, como “O agente perdeu a saudação?”. O fraseado negativo pode fazer com que a IA generativa alucine evidências ao fornecer referências. Em vez disso, formule a pergunta de forma positiva, por exemplo, “O agente cumprimentou o cliente?”.

11. Em suas instruções, explique quando a resposta é Não aplicável (N/A). Por exemplo, a resposta é N/A se a chamada resultou em uma transferência.

12. Evite scripts textuais longos em suas instruções, como verificar se o agente disse. "Thank you for calling ABC Bank. How may I assist you?" Pequenas diferenças na transcrição significam que é improvável que a IA generativa corresponda ao script completo.

13. Forneça exemplos que cubram os diferentes cenários que seus agentes lidam, não apenas o fluxo de chamadas padrão. Se seus agentes lidam com situações como retornos de chamada, escalonamentos ou transferências, inclua exemplos nas instruções aos avaliadores que reflitam essas situações. Por exemplo, uma pergunta que pergunte se o agente forneceu um cronograma pode aceitar “Normalmente, leva de 3 a 5 dias úteis” em uma ligação padrão, mas também deve incluir um exemplo de frase aceitável para um retorno de chamada, como “Ligarei de volta em 30 minutos com uma atualização”. Perguntas que incluem apenas exemplos de fluxo padrão têm maior probabilidade de serem respondidas de forma inconsistente em contatos não padrão.

14. Dê atenção extra às instruções para perguntas que falham automaticamente em uma avaliação, pois uma única resposta com falha afeta toda a pontuação da avaliação. Forneça os critérios mais detalhados para essas questões, incluindo casos extremos e cenários não padrão. Para obter mais informações sobre pontuação, consulteEtapa 5: atribuir pontuações e intervalos às respostas.

Melhorando as opções de resposta

1. Use opções de resposta simples e curtas, como Sim, Não e Parcial.

2. Ative a configuração de pergunta opcional quando houver situações em que a pergunta não seja aplicável. Isso permite que os avaliadores pulem a pergunta ou a marquem como Não aplicável.

3. Evite erros de ortografia e caracteres especiais nas opções de resposta, pois eles podem reduzir a precisão das respostas generativas de IA.

4. Evite usar muitas opções de resposta. Por exemplo, para a pergunta “Como foi a experiência do cliente?” , uma longa lista de opções como Ótimo, Bom, OK, Ruim, Muito Ruim e Horrível reduz a precisão. Em vez disso, use um conjunto menor de opções distintas.

5. Evite textos longos nas opções de resposta, pois eles podem ser reproduzidos incorretamente pelo modelo generativo de IA.