Evaluieren Sie die Agentenleistung in Connect Customer mithilfe generativer KI

1. Unter Richtlinien zur Verbesserung der Genauigkeit von generativer KI erhalten Sie einen Überblick darüber, welche der Bewertungsfragen mit generativer KI beantwortet werden sollten.

2. Weisen Sie ausgewählten Benutzern in Ihrem Qualitätsmanagementteam Berechtigungen für die Verwendung des Assistenten „Frag KI“ zu. Diesen Benutzern wird bei der Durchführung von Bewertungen die Schaltfläche „Frag KI“ neben jeder Frage angezeigt. Sie können diese verwenden, um Antwortempfehlungen zu erhalten. Diese Benutzer können Feedback dazu geben, welche Fragen mithilfe generativer KI korrekt beantwortet werden. Weitere Informationen finden Sie unter Weisen Sie Sicherheitsprofilberechtigungen für Leistungsbeurteilungen und Coaching zu.

3. Um die Genauigkeit zu verbessern, können Sie in den Anweisungen für Bewerter zusätzliche Bewertungskriterien angeben. Weitere Informationen finden Sie unter Richtlinien zur Verbesserung der Genauigkeit von generativer KI.

4. Sobald Sie ein gutes Verständnis dafür haben, welche Fragen mit generativer KI präzise beantwortet werden können, können Sie einen umfassenderen Rollout durchführen, indem Sie im Bewertungsformular vorkonfigurieren, ob eine Frage mithilfe generativer KI automatisiert beantwortet wird.

5. Sobald Sie die Automatisierung eingerichtet haben, erhält jeder Benutzer, der Bewertungen mithilfe des Bewertungsformulars durchführt, automatisierte, auf generativer KI basierende Antworten auf die vorkonfigurierten Fragen (ohne dass zusätzliche Berechtigungen erforderlich sind). Weitere Informationen finden Sie unter Schritt 6: Automatisierte Bewertungen aktivieren.

6. Sie können die Automatisierung so einrichten, dass ein Bewerter vor dem Einreichen die mit generativer KI erstellten Antworten erst prüft, oder Sie können Bewertungen automatisch ausfüllen und einreichen lassen.

1. Wählen Sie beim Erstellen oder Aktualisieren eines Bewertungsformulars die Registerkarte Zusätzliche Einstellungen.

2. Wählen Sie in der Drop-down-Liste die Sprache des Formulars aus.

3. Stellen Sie sicher, dass die Fragen, Anweisungen und Antwortoptionen Ihres Formulars in derselben Sprache wie die ausgewählte Formularsprache verfasst sind, um eine optimale KI-Leistung zu erzielen.

Auswählen der Fragen für Empfehlungen durch generative KI

1. Verwenden Sie generative KI für Fragen, die anhand von Informationen aus dem Gesprächsprotokoll beantwortet werden können, ohne dass Informationen über Drittanwendungen wie CRM-Systeme validiert werden müssen.

2. Die Verwendung generativer KI zur Beantwortung von Fragen, die numerische Antworten erfordern, z. B. „Wie lange hat der Kundendienstmitarbeiter mit dem Kunden interagiert?“, wird nicht empfohlen. Erwägen Sie stattdessen, die Automatisierung solcher Fragen im Bewertungsformular mithilfe von Contact Lens oder Kontaktmetriken einzurichten.

3. Vermeiden Sie es, generative KI zur Beantwortung sehr subjektiver Fragen zu verwenden, z. B. „War der Kundendienstmitarbeiter während des Anrufs aufmerksam?“.

4. Stellen Sie keine Fragen, für die Informationen erforderlich sind, die nicht allein aus dem Gesprächsprotokoll ersichtlich sind. Generative KI kann beispielsweise nicht die Bildschirmaufnahme des Agenten analysieren, auf externe Systeme wie ein CRM zugreifen oder eine Auswertung über mehrere Kontakte hinweg durchführen. Generative KI kann auch nicht den Tonfall des Agenten oder Kunden bestimmen.

5. Wenn eine Frage mehr als eine Sache misst, teilen Sie sie in mehrere einfachere Fragen auf. Zum Beispiel statt „Hat der Agent aktiv zugehört?“ , stellen Sie separate Fragen wie „Hat der Mitarbeiter das Problem des Kunden beim ersten Mal verstanden, ohne dass der Kunde es wiederholen musste?“ und „Hat der Mitarbeiter das Problem zusammengefasst, nachdem der Kunde es erklärt hat?“. Sie können auch bedingt aktivierte Fragen verwenden, sodass eine Folgefrage nur dann ausgewertet wird, wenn eine auslösende Frage eine bestimmte Antwort hat.

Verbesserung der Formulierung von Fragen und den zugehörigen Anweisungen

1. Verwenden Sie vollständige Sätze, um Fragen zu formulieren, und ersetzen Sie beispielsweise die ID-Validierung durch „Hat der Mitarbeiter versucht, die Identität des Kunden zu überprüfen?“ ermöglicht dies der generativen KI, die Frage besser zu verstehen.

2. Es wird empfohlen, dass Sie in den Anweisungen für die Bewerter detaillierte Kriterien für die Beantwortung der Frage angeben, insbesondere wenn es nicht möglich ist, die Frage allein anhand des Fragetexts zu beantworten. Für die Frage „Hat der Kundendienstmitarbeiter versucht, die Kundenidentität zu überprüfen?“ Möglicherweise möchten Sie zusätzliche Anweisungen geben, z. B.: Der Kundenbetreuer muss einen Kunden immer nach seiner Mitglieds-ID und Postleitzahl fragen, bevor er die Fragen des Kunden beantwortet.

3. Wenn für die Beantwortung einer Frage die Kenntnis geschäftsspezifischer Begriffe erforderlich ist, geben Sie diese Begriffe in der Anleitung an. Wenn der Kundendienstmitarbeiter beispielsweise den Namen der Abteilung in der Begrüßung nennen muss, listen Sie die erforderlichen Abteilungsnamen, die der Kundendienstmitarbeiter sagen muss, im Rahmen der Anweisungen für die Bewerter der jeweiligen Frage auf.

4. Verwenden Sie nach Möglichkeit den Begriff „Kundendienstmitarbeiter“ anstelle von Begriffen wie „Kollege“, „Mitarbeiter“, „Vertreter“, „Berater“ oder „Agent“. Verwenden Sie entsprechend den Begriff „Kunde“ anstelle von Begriffen wie „Mitglied“, „Anrufer“, „Gast“ oder „Abonnent“.

5. Verwenden Sie in Ihrer Anweisung doppelte Anführungszeichen nur dann, wenn Sie überprüfen möchten, ob der Kundendienstmitarbeiter oder der Kunde genau die angegebenen Worte verwendet hat. Wenn die Anweisung beispielsweise darin besteht, zu überprüfen, ob der Kundendienstmitarbeiter "Have a nice day" sagt, dann erkennt die generative KI nicht Haben Sie einen schönen Tag. Stattdessen sollte die Anweisung lauten: The agent wished the customer a nice day.

6. Vermeiden Sie die Verwendung von Akronymen in Fragen und Anweisungen. Zum Beispiel statt „Hat der Mitarbeiter die CFPB-Richtlinien befolgt?“ , buchstabieren Sie den vollständigen Begriff, damit die generative KI ihn richtig interpretieren kann.

7. Vermeiden Sie die Verwendung von Eigennamen, bei denen die Wahrscheinlichkeit besteht, dass sie im Gesprächsprotokoll falsch geschrieben sind. Beispielsweise könnte ein Produktname wie O2 Pay anders transkribiert werden, wodurch verhindert werden kann, dass die generative KI ihm entspricht.

8. Vermeiden Sie vage formulierte Fragen wie „Hat der Mitarbeiter die richtige Sprache verwendet?“. Seien Sie konkret, zum Beispiel „Hat der Agent Schimpfwörter verwendet?“.

9. Formulieren Sie die Fragen so, dass klar ist, wer bewertet wird. Zum Beispiel: „Hat der Mitarbeiter die Verwendung von Schimpfwörtern vermieden?“ kann so interpretiert werden, dass gefragt wird, ob an einer beliebigen Stelle in der Konversation Obszönitäten vorkommen, sodass die Antwort „Nein“ lautet, auch wenn nur der Kunde Schimpfwörter verwendet hat. Um das eigene Verhalten des Mitarbeiters zu beurteilen, formulieren Sie die Frage wie folgt: „Hat der Mitarbeiter Obszönitäten verwendet?“.

10. Vermeiden Sie negativ formulierte Fragen wie „Hat der Mitarbeiter die Begrüßung verpasst?“. Negative Formulierungen können dazu führen, dass die generative KI bei der Angabe von Referenzen Beweise halluziniert. Formulieren Sie die Frage stattdessen positiv, z. B. „Hat der Mitarbeiter den Kunden begrüßt?“.

11. Erläutern Sie in Ihren Anweisungen, wann die Antwort „Nicht zutreffend“ lautet (N/A). Die Antwort lautet beispielsweise, N/A ob der Anruf zu einer Weiterleitung geführt hat.

12. Vermeiden Sie lange wörtliche Skripte in Ihren Anweisungen, z. B. zu überprüfen, ob der Mitarbeiter etwas gesagt hat. "Thank you for calling ABC Bank. How may I assist you?" Geringfügige Unterschiede in der Transkription bedeuten, dass es unwahrscheinlich ist, dass die generative KI dem vollständigen Skript entspricht.

13. Geben Sie Beispiele an, die die verschiedenen Szenarien abdecken, mit denen Ihre Agenten umgehen, und nicht nur den Standardanrufablauf. Wenn Ihre Agenten mit Situationen wie Rückrufen, Eskalationen oder Weiterleitungen umgehen, fügen Sie den Anweisungen für die Gutachter Beispiele hinzu, die diese Situationen widerspiegeln. Eine Frage, in der gefragt wird, ob der Mitarbeiter einen Zeitplan angegeben hat, könnte bei einem Standardanruf „In der Regel dauert es 3 bis 5 Werktage“ akzeptieren, sollte aber auch ein Beispiel für eine akzeptable Formulierung für einen Rückruf enthalten, z. B. „Ich rufe Sie innerhalb von 30 Minuten mit einem Update zurück“. Fragen, die nur Beispiele für Standardabläufe enthalten, werden bei Kontakten, die nicht dem Standard entsprechen, eher uneinheitlich beantwortet.

14. Achten Sie besonders auf die Anweisungen für Fragen, die eine Bewertung automatisch nicht bestehen, da sich eine einzelne fehlgeschlagene Antwort auf das gesamte Bewertungsergebnis auswirkt. Geben Sie die detailliertesten Kriterien für diese Fragen an, einschließlich Sonderfällen und Sonderszenarien. Weitere Informationen zur Bewertung finden Sie unterSchritt 5: Weisen Sie den Antworten Punktzahlen und Bereiche zu.

Verbesserung der Antwortoptionen

1. Verwenden Sie einfache und kurze Antwortoptionen wie Ja, Nein und Teilweise.

2. Aktivieren Sie die Einstellung Optionale Frage, wenn es Situationen gibt, in denen die Frage nicht zutrifft. Dadurch können Prüfer die Frage überspringen oder sie als „Nicht zutreffend“ markieren.

3. Vermeiden Sie Rechtschreibfehler und Sonderzeichen in den Antwortoptionen, da sie die Genauigkeit generativer KI-Antworten beeinträchtigen können.

4. Vermeiden Sie es, zu viele Antwortoptionen zu verwenden. Zum Beispiel für die Frage „Wie war das Kundenerlebnis?“ , eine lange Liste von Optionen wie „Hervorragend“, „Gut“, „OK“, „Schlecht“, „Sehr schlecht“ und „Schrecklich“ verringert die Genauigkeit. Verwenden Sie stattdessen einen kleineren Satz unterschiedlicher Optionen.

5. Vermeiden Sie langen Text in den Antwortoptionen, da er vom generativen KI-Modell möglicherweise falsch wiedergegeben wird.