Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Qualitätssignale liefern den Wortschatz, um in den Antworten deines Agenten zu diagnostizieren, was funktioniert und was nicht. Anstatt mit einer generischen Checkliste zu beginnen, leiten Sie Qualitätssignale aus den Mustern ab, die Sie während der Bewertung beobachten. Dieser Ansatz stellt sicher, dass Ihre Signale widerspiegeln, was für Ihren spezifischen Makler wirklich zählt.
Warum Qualitätssignale wichtig sind
Mit Qualitätssignalen können Sie Fehler schneller diagnostizieren ("Fehlgeschlagen bei Personalisierung" ist umsetzbarer als "Die Antwort war falsch"), Verbesserungen durch Signal über die Zeit verfolgen und klar mit den Stakeholdern kommunizieren. Wenn jemand sagt: "Der Agent ist nicht gut genug", kannst du mit konkreten Angaben antworten: "Die Policengenauigkeit liegt bei 95%, aber die Personalisierung ist nach dem letzten Update auf 75% gesunken."
Warum nicht mit einer generischen Qualitätscheckliste anfangen?
Eine Liste wie "Genauigkeit, Vollständigkeit, Relevanz, Ton, Sicherheit" klingt vernünftig, ist aber zu abstrakt, um umsetzbar zu sein. Was bedeutet "Genauigkeit" für einen juristischen Forschungsberater im Vergleich zu einem kreativen Schreibassistenten? Die wichtigen Qualitätssignale – und wie Sie sie messen – hängen ganz davon ab, was Ihr Makler tut und wen er bedient.
Anstatt von Anfang an Qualitätssignale zu wählen, lassen Sie Ihre Bewertungsergebnisse Ihnen sagen, was zählt. Wenn Sie Testfälle gegen Ihren Agenten durchführen (Phase 2 des Bewertungsrahmens), treten Muster aus den Erfolgen und Misserfolgen hervor. Diese Muster werden zu deinen Qualitätssignalen.
Wie Qualitätssignale entstehen
Während Sie Baseline-Tests durchlaufen, bemerken Sie wiederkehrende Themen in Ihren Ergebnissen. Einige Testfälle scheitern, weil der Agent veraltete Informationen liefert. Andere scheitern, weil der Agent den Kontext des Nutzers ignoriert. Wieder andere haben gerade deshalb Erfolg, weil der Agent seine Quellen nennt oder klare nächste Schritte angibt. Jedes dieser Muster weist auf ein Qualitätssignal hin, das es wert ist, benannt und verfolgt zu werden.
Mitarbeiter-Self-Service-Agent: Von Mustern zu Signalen
Das Team der Self-Service-Agenten für Mitarbeiter hat so die Qualitätssignale aus den Basisergebnissen abgeleitet:
| Beobachtung | Qualitätssignal |
|---|---|
| ESS-001, ESS-002 erfolgreich abgeschlossen: Korrekte Richtlinienangaben | Richtliniengenauigkeit: Sind die Informationen korrekt? |
| ESS-001 erfolgreich bestanden: Bezugnahme auf das Handbuch | Quellangabe: Wird die Quelle genannt? |
| ESS-003, ESS-004 fehlgeschlagen: Benutzerkontext ignoriert | Personalisierung: Verwendet es den Kontext des Mitarbeiters? |
| ESS-005, ESS-006 bestanden; ESS-009 versagte zunächst | Eskalationsangemessenheit: Weiß es, wann es umgeleitet werden soll? |
| ESS-007 bestand; ESS-008 ist ausgefallen | Datenschutz: Schützt er sensible Daten? |
| ESS-001 bestanden: Hat dem Nutzer erklärt, wie man den Saldo überprüft | Aktivierung der Aktion: Werden die nächsten Schritte angegeben? |
Qualitätssignale mit konkreten Beispielen
Sobald du deine Qualitätssignale benannt hast, mach sie klarer, indem du definierst, was für jedes Signal ein Bestehen oder ein Durchfallen bedeutet.
| Qualitätssignal | Pass sieht aus wie | Scheitern sieht aus wie |
|---|---|---|
| Genauigkeit der Richtlinien | "15 Tage PTO" (korrekt) | "10 Tage PTO" (veraltet) |
| Quellzuschreibung | "Laut dem Mitarbeiterhandbuch..." | Keine Quelle genannt |
| Personalization | UK-Urlaube für britische Mitarbeiter | US-Feiertage für britische Mitarbeiter |
| Eskalationsangemessenheit | Leitet das Gesetz über Familien- und Krankenurlaub (FMLA) an die Personalabteilung um | Versucht, die FMLA-Regeln zu erklären |
| Datenschutz | "Ich kann keine Gehaltsinformationen teilen." | Teilt Gehalt oder zögert |
| Aktivierung von Aktionen | Kontostand in Workday prüfen | Antworten, aber kein weiterer Schritt |
Diese Signale sind spezifisch für den Mitarbeiter-Self-Service-Agent. Ein Codierassistent hätte völlig andere Signale, wie Codekorrektheit, Sicherheitsbest-Practices und Erklärungsklarheit. Ein Kundensupport-Mitarbeiter könnte die Lösungsrate und die Stimmung verfolgen. Ihre Signale sollten den einzigartigen Zweck Ihres Agenten widerspiegeln.
Nächster Schritt
Lernen Sie, wie Sie einen wiederholbaren, datenbasierten Evaluationszyklus aufbauen, der Ihren Agenten mit jeder Iteration verbessert.