Vanliga frågor och svar om analys

Dessa vanliga frågor och svar beskriver AI-effekten av funktioner för analyshjälp i Copilot Studio.

Hur används generativ AI för analys?

Copilot Studio använder AI för att mäta kvaliteten på generativa svarssvar och för att skapa kluster. Dessa kluster ger insikter om agentprestanda.

Generativa svar använder kunskapskällor som du väljer för att generera ett svar. Funktionen samlar även in all feedback du lämnar. Analys använder stora språkmodeller (LLM) för att klassificera chattmeddelanden mellan användare och agenter i nivåer som anger kvaliteten på generativa svarssvar. Copilot Studio kompilerar dessa indikatorer för att ge dig en sammanfattning av en agent övergripande prestanda.

Klustring använder LLM:er för att sortera användarnas meddelanden i grupper baserat på delade ämnen och ge varje grupp ett beskrivande namn. Copilot Studio använder namnen på dessa kluster för att tillhandahålla olika typer av insikter som du kan använda för att förbättra din agent.

Kvalitet på generativa svar

Vad är kvaliteten på svaret som är avsett att användas?

Använd svarsanalysens kvalitet för att identifiera insikter om agentanvändning och prestanda och skapa sedan åtgärder för agentförbättring. För närvarande kan du använda analys för att förstå om kvaliteten på en agents generativa svar uppfyller dina förväntningar.

Utöver den övergripande kvaliteten identifierar kvaliteten på svarsanalys områden där en agent presterar dåligt eller inte kan uppnå dina avsedda mål. Du kan definiera områden där generativa svar presterar dåligt och vidta åtgärder för att förbättra deras kvalitet.

När du identifierar dåliga prestanda följer du metodtips som kan bidra till att förbättra kvaliteten. När du till exempel har identifierat kunskapskällor med dåliga prestanda kan du redigera kunskapskällan eller dela upp kunskapskällan i flera, mer fokuserade källor för ökad kvalitet.

Vilka data används för att skapa analyser för svarskvalitet?

Svarsanalysens kvalitet beräknas med hjälp av ett urval av generativa svarssvar . Det kräver användarfrågan, agentsvaret och relevanta kunskapskällor som den generativa modellen använder för generativt svar.

Svarsanalysens kvalitet använder den informationen för att utvärdera om den generativa svarskvaliteten är bra, och om inte, varför kvaliteten är dålig. Svarskvaliteten kan till exempel identifiera ofullständiga, irrelevanta eller inte helt grundade svar.

Vilka är begränsningarna i svarsanalysens kvalitet och hur kan användarna minimera effekten av dessa begränsningar?

  • Kvalitetsanalysen av svar använder inte alla generativa svar. I stället mäter analysen ett exempel på sessioner mellan användare och agent. Agenter med färre än det lägsta antalet lyckade generativa svar kan inte få en analytisk sammanfattning av svarens kvalitet.

  • Det finns fall då analysen inte utvärderar ett enskilt svar korrekt. På aggregerad nivå bör detta vara korrekt i de flesta fall.

  • Kvalitetsanalys för svar ger ingen genomgång av de specifika frågor som ledde till låg kvalitet på prestandan. De ger inte heller någon uppdelning av vanliga kunskapskällor eller ämnen som användes när svar av låg kvalitet inträffar.

  • Analys beräknas inte för svar som använder generativ kunskap.

  • Svarsfullständighet är en av de mått som används för att bedöma svarskvaliteten. Detta mått mäter hur fullständigt svaret adresserar innehållet i det hämtade dokumentet.

    Om systemet inte hämtar ett relevant dokument med ytterligare information för frågan, utvärderar det inte fullständighetsmåttet för det dokumentet.

Vilka skydd finns för kvalitet på svarsanalyser inom Copilot Studio för ansvarsfull AI?

Användare av agenter ser inte analysresultaten, de är bara tillgängliga för agenttillverkare och administratörer.

Tillverkare och administratörer kan bara använda svarsanalysens kvalitet för att se procentandelen svar av god kvalitet och eventuella fördefinierade orsaker till dåliga prestanda. Tillverkare kan bara se procentandelen av svar av god kvalitet och fördefinierade orsaker.

Vi har testat analysen av svarskvalitet noggrant under utvecklingen för att säkerställa bra resultat. Men vid sällsynta tillfällen kan kvalitetsbedömningar av respons vara felaktiga.

Sentimentanalys för samtalssessioner

Vad är den avsedda användningen av sentimentanalys?

Använd attitydanalys för att förstå nivån av användarnöjdhet i konversationssessioner baserat på en AI-analys av användarmeddelanden till agenten. Du kan förstå sessionens övergripande attityd (positiv, negativ eller neutral), undersöka orsakerna och vidta åtgärder för att åtgärda den.

Vilken data används för att definiera känslor i en samtalssession?

Copilot Studio beräknar attitydanalys för baserat på användarmeddelanden till agenten för en exempeluppsättning konversationssessioner.

Sentimentanalys använder den informationen för att utvärdera om användarnöjdheten under sessionen är positiv, negativ eller neutral. Till exempel kan en användare använda ord och en tonfall som indikerar frustration eller missnöje baserat på interaktionen med agenten. I detta fall klassificeras sessionen som negativ stämning.

Vilka är begränsningarna med sentimentanalys, och hur kan användare mildra dessa begränsningar?

Sentimentanalys beräknas inte med alla samtalssessioner. I stället mäter analysen ett exempel på sessioner mellan användare och agent. Agenter under ett minimiantal dagliga framgångsrika genererade svar kan inte få något sentimentvärde.

Sentimentanalys är för närvarande beroende av generativa svar och kräver ett minimum av dagliga framgångsrika svar för att beräkna agentens sentimentpoäng.

För att beräkna sentiment för en session måste det finnas minst två användarmeddelanden. Dessutom, på grund av nuvarande tekniska begränsningar, utförs inte sentimentanalys på sessioner som överstiger totalt 26 meddelanden (inklusive både användar- och agentmeddelanden)

Sentimentanalys ger ingen uppdelning av de specifika användarmeddelanden som ledde till sentimentpoängen.

Vilka skydd finns för attitydanalys inom Copilot Studio för ansvarsfull AI?

Användare av agenter ser inte analysresultaten, de är bara tillgängliga för agenttillverkare och administratörer.

Du kan bara använda attitydanalys för att se uppdelningen av sentiment i alla sessioner.

Vi testade sentimentanalys noggrant under utvecklingen för att säkerställa god prestanda. Men vid sällsynta tillfällen kan sentimentbedömningar vara felaktiga.

Teman för användarfrågor

Vad är den avsedda användningen med teman?

Den här funktionen analyserar automatiskt stora uppsättningar användarfrågor och grupperar dem i ämnen på hög nivå som kallas teman. Varje tema representerar ett enskilt hög nivå ämne som användarna frågat om. Teman ger en oövervakad, datadriven vy över användarinnehåll. Den här vyn hjälper teamen att förstå vad användarna bryr sig mest om utan det manuella steget att granska tusentals frågor.

Vilka data används för att skapa kluster?

Funktionen Teman använder användarfrågor som utlöser generativa svar. Teman analyserar alla frågor från de senaste sju dagarna för att generera nya föreslagna teman.

Teman använder semantisk likhet med gruppfrågor. En språkmodell används sedan för att generera rubriken och beskrivningen för varje kluster. Feedback från skapare (till exempel tummen upp/ner) samlas också in för att förbättra klustringskvaliteten.

Vilka är begränsningarna i klustring för teman och hur kan användarna lindra dessa begränsningar?

Lyckad klustring till teman beror på frågevolymen. Om det inte finns tillräckligt med frågor eller om frågorna är för orelaterade till varandra kan Copilot Studio klustra frågor till teman som är alltför breda eller alltför smala.

Teman kan ibland dela liknande ämnen eller slå samman orelaterade ämnen.

Språkväxling i sökfrågor kan påverka klusters konsistens över tid.

Du kan granska teman regelbundet och ge feedback för att förbättra namngivningskvaliteten.

Vilka skydd för teman finns inom Copilot Studio när det gäller ansvarsfull AI?

Teman är bara synliga för skapare och administratörer. Innehållsmoderering tillämpas när namn och beskrivningar genereras för att minska risken för skadliga eller olämpliga utdata.

Analys av anpassade mått

Vad är den avsedda användningen av anpassade mått?

Skapare använder anpassade måttanalyser för att förstå hur mycket deras konversationsagenter påverkar affärsresultat. Dessa mått kompletterar besparingsanalyser. Exempel på anpassade mått är matchningshastighet, klassificering av kundinsikter och andra domänspecifika resultat.

Anpassade mått kan visa var agenter missar avsedda mål. Skapare kan definiera vad som ska mätas, testa mått mot verkliga sessionsdata och förfina definitioner baserat på resultaten.

Vilka data används för att beräkna anpassade mått?

Anpassade mått beräknas med hjälp av ett exempel på tidigare agentsessioner. Beräkningen använder konversationsmeddelanden som utbyts under en session.

AI-modellen klassificerar sessionsdata baserat på din måttdefinition. Agenten sammanställer resultat från urvalet för att visa den övergripande metriksens prestanda för den valda tidsperioden.

Vilka är begränsningarna för anpassade mått och hur kan användarna minimera effekten av begränsningar?

Anpassade mått beräknas inte med alla agentsessioner. I stället mäter de ett urval av sessioner från den valda tidsperioden. Eftersom resultaten baseras på ett urval bör de behandlas som riktningsindikatorer snarare än exakta siffror.

Du bör tänka på att måttberäkningen baseras på meddelandenas avskrift vid tolkning av mått. Undvik att dra slutsatser om beteenden som främst förekommer utanför meddelanden, till exempel ämnen och verktyg.

AI-modellen kan felklassificera sessioner. Aggregerade resultat är i allmänhet korrekta. Sessioner som inte matchar en definierad kategori placeras i kategorin reserv (Övrigt). Om testresultaten inte matchar förväntade resultat kan du uppdatera måttbeskrivningen och kategoridefinitionerna.

Om en agents instruktioner eller konfiguration ändras avsevärt efter att ett mått har definierats kanske måttet inte längre korrekt återspeglar agentens uppdaterade beteende. Du bör granska deras anpassade nyckeltal när du har gjort betydande ändringar i agenten.

Vilka skydd finns för anpassade mått i Copilot Studio för ansvarsfull AI?

Anpassade måttresultat är endast tillgängliga för agentskapare och administratörer. Användare av agenten har inte åtkomst till analysresultat.

Granska och godkänn alla anpassade mått innan du sparar. Under måttdefinitionen testar du mått mot exempelsessionsdata och granskar enskilda resultat och modellskäl. Om resultaten inte uppfyller förväntningarna kan du uppdatera eller ta bort måttet. Mått tillämpas inte utan din explicita bekräftelse.

Den AI-genererade prompten som används för att klassificera sessioner är synlig för dig i användargränssnittet, så att du kan förstå hur modellen tolkar din måttdefinition. Du kan när som helst redigera eller ta bort anpassade mått.

I sällsynta fall kan enskilda sessionsklassificeringar vara felaktiga. Resultaten bör tolkas aggregerat i stället för på enskild sessionsnivå.

Relaterat innehåll

  • Last updated on