Bemærk
Adgang til denne side kræver godkendelse. Du kan prøve at logge på eller ændre mapper.
Adgang til denne side kræver godkendelse. Du kan prøve at ændre mapper.
Disse ofte stillede spørgsmål beskriver AI-effekten af funktioner til analyseassistance i Copilot Studio.
Hvordan bruges generativ AI til analyse?
Copilot Studio bruger AI til at måle kvaliteten af generative svarsvar og til at oprette klynger. Disse klynger giver indsigt i agentens ydeevne.
Generative svar bruger de videnkilder, du vælger til at generere et svar. Funktionen indsamler også al feedback, du giver. Analytics bruger store sprogmodeller (LLMs) til at klassificere chatmeddelelserne mellem brugere og agenter i niveauer, der angiver kvaliteten af generative svarsvar. Copilot Studio kompilerer disse indikatorer for at give dig en oversigt over en agents overordnede ydeevne.
Klynger bruger LLM'er til at sortere brugernes meddelelser i grupper baseret på delte emner og give hver gruppe et beskrivende navn. Copilot Studio bruger navnene på disse klynger til at give forskellige typer indsigt, som du kan bruge til at forbedre din agent.
Kvaliteten af genererede svar
Hvad er kvaliteten af den tilsigtede anvendelse af svar?
Brug kvaliteten af svaranalysen til at få indsigt i agentforbrug og -ydeevne og derefter oprette handlinger til forbedring af agenten. I øjeblikket kan du bruge analyser til at forstå, om kvaliteten af en agents generative svar opfylder dine forventninger.
Ud over den overordnede kvalitet identificerer kvaliteten af svaranalysen områder, hvor en agent klarer sig dårligt eller ikke opfylder dine tilsigtede mål. Du kan definere områder, hvor generative svar klarer sig dårligt, og tage skridt til at forbedre deres kvalitet.
Når du identificerer dårlig ydeevne, skal du følge de bedste fremgangsmåder, der kan hjælpe med at forbedre kvaliteten. Når du f.eks. har identificeret videnkilder med dårlig ydeevne, kan du redigere videnkilden eller opdele videnkilden i flere mere fokuserede kilder for at øge kvaliteten.
Hvilke data bruges til at oprette analyser for kvaliteten af svar?
Kvaliteten af svaranalysen beregnes ved hjælp af et eksempel på generative svarsvar . Det kræver brugerforespørgslen, agentens svar og de relevante videnkilder, som den generative model bruger til det generative svar.
Kvaliteten af svaranalysen bruger disse oplysninger til at evaluere, om den generative svarkvalitet er god, og hvis ikke, hvorfor kvaliteten er dårlig. Kvaliteten af svar kan f.eks. identificere ufuldstændige, irrelevante eller ikke fuldt funderede svar.
Hvad er begrænsningerne for kvaliteten af svaranalysen, og hvordan kan brugerne minimere virkningen af disse begrænsninger?
Kvaliteten af svaranalysen bruger ikke alle generative svar. I stedet måler analyse et eksempel på brugeragentsessioner. Agenter med færre end det mindste antal vellykkede generative svar kan ikke modtage en kvalitet af svaranalyseoversigten.
Der er tilfælde, hvor analyser ikke evaluerer et individuelt svar præcist. På et aggregeret niveau skal det være nøjagtigt i de fleste tilfælde.
Kvalitets-af-respons-analyser giver ikke en opdeling af de specifikke forespørgsler, der førte til lav kvalitetspræstation. De indeholder heller ikke en opdeling af almindelige videnkilder eller emner, der blev brugt, da der forekommer svar af lav kvalitet.
Analyser beregnes ikke for svar, der bruger generativ viden.
Svarfuldstændighed er en af de målepunkter, der bruges til at vurdere svarkvaliteten. Denne måling måler, hvor fuldt svaret adresserer indholdet i det hentede dokument.
Hvis systemet ikke henter et relevant dokument med yderligere information til spørgsmålet, evaluerer det ikke fuldstændighedsmålingen for det dokument.
Hvilke beskyttelser er der for kvaliteten af svaranalysen i Copilot Studio for ansvarlig AI?
Brugere af agenter kan ikke se analyseresultater. De er kun tilgængelige for agentudviklere og administratorer.
Udviklere og administratorer kan kun bruge kvaliteten af svaranalysen til at se procentdelen af svar af god kvalitet og eventuelle foruddefinerede årsager til dårlig ydeevne. Udviklere kan kun se procentdelen af svar af god kvalitet og foruddefinerede årsager.
Vi har testet analyse for kvaliteten af svar grundigt under udviklingen for at sikre en god ydeevne. Dog kan kvalitetsvurderinger af respons i sjældne tilfælde være unøjagtige.
Sentimentanalyse af samtaler
Hvad er den tilsigtede anvendelse af sentimentanalyse?
Brug synspunktsanalyse til at forstå niveauet af brugertilfredshed i samtalesessioner baseret på en AI-analyse af brugermeddelelser til agenten. Du kan forstå det overordnede synspunkt i sessionen (positiv, negativ eller neutral), undersøge årsagerne og træffe foranstaltninger til at løse problemet.
Hvilke data bruges til at definere stemning i en samtalesession?
Copilot Studio beregner synspunktsanalyse for baseret på brugermeddelelser til agenten for et eksempelsæt af samtalesessioner.
Sentimentanalyse bruger disse oplysninger til at vurdere, om brugertilfredsheden under sessionen er positiv, negativ eller neutral. For eksempel kan en bruger bruge ord og en tonefald, der indikerer frustration eller utilfredshed baseret på interaktionen med agenten. I dette tilfælde klassificeres sessionen som negativ stemning.
Hvad er begrænsningerne ved sentimentanalyse, og hvordan kan brugerne afbøde disse begrænsninger?
Sentimentanalyse beregnes ikke ud fra alle samtalesessioner. I stedet måler analyse et eksempel på brugeragentsessioner. Agenter under et minimum antal daglige succesfulde generative svar kan ikke modtage en sentiment-score.
Sentimentanalyse er i øjeblikket afhængig af generative svar og kræver et minimum antal daglige succesfulde svar for at beregne sentiment-score for agenten.
For at beregne sentiment for en session skal der være mindst to brugerbeskeder. Derudover udføres sentimentanalyse ikke på sessioner, der overstiger i alt 26 beskeder (inklusive både bruger- og agentbeskeder) på grund af nuværende tekniske begrænsninger.
Sentimentanalyse giver ikke en opdeling af de specifikke brugerbeskeder, der førte til sentimentscoren.
Hvilke beskyttelser er der for synspunktsanalyse inden for Copilot Studio for ansvarlig kunstig intelligens?
Brugere af agenter kan ikke se analyseresultater. De er kun tilgængelige for agentudviklere og administratorer.
Du kan kun bruge synspunktsanalyse til at få vist opdelingen af synspunkter på tværs af alle sessioner.
Vi testede sentimentanalysen grundigt under udviklingen for at sikre god præstation. Men i sjældne tilfælde kan vurderinger af stemninger være unøjagtige.
Temaer for brugerspørgsmål
Hvad er den tilsigtede anvendelse af temaer?
Denne funktion analyserer automatisk store sæt brugerforespørgsler og grupperer dem i emner på højt niveau kaldet temaer. Hvert tema repræsenterer et enkelt emne på højt niveau, som brugerne spurgte om. Temaer giver en ikke-overvåget, datadrevet visning af brugerindhold. Denne visning hjælper teams med at forstå, hvad brugerne interesserer sig mest for, uden at gennemgå tusindvis af forespørgsler manuelt.
Hvilke data bruges til at oprette klynger?
Funktionen Temaer bruger brugerforespørgsler, der udløser generative svar. Temaer analyserer alle forespørgsler fra de seneste syv dage for at generere nye foreslåede temaer.
Temaer bruger semantisk lighed til at gruppere forespørgsler. En sprogmodel bruges derefter til at generere titlen og beskrivelsen for hver klynge. Feedback fra udviklere (f.eks. tommelfingre op/ned) indsamles også for at forbedre klyngekvaliteten.
Hvad er begrænsningerne ved klyngedannelse for temaer, og hvordan kan brugerne afhjælpe disse begrænsninger?
Vellykket klyngedannelse til temaer afhænger af forespørgselsvolumen. Hvis der ikke er nok forespørgsler, eller hvis forespørgslerne er for uafhængige af hinanden, kan Copilot Studio gruppere forespørgsler i temaer, der er alt for brede eller for smalle.
Temaer kan undertiden opdele lignende emner eller flette ikke-relaterede emner.
Skift af sprog i forespørgsler kan påvirke konsistensen af klynger over tid.
Du kan gennemse temaer regelmæssigt og give feedback for at forbedre navngivningskvaliteten.
Hvilke beskyttelser af temaer findes inden for Copilot Studio med hensyn til ansvarlig AI?
Temaer er kun synlige for udviklere og administratorer. Indholdsmoderation anvendes ved generering af navne og beskrivelser for at reducere risikoen for skadelige eller upassende output.
Brugerdefineret analyse af målepunkter
Hvad er den tilsigtede brug af brugerdefinerede målepunkter?
Udviklere bruger brugerdefinerede målepunkter til at forstå, hvor meget deres samtaleagenter påvirker forretningsmæssige resultater. Disse målepunkter supplerer analyse af besparelser. Eksempler på brugerdefinerede målepunkter omfatter opløsningsfrekvens, klassificering af kundehensigt og andre domænespecifikke resultater.
Brugerdefinerede målepunkter kan vise, hvor agenter går glip af de tilsigtede mål. Oprettere kan definere, hvad der skal måles, teste målepunkter i forhold til reelle sessionsdata og tilpasse definitioner baseret på resultaterne.
Hvilke data bruges til at beregne brugerdefinerede målepunkter?
Brugerdefinerede målepunkter beregnes ved hjælp af et eksempel på tidligere agentsessioner. Beregningen bruger de samtalemeddelelser, der udveksles under en session.
AI-modellen klassificerer sessionsdata baseret på din metrikværdidefinition. Agenten aggregerer resultater på tværs af eksemplet for at få vist den overordnede metrikværdi for den valgte tidsperiode.
Hvad er begrænsningerne for brugerdefinerede målepunkter, og hvordan kan brugerne minimere virkningen af begrænsninger?
Brugerdefinerede målepunkter beregnes ikke ved hjælp af alle agentsessioner. I stedet måler de et eksempel på sessioner fra den valgte tidsperiode. Da resultaterne er baseret på et eksempel, bør de behandles som retningsindikatorer i stedet for nøjagtige tal.
Du bør overveje, at beregningen af metrikværdien er baseret på transskriptionen af meddelelser, når du fortolker målepunkter. Undgå at drage konklusioner om funktionsmåder, der primært forekommer uden for meddelelser, f.eks. emner og værktøjer.
AI-modellen kan klassificere sessioner forkert. Aggregerede resultater er generelt nøjagtige. Sessioner, der ikke stemmer overens med en defineret kategori, placeres i fallbackkategorien (Andet). Hvis testresultaterne ikke stemmer overens med de forventede resultater, kan du opdatere definitioner af metrikværdier og kategorier.
Hvis en agents instruktioner eller konfiguration ændres væsentligt, når en metrikværdi er defineret, afspejler metrikværdien muligvis ikke længere præcist agentens opdaterede funktionsmåde. Du bør gennemse deres brugerdefinerede målepunkter, når du har foretaget væsentlige ændringer af agenten.
Hvilke beskyttelser er der for brugerdefinerede målepunkter i Copilot Studio for ansvarlig AI?
Resultater af brugerdefinerede målepunkter er kun tilgængelige for agentoprettere og administratorer. Brugere af agenten har ikke adgang til analyseresultater.
Gennemse og godkend alle brugerdefinerede målepunkter, før du gemmer. Under metrikværdiens definition skal du teste målepunkter i forhold til eksempelsessionsdata og gennemse individuelle resultater og modelræsondering. Hvis resultaterne ikke opfylder forventningerne, kan du opdatere eller kassere metrikværdien. Målepunkter anvendes ikke uden din eksplicitte bekræftelse.
Den AI-genererede prompt, der bruges til at klassificere sessioner, er synlig for dig i brugergrænsefladen, så du kan forstå, hvordan modellen fortolker din metrikværdidefinition. Du kan når som helst redigere eller fjerne brugerdefinerede målepunkter.
I sjældne tilfælde kan individuelle sessionsklassifikationer være unøjagtige. Resultaterne skal fortolkes samlet i stedet for på det individuelle sessionsniveau.