Merk
Tilgang til denne siden krever autorisasjon. Du kan prøve å logge på eller endre kataloger.
Tilgang til denne siden krever autorisasjon. Du kan prøve å endre kataloger.
Disse vanlige spørsmålene beskriver AI-effekten av analysehjelpsfunksjoner i Copilot Studio.
Hvordan brukes generativ kunstig intelligens til analyse?
Copilot Studio bruker KUNSTIG intelligens til å måle kvaliteten på generative svarsvar og opprette klynger. Disse klyngene gir innsikt i agentytelse.
Generative svar bruker kunnskapskilder du velger for å generere et svar. Funksjonen samler også inn tilbakemeldinger du gir. Analyse bruker store språkmodeller (LLM-er) til å klassifisere chat-meldinger mellom brukere og agenter til nivåer som angir kvaliteten på generative svarsvar. Copilot Studio kompilerer disse indikatorene for å gi deg et sammendrag av en agents generelle ytelse.
Klynger bruker storspråkmodeller til å sortere brukernes meldinger i grupper basert på delte emner og gi hver gruppe et beskrivende navn. Copilot Studio bruker navnene på disse klyngene til å gi forskjellige typer innsikter du kan bruke til å forbedre agenten.
Kvaliteten på generative svar
Hva er kvaliteten på hvordan responsen er ment å brukes?
Bruk kvaliteten på responsanalyse til å oppdage innsikt i agentbruk og -ytelse, og opprett deretter handlinger for forbedring av agenten. For øyeblikket kan du bruke analyser til å forstå om kvaliteten på en agents generative svar oppfyller forventningene dine.
I tillegg til generell kvalitet identifiserer kvaliteten på responsanalyse områder der en agent yter dårlig eller ikke klarer å utføre de tiltenkte målene dine. Du kan definere områder der generative svar yter dårlig, og ta skritt for å forbedre kvaliteten.
Når du identifiserer dårlig ytelse, følger du anbefalte fremgangsmåter som kan bidra til å forbedre kvaliteten. Etter å ha identifisert kunnskapskilder med dårlig ytelse, kan du for eksempel redigere kunnskapskilden eller dele kunnskapskilden i flere, mer fokuserte kilder for økt kvalitet.
Hvilke data brukes til å opprette analyser for svarkvalitet?
Kvaliteten på responsanalyse beregnes ved hjelp av et utvalg av generative svarsvar . Det krever brukerspørringen, agentsvaret og de relevante kunnskapskildene som den generative modellen bruker for det generative svaret.
Kvaliteten på responsanalysen bruker denne informasjonen til å vurdere om den generative svarkvaliteten er god, og hvis ikke, hvorfor kvaliteten er dårlig. Kvaliteten på svaret kan for eksempel identifisere ufullstendige, irrelevante eller ikke fullstendig grunnfestede svar.
Hva er begrensningene for kvaliteten på responsanalyse, og hvordan kan brukere minimere virkningen av disse begrensningene?
Kvaliteten på responsanalysen bruker ikke alle generative svar. Analyser måler i stedet et utvalg av brukeragentøkter. Agenter med færre enn minimum antall vellykkede generative svar kan ikke motta en kvalitet på responsanalysesammendrag.
Det finnes tilfeller der analyser ikke evaluerer et individuelt svar nøyaktig. På et aggregert nivå bør det være nøyaktig for de fleste tilfeller.
Kvalitetsanalyse av respons gir ikke en oversikt over de spesifikke spørringene som førte til lav ytelse. De gir heller ikke en oversikt over vanlige kunnskapskilder eller emner som ble brukt når svar av lav kvalitet forekommer.
Analyse beregnes ikke for svar som bruker generativ kunnskap.
Svarfullstendighet er en av måleparametrene som brukes for å vurdere svarkvalitet. Denne målingen måler hvor fullstendig responsen adresserer innholdet i det hentede dokumentet.
Hvis systemet ikke henter et relevant dokument med tilleggsinformasjon for spørsmålet, evaluerer det ikke fullstendighetsmetrikken for det dokumentet.
Hvilke beskyttelser er på plass for kvaliteten på responsanalysen i Copilot Studio for ansvarlig KUNSTIG INTELLIGENS?
Brukere av agenter ser ikke analyseresultater. De er bare tilgjengelige for agentutviklere og administratorer.
Opprettere og administratorer kan bare bruke kvaliteten på svaranalyse for å se prosentandelen av svar av god kvalitet og eventuelle forhåndsdefinerte årsaker til dårlig ytelse. Opprettere kan bare se prosentandelen av svar av god kvalitet og forhåndsdefinerte årsaker.
Vi testet analyser for kvaliteten på svarene grundig under utviklingen for å sikre god ytelse. Men i sjeldne tilfeller kan kvalitetsvurderinger av respons være unøyaktige.
Sentimentanalyse for samtaleøkter
Hva er den tiltenkte bruken av sentimentanalyse?
Bruk sentimentanalyse til å forstå nivået av brukertilfredshet i samtaleøkter basert på en AI-analyse av brukermeldinger til agenten. Du kan forstå den generelle følelsen av økten (positiv, negativ eller nøytral), undersøke årsakene og ta mål for å løse den.
Hvilke data brukes for å definere følelser i en samtaleøkt?
Copilot Studio beregner sentimentanalyse for basert på brukermeldinger til agenten for et eksempelsett med samtaleøkter.
Sentimentanalyse bruker denne informasjonen til å vurdere om brukertilfredsheten under økten er positiv, negativ eller nøytral. For eksempel kan en bruker bruke ord og en tonefall som indikerer frustrasjon eller misnøye basert på interaksjonen med agenten. I dette tilfellet klassifiseres sesjonen som negativ stemning.
Hva er begrensningene ved sentimentanalyse, og hvordan kan brukere redusere disse begrensningene?
Sentimentanalyse beregnes ikke ut fra alle samtaleøkter. Analyser måler i stedet et utvalg av brukeragentøkter. Agenter under et minimum antall daglige vellykkede generative svar kan ikke få en sentiment-score.
Sentimentanalyse er for øyeblikket avhengig av generative svar og krever et minimum antall daglige vellykkede svar for å beregne sentiment-score for agenten.
For å beregne sentiment for en økt, må det være minst to brukermeldinger. I tillegg, på grunn av dagens tekniske begrensninger, utføres ikke sentimentanalyse på økter som overstiger totalt 26 meldinger (inkludert både bruker- og agentmeldinger)
Sentimentanalyse gir ikke en oversikt over de spesifikke brukermeldingene som førte til sentimentscoren.
Hvilke beskyttelser er på plass for sentimentanalyse i Copilot Studio for ansvarlig kunstig intelligens?
Brukere av agenter ser ikke analyseresultater. De er bare tilgjengelige for agentutviklere og administratorer.
Du kan bare bruke sentimentanalyse for å se fordelingen av sentiment på tvers av alle økter.
Vi testet sentimentanalyse grundig under utviklingen for å sikre god ytelse. Men i sjeldne tilfeller kan sentimentvurderinger være unøyaktige.
Temaer for brukerspørsmål
Hva er den tiltenkte bruken av temaer?
Denne funksjonen analyserer automatisk store sett med brukerforespørsler og grupperer dem i overordnede emner kalt temaer. Hvert tema representerer et enkelt emne på høyt nivå som brukerne blir spurt om. Temaer gir en uovervåket, datadrevet visning av brukerinnhold. Denne visningen hjelper team med å forstå hva brukerne er mest opptatt av, uten det manuelle trinnet med å gjennomgå tusenvis av spørringer.
Hvilke data brukes til å lage klynger?
Temafunksjonen bruker brukerforespørsler som utløser generative svar. Temaer analyserer alle søk fra de siste sju dagene for å generere nye foreslåtte temaer.
Temaer bruker semantisk likhet til gruppespørringer. En språkmodell brukes deretter til å generere tittelen og beskrivelsen for hver klynge. Tilbakemeldinger fra utviklere (som tommelen opp/ned) samles også inn for å forbedre kvaliteten på klyngingen.
Hva er begrensningene ved klynging for temaer, og hvordan kan brukere redusere disse begrensningene?
Vellykket gruppering i temaer avhenger av spørrevolum. Hvis det ikke er nok spørringer, eller hvis spørringene ikke er relatert til hverandre, kan Copilot Studio gruppere spørringer i temaer som er altfor brede eller altfor smale.
Temaer kan av og til dele lignende emner eller slå sammen urelaterte.
Endring av språk i spørringer kan påvirke konsistensen av klynger over tid.
Du kan se gjennom temaer regelmessig og gi tilbakemelding for å forbedre navnekvaliteten.
Hvilke beskyttelser for temaer er på plass i Copilot Studio når det gjelder ansvarlig kunstig intelligens?
Temaer er bare synlige for utviklere og administratorer. Innholdsmoderering brukes ved generering av navn og beskrivelser for å redusere risikoen for skadelige eller upassende resultater.
Analyse av egendefinerte måledata
Hva er den tiltenkte bruken av egendefinerte måledata?
Beslutningstakere bruker egendefinert analyse av måledata for å forstå hvor mye deres samtaleagenter påvirker forretningsresultater. Disse måledataene utfyller spareanalyse. Eksempler på egendefinerte måledata inkluderer oppløsningsfrekvens, kundeintensjonsklassifisering og andre domenespesifikke resultater.
Egendefinerte måledata kan vise hvor agenter går glipp av tiltenkte mål. Beslutningstakere kan definere hva de skal måle, teste måledata mot reelle øktdata og begrense definisjoner basert på resultatene.
Hvilke data brukes til å beregne egendefinerte måledata?
Egendefinerte måledata beregnes ved hjelp av et utvalg av tidligere agentøkter. Beregningen bruker samtalemeldingene som utveksles under en økt.
AI-modellen klassifiserer øktdata basert på den metriske definisjonen. Agenten aggregerer resultater på tvers av utvalget for å vise generell metrisk ytelse for den valgte tidsperioden.
Hva er begrensningene for egendefinerte måledata, og hvordan kan brukere minimere virkningen av begrensninger?
Egendefinerte måledata beregnes ikke ved hjelp av alle agentøkter. I stedet måler de et utvalg av økter fra den valgte tidsperioden. Siden resultatene er basert på et utvalg, bør de behandles som retningsindikatorer i stedet for nøyaktige tall.
Du bør vurdere at måleberegningen er basert på utskriften av meldinger når du tolker måledata. Unngå å trekke konklusjoner om virkemåter som hovedsakelig forekommer utenfor meldinger, for eksempel emner og verktøy.
AI-modellen kan feilklassifisere økter. Aggregerte resultater er generelt nøyaktige. Økter som ikke samsvarer med en definert kategori, plasseres i kategorien Fallback (Annet). Hvis testresultatene ikke samsvarer med forventede resultater, kan du oppdatere målebeskrivelsen og kategoridefinisjonene.
Hvis en agents instruksjoner eller konfigurasjon endres betraktelig etter at en metrikkverdi er definert, kan det hende at måleverdien ikke lenger gjenspeiler agentens oppdaterte virkemåte. Du bør se gjennom de egendefinerte måledataene etter at du har gjort vesentlige endringer i agenten.
Hvilke beskyttelser er på plass for egendefinerte måledata i Copilot Studio for ansvarlig kunstig intelligens?
Egendefinerte måledataresultater er bare tilgjengelige for agentutviklere og administratorer. Brukere av agenten har ikke tilgang til analyseresultater.
Se gjennom og godkjenn alle egendefinerte måledata før du lagrer. Under metrisk definisjon kan du teste måledata mot eksempeløktdata og se gjennom individuelle resultater og modelleringsresonneringer. Hvis resultatene ikke oppfyller forventningene, kan du oppdatere eller forkaste måleverdien. Måledata brukes ikke uten din eksplisitte bekreftelse.
Den AI-genererte ledeteksten som brukes til å klassifisere økter, er synlig for deg i brukergrensesnittet, slik at du kan forstå hvordan modellen tolker den metriske definisjonen. Du kan redigere eller fjerne egendefinerte måledata når som helst.
I sjeldne tilfeller kan individuelle øktklassifiseringer være unøyaktige. Resultatene bør tolkes aggregert i stedet for på det individuelle øktnivået.