Notitie
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen u aan te melden of de directory te wijzigen.
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen de mappen te wijzigen.
Deze veelgestelde vragen (FAQ) beschrijven het AI-effect van ondersteuningsfuncties voor analyses in Copilot Studio.
Hoe wordt generatieve AI gebruikt voor analyse?
Copilot Studio maakt gebruik van AI om de kwaliteit van generatieve antwoorden te meten en clusters te maken. Deze clusters bieden inzicht in agentprestaties.
Generatieve antwoorden gebruiken kennisbronnen die u kiest om een antwoord te genereren. De functie verzamelt ook eventuele feedback die u opgeeft. Analyse maakt gebruik van grote taalmodellen (LLM's) om de chatberichten tussen gebruikers en agents te classificeren in niveaus die de kwaliteit van generatieve antwoordreacties aangeven. Copilot Studio compileert deze indicatoren om u een samenvatting te geven van de algehele prestaties van een agent.
Clustering maakt gebruik van LLM's om berichten van gebruikers te sorteren in groepen, op basis van gedeelde onderwerpen en om elke groep een beschrijvende naam te geven. Copilot Studio gebruikt de namen van deze clusters om verschillende typen inzichten te bieden die u kunt gebruiken om uw agent te verbeteren.
Kwaliteit van reacties voor generatieve antwoorden
Wat is de kwaliteit van de respons voor het beoogde gebruik?
Gebruik de kwaliteit van antwoordanalyses om inzicht te krijgen in het gebruik en de prestaties van agents en vervolgens acties te maken voor agentverbetering. Op dit moment kunt u analyses gebruiken om te begrijpen of de kwaliteit van de generatieve antwoorden van een agent voldoet aan uw verwachtingen.
Naast de algehele kwaliteit identificeert de kwaliteit van antwoordanalyse gebieden waar een agent slecht presteert of uw beoogde doelen niet kan uitvoeren. U kunt gebieden definiëren waar generatieve antwoorden slecht presteren en stappen ondernemen om hun kwaliteit te verbeteren.
Als u slechte prestaties identificeert, volgt u de aanbevolen procedures die u kunnen helpen de kwaliteit te verbeteren. Nadat u bijvoorbeeld kennisbronnen met slechte prestaties hebt geïdentificeerd, kunt u de kennisbron bewerken of de kennisbron opsplitsen in meerdere, meer gerichte bronnen voor betere kwaliteit.
Welke gegevens worden gebruikt om analyses te maken voor de kwaliteit van de respons?
De kwaliteit van antwoordanalyses wordt berekend met behulp van een steekproef van reactieve antwoorden . Hiervoor zijn de gebruikersquery, de respons van de agent en de relevante kennisbronnen vereist, die het generatieve model gebruikt voor het generatieve antwoord.
De kwaliteit van antwoordanalyses gebruikt die informatie om te evalueren of de kwaliteit van het regeneratieve antwoord goed is, en zo niet, waarom de kwaliteit slecht is. De kwaliteit van het antwoord kan bijvoorbeeld onvolledige, irrelevante of niet volledig geaarde antwoorden identificeren.
Wat zijn de beperkingen van de kwaliteit van antwoordanalyses en hoe kunnen gebruikers de impact van deze beperkingen minimaliseren?
De kwaliteit van responsanalyse maakt geen gebruik van alle generatieve reacties. In plaats daarvan meet de analyse een voorbeeld van gebruikersagentsessies. Agents met minder dan het minimale aantal geslaagde generatieve antwoorden kunnen geen analytische samenvatting van de kwaliteit van de respons ontvangen.
Er zijn gevallen waarin analyses een afzonderlijke reactie niet nauwkeurig evalueren. Op een geaggregeerd niveau moet deze voor de meeste gevallen nauwkeurig zijn.
Quality of response-analyses geven geen uitsplitsing van de specifieke zoekopdrachten die tot lage kwaliteit hebben geleid. Ze bieden ook geen uitsplitsing van algemene kennisbronnen of onderwerpen die zijn gebruikt bij reacties van lage kwaliteit.
Analyses worden niet berekend voor antwoorden die gebruikmaken van generatieve kennis.
Antwoordvolledigheid is een van de meetmethoden die worden gebruikt om de kwaliteit van de respons te beoordelen. Deze metric meet hoe volledig de respons de inhoud in het opgehaalde document adresseert.
Als het systeem geen relevant document met extra informatie voor de vraag ophaalt, evalueert het de volledigheidsmaatstaf voor dat document niet.
Welke beveiligingen gelden voor de kwaliteit van antwoordanalyses binnen Copilot Studio voor verantwoorde AI?
Gebruikers van agents zien geen analyseresultaten; ze zijn alleen beschikbaar voor agentmakers en beheerders.
Makers en beheerders kunnen alleen de kwaliteit van responsanalyses gebruiken om het percentage reacties van goede kwaliteit en vooraf gedefinieerde redenen voor slechte prestaties te zien. Makers kunnen alleen het percentage antwoorden van goede kwaliteit en vooraf gedefinieerde redenen zien.
We hebben tijdens de ontwikkeling analyses grondig getest op de kwaliteit van responsen, om goede prestaties te garanderen. Bij zeldzame gevallen kunnen de beoordelingen van de kwaliteit van respons echter onnauwkeurig zijn.
Sentimentanalyse voor gesprekssessies
Wat is het beoogde gebruik van sentimentanalyse?
Gebruik sentimentanalyse om inzicht te hebben in het niveau van gebruikerstevredenheid in gesprekssessies op basis van een AI-analyse van gebruikersberichten aan de agent. U kunt het algehele gevoel van de sessie (positief, negatief of neutraal) begrijpen, de redenen onderzoeken en maatregelen nemen om dit aan te pakken.
Welke data wordt gebruikt om sentiment te definiëren in een gesprekssessie?
Copilot Studio berekent sentimentanalyse op basis van gebruikersberichten naar de agent voor een voorbeeldset gesprekssessies.
Sentimentanalyse gebruikt die informatie om te beoordelen of de gebruikerstevredenheid tijdens de sessie positief, negatief of neutraal is. Een gebruiker kan bijvoorbeeld woorden en een toon gebruiken die frustratie of ontevredenheid aangeven op basis van de interactie met de agent. In dit geval wordt de sessie geclassificeerd als negatief sentiment.
Wat zijn de beperkingen van sentimentanalyse, en hoe kunnen gebruikers deze beperkingen beperken?
Sentimentanalyses worden niet berekend met behulp van alle gesprekssessies. In plaats daarvan meet de analyse een voorbeeld van gebruikersagentsessies. Agenten onder het minimum aantal dagelijkse succesvolle generatieve antwoorden kunnen geen sentimentscore ontvangen.
Sentimentanalyse is momenteel afhankelijk van generatieve antwoorden en vereist een minimum aantal dagelijkse succesvolle antwoorden om de sentimentscore van de makelaar te berekenen.
Om sentiment voor een sessie te berekenen, moeten er minstens twee gebruikersberichten zijn. Bovendien wordt sentimentanalyse vanwege de huidige technische beperkingen niet uitgevoerd bij sessies die in totaal meer dan 26 berichten bevatten (inclusief zowel gebruikers- als agentberichten)
Sentimentanalyse geeft geen uitsplitsing van de specifieke gebruikersberichten die tot de sentimentscore hebben geleid.
Welke beveiligingen gelden voor sentimentanalyse binnen Copilot Studio voor verantwoorde AI?
Gebruikers van agents zien geen analyseresultaten; ze zijn alleen beschikbaar voor agentmakers en beheerders.
U kunt sentimentanalyse alleen gebruiken om de uitsplitsing van het sentiment in alle sessies te bekijken.
We hebben sentimentanalyse grondig getest tijdens de ontwikkeling om goede prestaties te garanderen. Bij zeldzame gevallen kunnen sentimentbeoordelingen echter onnauwkeurig zijn.
Thema's van gebruikersvragen
Wat is het beoogde gebruik van Thema's?
Met deze functie worden automatisch grote sets gebruikersquery's geanalyseerd en gegroepeerd in onderwerpen op hoog niveau die thema's worden genoemd. Elk thema vertegenwoordigt één onderwerp op hoog niveau waarnaar gebruikers hebben gevraagd. Thema's bieden een gegevensgestuurde weergave van gebruikersinhoud zonder supervisie. Deze weergave helpt teams te begrijpen wat gebruikers het belangrijkst vinden zonder de handmatige stap van het controleren van duizenden query's.
Welke gegevens worden gebruikt om clusters te maken?
De functie Thema's maakt gebruik van gebruikersquery's die generatieve antwoorden activeren. Met Thema's worden alle query's van de afgelopen zeven dagen geanalyseerd om nieuwe voorgestelde thema's te genereren.
Thema's maakt gebruik van semantische overeenkomsten met groepsquery's. Vervolgens wordt een taalmodel gebruikt om de titel en beschrijving voor elk cluster te genereren. Er wordt ook feedback van makers (zoals een duim omhoog/omlaag) verzameld om de clusterkwaliteit te verbeteren.
Wat zijn de clusterbeperkingen voor Thema's en hoe kunnen gebruikers omgaan met deze beperkingen?
Een geslaagde clustering in thema's is afhankelijk van het queryvolume. Als er onvoldoende query's zijn of als de query's te niet aan elkaar zijn gerelateerd, kunnen Copilot Studio query's clusteren in thema's die te breed of te smal zijn.
Af en toe kunnen vergelijkbare onderwerpen worden opgesplitst en niet-gerelateerde onderwerpen worden samengevoegd.
Als u verschillende talen gebruikt in query's, kan dit invloed hebben op de consistentie van clusters in de loop van de tijd.
U kunt thema's regelmatig bekijken en feedback geven om de naamgevingskwaliteit te verbeteren.
Welke beveiligingen voor thema's gelden binnen Copilot Studio op het gebied van verantwoorde AI?
Thema's zijn alleen zichtbaar voor makers en beheerders. Inhoudsmoderatie wordt toegepast bij het genereren van namen en beschrijvingen om het risico op schadelijke of ongepaste uitvoer te verminderen.
Analyse van aangepaste metrische gegevens
Wat is het beoogde gebruik van aangepaste metrische gegevens?
Makers gebruiken aangepaste analyse van metrische gegevens om te begrijpen hoeveel hun gespreksagenten van invloed zijn op bedrijfsresultaten. Deze metrische gegevens vormen een aanvulling op besparingsanalyses. Voorbeelden van aangepaste metrische gegevens zijn oplossingsfrequentie, classificatie van klantintentie en andere domeinspecifieke resultaten.
Aangepaste metrische gegevens kunnen laten zien waar agents de beoogde doelen missen. Makers kunnen definiëren wat er moet worden gemeten, metrische gegevens getest op basis van echte sessiegegevens en definities verfijnen op basis van de resultaten.
Welke gegevens worden gebruikt om aangepaste metrische gegevens te berekenen?
Aangepaste metrische gegevens worden berekend met behulp van een voorbeeld van eerdere agentsessies. In de berekening worden de gespreksberichten gebruikt die tijdens een sessie worden uitgewisseld.
Het AI-model classificeert sessiegegevens op basis van de definitie van uw metrische gegevens. De agent voegt resultaten samen in de steekproef om de algemene prestaties van de metriek voor de geselecteerde periode weer te geven.
Wat zijn de beperkingen van aangepaste metrische gegevens en hoe kunnen gebruikers de impact van beperkingen minimaliseren?
Aangepaste metrische gegevens worden niet berekend met behulp van alle agentsessies. In plaats daarvan meten ze een voorbeeld van sessies uit de geselecteerde periode. Omdat de resultaten zijn gebaseerd op een steekproef, moeten ze worden behandeld als richtingsindicatoren in plaats van exacte cijfers.
Houd er rekening mee dat de metrische berekening is gebaseerd op de transcriptie van berichten bij het interpreteren van metrische gegevens. Vermijd conclusies te trekken over gedrag dat zich voornamelijk buiten berichten voordoet, zoals onderwerpen en hulpprogramma's.
Het AI-model kan sessies verkeerd classificeren. Geaggregeerde resultaten zijn over het algemeen nauwkeurig. Sessies die niet overeenkomen met een gedefinieerde categorie, worden in de terugvalcategorie (Overige) geplaatst. Als de testresultaten niet overeenkomen met de verwachte resultaten, kunt u de metrische beschrijving en categoriedefinities bijwerken.
Als de instructies of configuratie van een agent aanzienlijk worden gewijzigd nadat een metrische waarde is gedefinieerd, wordt het bijgewerkte gedrag van de agent mogelijk niet meer nauwkeurig weergegeven. Controleer de aangepaste metrische gegevens na het aanbrengen van belangrijke wijzigingen in de agent.
Welke beveiligingen gelden voor aangepaste metrische gegevens binnen Copilot Studio voor verantwoorde AI?
Resultaten van aangepaste metrische gegevens zijn alleen beschikbaar voor agentmakers en beheerders. Gebruikers van de agent hebben geen toegang tot analyseresultaten.
Controleer en keur alle aangepaste metrieken goed voordat ze worden opgeslagen. Test metrische gegevens tijdens de definitie van metrische gegevens op basis van voorbeeldsessiegegevens en bekijk afzonderlijke resultaten en modelredenering. Als de resultaten niet aan de verwachtingen voldoen, kunt u de metrische gegevens bijwerken of negeren. Metrische gegevens worden niet toegepast zonder uw expliciete bevestiging.
De door AI gegenereerde prompt die wordt gebruikt om sessies te classificeren, is zichtbaar voor u in de gebruikersinterface, zodat u kunt begrijpen hoe het model uw metrische definitie interpreteert. U kunt op elk gewenst moment aangepaste metrische gegevens bewerken of verwijderen.
In zeldzame gevallen kunnen afzonderlijke sessieclassificaties onnauwkeurig zijn. Resultaten moeten worden geïnterpreteerd in aggregaties in plaats van op het niveau van de afzonderlijke sessie.