Telemetrie vastleggen met Application Insights

In dit artikel wordt uitgelegd hoe u telemetriegegevens van uw Copilot Studio-agent kunt vastleggen voor gebruik in Azure-toepassing Insights.

Naast de systeemeigen analysefuncties in Copilot Studio kunt u telemetriegegevens verzenden naar Application Insights. Telemetrie biedt inzicht in uw agent door het volgen van:

  • Geregistreerde berichten en gebeurtenissen verzonden naar en van uw agent
  • Onderwerpen die moeten worden geactiveerd tijdens gebruikersgesprekken
  • Aangepaste telemetrie-gebeurtenissen die u vanuit uw onderwerpen kunt verzenden

Belangrijk

Application Insights is een functie van Azure Monitor, een uitbreidbaar APM-hulpprogramma (Application Performance Management) dat u kunt gebruiken om uw livetoepassingen te bewaken. Hiervoor is een abonnement vereist voor Microsoft Azure.

Uw Copilot Studio-agent verbinden met Application Insights

Als u uw agent wilt verbinden met Application Insights, voegt u eerst uw instrumentatiesleutel toe aan de configuratie van uw agent.

  1. Ga naar de pagina Instellingen voor uw agent en selecteer Geavanceerd.

  2. Voer in de sectie Application Insights de Connection string in. Zie de documentatie Azure Monitor voor meer informatie over het vinden van uw verbindingsreeks.

  3. U kunt er ook voor kiezen om een van de volgende instellingen in te schakelen.

    • Logboekactiviteiten: indien ingeschakeld, registreert het systeem details van binnenkomende en uitgaande berichten en gebeurtenissen.

    • Eigenschappen van logboekgevoelige activiteiten: indien ingeschakeld, bevatten de logboeken de waarden van bepaalde eigenschappen die als gevoelig kunnen worden beschouwd voor binnenkomende en uitgaande berichten en gebeurtenissen. De eigenschappen die als mogelijk gevoelig worden beschouwd, zijnuserid, nametexten speak (tekst- en spreekeigenschappen zijn alleen van toepassing op berichten).

Bottelemetrie analyseren met Application Insights

Nadat u uw bot hebt verbonden met Application Insights, worden telemetriegegevens in logboeken opgeslagen wanneer gebruikers communiceren met de bot, ook tijdens het testen binnen Copilot Studio. Als u de vastgelegde telemetriegegevens wilt zien, gaat u naar de sectie Logs van uw Application Insights-resource in Azure.

Hier kunt u Kusto-query's gebruiken om uw gegevens op te vragen en te analyseren. Bekijk voorbeeld-query's.

Voorbeeldvragen

Een query kan net zo eenvoudig zijn als het opgeven van één tabel, zoals customEvents, waarin alle aangepaste telemetriegebeurtenissen worden weergegeven die zijn vastgelegd vanuit Copilot Studio. U kunt echter ook Kusto-query's gebruiken om uw resultaten verder te verfijnen, waaronder:

  • Een tijdsinterval toevoegen
  • Uw resultaten uitbreiden door het gebruik van aangepaste dimensies. Aangepaste dimensies zijn aangepaste eigenschappen die u samen met de vooraf gedefinieerde velden aanmeldt, zoals de tijdstempel of de naam van de gebeurtenis
  • Een where-component toevoegen om de geretourneerde gegevens te beperken op basis van een voorwaarde
  • Meer ingebouwde Kusto-functies gebruiken om te bepalen welke informatie op welke wijze wordt weergegeven

De volgende voorbeeldquery resulteert in een lijndiagram dat laat zien hoeveel afzonderlijke gebruikers gedurende de afgelopen 14 dagen met uw bot hebben gecommuniceerd.

let queryStartDate = ago(14d);
let queryEndDate = now();
let groupByInterval = 1d;
customEvents
| where timestamp > queryStartDate
| where timestamp < queryEndDate
| summarize uc=dcount(user_Id) by bin(timestamp, groupByInterval)
| render timechart

Belangrijk

De gegevens in sommige velden variëren en zijn min of meer van toepassing, afhankelijk van het kanaal dat wordt gebruikt. U krijgt bijvoorbeeld alleen het juiste aantal unieke gebruikers in de query als de gebruikers zijn geverifieerd en hun gebruikers-id's consistent zijn in gesprekken. In anonieme scenario's waarin een willekeurige gebruikers-id wordt gegenereerd in elk gesprek, is het veld gebruikers-id minder nuttig.

Telemetrie uitsluiten van testgesprekken in uw query's

Uw bot registreert telemetrie voor alle gesprekken, inclusief gesprekken die plaatsvinden binnen Copilot Studio tijdens het testen. Als u telemetrie wilt uitsluiten die tijdens het testen is verzameld, kunt u uw query uitbreiden met behulp van de designMode aangepaste dimensie die alle gebeurtenissen verzamelt en een where-clausule in uw query gebruiken.

In het volgende voorbeeld worden alle aangepaste gebeurtenissen weergegeven, met uitzondering van de gebeurtenissen die via het testcanvas zijn vastgelegd.

customEvents
| extend isDesignMode = customDimensions['designMode']
| where isDesignMode == "False"

Aangepaste dimensies

Veel van de specifieke activiteitsgegevens die zijn ontvangen van Copilot Studio, worden opgeslagen in het veld customDimensions. U kunt kijken hoe een veld voor aangepast dimensies wordt gebruikt in een query om telemetrie uit te sluiten van testgesprekken.

Veld Beschrijving Voorbeeldwaarden
type Type activiteit message,conversationUpdate,event,invoke
channelId Kanaalidentificatie emulator,directline,msteams,webchat
fromId Van Identificatie <id>
fromName Gebruikersnaam van klant John Bonham,Keith Moon,Steve Smith,Steve Gadd
locatie Oorspronkelijke taalinstelling van klant en-us zh-cn, en-GB, de-dezh-CN
recipientId Ontvangeridentificatie <id>
ontvangerNaam Naam van ontvanger John Bonham,Keith Moon,Steve Smith,Steve Gadd
Tekst Tekst in bericht find a coffee shop
designMode Het gesprek vond plaats in het testcanvas True / False

Bewakingsresultaten weergeven (preview)

Belangrijk

Dit artikel bevat Microsoft Copilot Studio preview-documentatie en kan worden gewijzigd.

Preview-functies zijn niet bedoeld voor productiegebruik en bieden mogelijk beperkte functionaliteit. Deze functies zijn beschikbaar voor een officiële release zodat u vroeg toegang kunt krijgen en feedback kunt geven.

Als u een productieklare agent bouwt, raadpleegt u Microsoft Copilot Studio Overview.

De Copilot Studio dashboardweergave maakt gebruik van signalen van Azure Monitor Application Insights. Er wordt query's uitgevoerd op Application Insights via Azure Workbooks en worden visualisaties gemaakt.

Deze weergaven bieden belangrijke metrische gegevens, zoals totale gesprekken, latentie, uitzonderingen, gebruik van hulpprogramma's en onderwerpanalyses, in één weergave. De ene weergave biedt teams transparantie, zodat ze de operationele status en kwaliteit kunnen bijhouden, trends kunnen begrijpen en continu kunnen beoordelen om hun toepassing te verbeteren.

Voer de volgende stappen uit om de ingebouwde bewakingsweergave in Application Insights te openen en te gebruiken:

  1. Ga naar uw Application Insights-resource.
  2. Selecteer het tabblad Bewaking in het linkernavigatiedeelvenster.
  3. Selecteer Werkmappen op het tabblad Bewaking. Open Copilot Studio Dashboard vanuit de galerie met werkmappen.

Schermopname van de Application Insights-werkmapgalerie.

Schermopname van de Copilot Studio-werkmap.

Uw dashboard aanpassen en delen

Application Insights is een krachtig hulpprogramma voor het bewaken van toepassingsprestaties (APM) die inzicht biedt in de status en prestaties van uw toepassingen.

Het dashboard wordt geopend als een bewerkbare werkmap waar u de werkmap kunt aanpassen en opslaan op basis van uw behoeften.

  1. Selecteer Bewerken in de opdrachtbalk.

    Screenshot van het bewerken van het Application Insights-werkboek.

  2. Pas indien nodig elementen aan voor uw use-case. Selecteer de drie stippen (...) voor een element om te bewerken, toe te voegen, te verplaatsen of te verkleinen, te klonen of te verwijderen. U kunt bijvoorbeeld een tegel toevoegen die gebruikmaakt van KQL om een aangepast kenmerk bij te houden dat u verzamelt dat de ingebouwde weergave niet wordt weergegeven.

    Screenshot van het wijzigen van een element in het Application Insights-werkboek.

  3. Selecteer Opslaan om de meest recente wijzigingen op te slaan en indien nodig verschillende weergaven te maken.

    Screenshot van het opslaan van het Application Insights-werkboek.

  4. Selecteer het pictogram Delen in de opdrachtbalk die u wilt delen met uw team.

    Opmerking

    Wanneer u deze werkmap deelt met uw teamleden, moeten ze ten minste de rol Lezer hebben voor de verbonden Application Insights-resource om de weergegeven informatie weer te geven.

    Screenshot van het delen van het Application Insights-werkboek.