Användning av loggtoken, frågor och slutföranden för språkmodell-API:er

I den här artikeln får du lära dig hur du konfigurerar Azure Monitor loggning för API-begäranden och svar för språkmodell i Azure API Management.

API Management-administratören kan använda api-begäran- och svarsloggar för språkmodeller tillsammans med API Management-gatewayloggar för scenarier som:

• Beräkna användning för fakturering. Beräkna användningsstatistik för fakturering baserat på antalet token som förbrukas av varje program eller API-konsument (till exempel segmenterat efter prenumerations-ID eller IP-adress).

• Granska meddelanden. Inspektera och analysera uppmaningar och kompletteringar för att hjälpa till med felsökning, granskning och modellutvärdering.

Läs mer om:

• AI-gatewayfunktioner i API Management
• Övervaka API Management

Förutsättningar

• En Azure API Management-instans.
• Ett API för slutförande av en hanterad språkmodell med chatt som är integrerat med Azure API Management. Till exempel Importera ett Microsoft Foundry-API.
• Åtkomst till en Azure Log Analytics-arbetsyta.
• Lämpliga behörigheter för att konfigurera diagnostikinställningar och åtkomstloggar i API Management.

Aktivera diagnostikinställning för API-loggar för språkmodell

Aktivera en diagnostikinställning för loggbegäranden som gatewayen bearbetar för REST-API:er för stora språkmodeller. För varje begäran tar Azure Monitor emot:

• Data om tokenanvändning, till exempel prompttoken, slutförandetoken och totalt antal token

• Namnet på den modell som används

• Du kan också skicka begärande- och svarsmeddelanden: fråga och slutförande

  Azure Monitor delar upp stora begäranden och svar i flera loggposter med sekvensnummer för senare återuppbyggnad, om det behövs.

Följ de här stegen för att aktivera en diagnostikinställning som dirigerar API-loggar för språkmodeller till en Log Analytics arbetsyta. Mer information finns i Aktivera diagnostikinställning för Azure Monitor-loggar.

1. I Azure-portalen går du till din Azure API Management-instans.

2. I den vänstra menyn går du till Övervakning och väljer Diagnostikinställningar>+ Lägg till diagnostikinställning.

3. Konfigurera inställningen för att skicka AI-gatewayloggar till en Log Analytics arbetsyta:

   • Under Loggar väljer du Loggar relaterade till generativ AI-gateway.
   • Under Målinformation väljer du Skicka till Log Analytics-arbetsyta.

4. Granska eller konfigurera andra inställningar och gör ändringar om det behövs.

5. Välj Spara.

Aktivera loggning av begäranden eller svar för språkmodell-API

Du kan aktivera diagnostikinställningar för alla API:er eller anpassa loggning för specifika API:er. Följ dessa steg för att logga både språkmodellbegäranden och svarsmeddelanden för ett API. Mer information finns i Ändra API-loggningsinställningar.

1. I den vänstra menyn i din API Management-instans väljer du API:er>API:er och sedan namnet på API:et.
2. Välj Inställningar i det övre fältet.
3. Rulla ned till avsnittet Diagnostic Logs och välj Azure Monitor.
4. I Log LLM messages (Logga LLM-meddelanden) väljer du Aktiverad.
5. Välj Loggprompter och ange en storlek i byte, till exempel 32768.
6. Välj Loggslutföranden och ange en storlek i byte, till exempel 32768.
7. Granska andra inställningar och gör ändringar om det behövs. Välj Spara.

Granska analysarbetsboken för språkmodell-API:er

Den Azure Monitor-baserade Analytics instrumentpanelen ger insikter om användning av språkmodellens API och förbrukning av token med hjälp av data aggregerade i en Log Analytics-arbetsyta. Mer information finns i Hämta API-analys i Azure API Management.

1. I den vänstra menyn i DIN API Management-instans väljer du Övervakningsanalys>.
2. Välj fliken Språkmodeller .
3. Granska mått och visualiseringar för förbrukning av API-token för språkmodell och begäranden i ett valt tidsintervall.

Granska Azure Monitor-loggar för begäranden och svar

I loggen ApiManagementGatewayLlmLog finns information om begäranden och svar om språkmodeller, inklusive tokenförbrukning, modelldistribution som används och annan information om specifika tidsintervall.

Begäranden och svar, inklusive segmenterade meddelanden för stora begäranden och svar, visas i separata loggposter som du kan korrelera med hjälp av fältet CorrelationId .

I granskningssyfte använder du en Kusto-fråga som liknar följande fråga för att ansluta varje begäran och svar i en enda post. Justera frågan så att den innehåller de fält som du vill spåra.

ApiManagementGatewayLlmLog
| extend RequestArray = parse_json(RequestMessages)
| extend ResponseArray = parse_json(ResponseMessages)
| mv-expand RequestArray
| mv-expand ResponseArray
| project
    CorrelationId,
    RequestContent = tostring(RequestArray.content),
    ResponseContent = tostring(ResponseArray.content)
| summarize
    Input = strcat_array(make_list(RequestContent), " . "),
    Output = strcat_array(make_list(ResponseContent), " . ")
    by CorrelationId
| where isnotempty(Input) and isnotempty(Output)

Ladda upp data till Microsoft Foundry för modellutvärdering

Du kan exportera språkmodellloggningsdata som en datauppsättning för model evaluation i Microsoft Foundry. Med modellutvärdering kan du utvärdera prestanda för dina generativa AI-modeller och program mot en testmodell eller datauppsättning med hjälp av inbyggda eller anpassade utvärderingsmått.

Så här använder du språkmodellloggar som en datauppsättning för modellutvärdering:

1. Anslut språkmodellförfrågnings- och svarsmeddelanden till en enda post för varje interaktion, som du ser i föregående avsnitt. Inkludera de fält som du vill använda för modellutvärdering.
2. Exportera datamängden till CSV-format, som är kompatibelt med Microsoft Foundry.
3. I Microsoft Foundry-portalen skapar du en ny utvärdering för att ladda upp och utvärdera datauppsättningen.

Mer information om hur du skapar och kör en modellutvärdering i Microsoft Foundry finns i Kör utvärderingar från Microsoft Foundry-portalen.

Relaterat innehåll

• Övervaka API Management
• Referens för API Management-övervakningsdata
• Självstudie: Övervaka publicerade API:er