Importera ett Microsoft Foundry-API

GÄLLER FÖR: Alla API Management-nivåer

Du kan importera AI-modellslutpunkter som distribuerats i Microsoft Foundry till DIN API Management-instans som API:er. Använd principer för AI-gatewayer och andra funktioner i API Management för att förenkla integrering, förbättra observerbarheten och förbättra kontrollen över modellsutgångspunkterna.

Mer information om hur du hanterar AI-API:er i API Management finns i:

Alternativ för klientkompatibilitet

API Management stöder följande klientkompatibilitetsalternativ för AI-API:er från Microsoft Foundry. När du importerar API:et med hjälp av guiden väljer du det alternativ som passar din modelldistribution. Alternativet avgör hur klienter anropar API:et och hur API Management-instansen dirigerar begäranden till foundry-verktyget.

  • Azure OpenAI: Hantera Azure OpenAI i distributioner av Microsoft Foundry-modell.

    Klienter anropar distributionen vid en /openai slutpunkt, till exempel /openai/deployments/my-deployment/chat/completions. Begärandesökvägen innehåller distributionsnamnet. Använd det här alternativet om foundry-verktyget endast innehåller Azure OpenAI-modelldistributioner.

  • Azure AI: Hantera modellslutpunkter i Microsoft Foundry som exponeras via Azure AI Model Inference API.

    Klienter anropar distributionen på en /models slutpunkt, till exempel /my-model/models/chat/completions. Begärandetexten innehåller distributionsnamnet. Använd det här alternativet om du vill ha flexibilitet att växla mellan modeller som exponeras via api:et Azure AI Model Inference och de som distribueras i Azure OpenAI i Foundry Models.

  • Azure OpenAI v1 – Hantera Azure OpenAI i Microsoft Foundry-modelldistributioner med hjälp av API:et för Azure OpenAI API version 1.

    Klienter anropar distributionen på en Azure OpenAI v1-modellslutpunkt, till exempel openai/v1/my-model/chat/completions. Begärandetexten innehåller distributionsnamnet.

Förutsättningar

  • En befintlig API Management-instans. Skapa en om du inte redan har gjort det.

  • Ett verktyg från Foundry i din prenumeration med en eller flera redan införda modeller. Exempel är modeller som distribuerats i Microsoft Foundry eller Azure OpenAI.

Importera Microsoft Foundry API med hjälp av portalen

Använd följande steg för att importera ett AI-API till API Management.

När du importerar API:et konfigurerar API Management automatiskt:

  • Åtgärder för var och en av API:ets REST API-slutpunkter.
  • En systemtilldelad identitet med de behörigheter som krävs för att få åtkomst till distributionen av Foundry-verktyget.
  • En backend resurs och en set-backend-service princip som dirigerar API-begäranden till Azure AI Services-slutpunkt.
  • Autenticering till backend-systemet med hjälp av instansens systemtilldelade hanterade identitet.
  • (valfritt) Principer som hjälper dig att övervaka och hantera API:et.

Så här importerar du ett Microsoft Foundry-API till API Management:

  1. I Azure-portalen går du till din API Management-instans.

  2. I den vänstra menyn går du till API:er och väljer API:er>+ Lägg till API.

  3. Under Skapa från Azure resurs väljer du Microsoft Foundry.

    Skärmbild av att skapa ett OpenAI-kompatibelt API i portalen.

  4. På fliken Välj AI-tjänst :

    1. Välj den prenumeration där du vill söka efter Foundry Tools. Om du vill få information om modelldistributionerna i en tjänst väljer du distributionslänken bredvid tjänstnamnet. Skärmbild av distributioner för en AI-tjänst i portalen.
    2. Välj ett Foundry-verktyg.
    3. Klicka på Nästa.

  5. På fliken Konfigurera API :

    1. Ange ett visningsnamn och en valfri beskrivning för API:et.

    2. I Bassökväg anger du en sökväg som API Management-instansen använder för att komma åt distributionsslutpunkten.

    3. Du kan också välja en eller flera produkter som ska associeras med API:et.

    4. I Klientkompatibilitet väljer du något av följande alternativ baserat på de typer av klienter som du tänker stödja. Mer information finns i Klientkompatibilitetsalternativ .

      • Azure OpenAI – Välj det här alternativet om dina klienter bara behöver komma åt Azure OpenAI i Microsoft Foundry-modelldistributioner.
      • Azure AI – Välj det här alternativet om dina klienter behöver komma åt andra modeller i Microsoft Foundry.
      • Azure OpenAI v1 – Välj det här alternativet om du vill använda Azure OpenAI API version 1 med dina Foundry-modelldistributioner.

    5. Klicka på Nästa.

      Skärmbild av API-konfigurationen för Microsoft Foundry i portalen.

  6. På fliken Hantera tokenförbrukning kan du ange inställningar eller acceptera standardvärden som definierar följande principer för att övervaka och hantera API:et:

  7. På fliken Tillämpa semantisk cachelagring kan du ange inställningar eller acceptera standardvärden som definierar principerna för att optimera prestanda och minska svarstiden för API:et:

  8. På fliken SÄKERHET FÖR AI-innehåll kan du ange inställningar eller acceptera standardinställningar för att konfigurera Azure AI Content Safety-tjänsten för att blockera frågor med osäkert innehåll:

  9. Välj Granska.

  10. När portalen har verifierat inställningarna väljer du Skapa.

Testa AI-API:et

För att se till att AI-API:et fungerar som förväntat testar du det i API Management-testkonsolen.

  1. Välj det API som du skapade i föregående steg.

  2. Välj fliken Test.

  3. Välj en åtgärd som är kompatibel med modelldistributionen. Sidan visar fält för parametrar och rubriker.

  4. Ange parametrar och rubriker efter behov. Beroende på åtgärden kan du behöva konfigurera eller uppdatera en begärandetext. Här är ett grundläggande exempel på begärandetext för en chattåtgärd:

    {
  "model": "any",
  "messages": [
    {
      "role": "user",
      "content": "Help me plan a trip to Paris",
      "max_tokens": 100
    }
  ]
}

    Anmärkning

    I testkonsolen lägger API Management automatiskt till ett Ocp-Apim-Subscription-Key-huvud och anger prenumerationsnyckeln för den inbyggda all-access-prenumerationen. Den här nyckeln ger åtkomst till varje API i API Management-instansen. Om du vill visa rubriken Ocp-Apim-Subscription-Key väljer du ögonikonen bredvid HTTP-begäran.

  5. Välj Skicka.

    När testet lyckas svarar serverdelen med en lyckad HTTP-svarskod och vissa data. Svaret innehåller tokenanvändningsdata som hjälper dig att övervaka och hantera din språkmodelltokenförbrukning.

Relaterat innehåll

  • Last updated on