Distribuera Microsoft Foundry-modeller i Foundry-portalen

I den här artikeln får du lära dig hur du använder Foundry-portalen för att distribuera en Foundry-modell i en Foundry-resurs för slutsatsdragning. Foundry Models innehåller modeller som Azure OpenAI-modeller, Meta Llama-modeller med mera. När du har distribuerat en Foundry-modell kan du interagera med den i Foundry Playground och använda den från kod.

Den här artikeln använder en Foundry-modell från partner och gemenskapsnätverket Llama-3.2-90B-Vision-Instruct för illustration. Modeller från partner och community kräver att du prenumererar på Azure Marketplace innan distributionen. Å andra sidan har Foundry Models som säljs direkt av Azure, till exempel Azure OpenAI i Foundry Models, inte det här kravet. Mer information om Foundry-modeller, inklusive de regioner där de är tillgängliga för distribution, finns i Foundry Models som säljs direkt av Azure och Foundry Models from partners and community.

Förutsättningar

För att slutföra den här artikeln behöver du:

Distribuera en modell

Distribuera en modell genom att följa dessa steg i Foundry-portalen:

  1. Logga in på Microsoft Foundry. Kontrollera att växlingsknappen New Foundry är aktiverad. De här stegen hänvisar till Foundry (ny).

  2. På startsidan för Foundry-portalen väljer du Identifiera i det övre högra navigeringsfältet och sedan Modeller i det vänstra fönstret.

  3. Välj en modell och granska dess information i modellkortet. Den här artikeln används Llama-3.2-90B-Vision-Instruct som illustration.

  4. Välj Distribuera>anpassade inställningar för att anpassa distributionen. Du kan också använda standardinställningarna för distribution genom att välja Distribuera>standardinställningar.

  5. För Foundry-modeller från partner och community måste du prenumerera på Azure Marketplace. Det här kravet gäller till exempel för Llama-3.2-90B-Vision-Instruct. Läs användningsvillkoren och välj Godkänn och fortsätt för att acceptera villkoren.

    Observera

    För Foundry-modeller som säljs direkt av Azure, till exempel Azure OpenAI-modellen gpt-4o-mini, prenumererar du inte på Azure Marketplace.

  6. Konfigurera distributionsinställningarna:

    • Som standard använder distributionen modellnamnet. Du kan ändra det här namnet innan du distribuerar.
    • Under slutsatsdragningen används distributionsnamnet i parametern model för att dirigera begäranden till den här distributionen.

    Välj Distribuera för att skapa distributionen.

    Tips

    Varje modell stöder olika distributionstyper, vilket ger olika garantier för datahemvist eller dataflöde. Mer information finns i distributionstyper . I det här exemplet stöder modellen distributionstypen Global Standard.

  7. När distributionen är klar hamnar du på Foundry Playgrounds där du interaktivt kan testa modellen. Projektet och resursen måste finnas i en av de distributionsregioner som stöds för modellen. Kontrollera att distributionsstatusen visar Lyckades i distributionslistan.

Hantera modeller

Du kan hantera befintliga modelldistributioner i resursen med hjälp av Foundry-portalen.

  1. Välj Skapa i det övre högra navigeringsfältet.

  2. Välj Modeller i den vänstra rutan för att se listan över distributioner i resursen.

Från en distributions detaljsida kan du visa slutpunktsinformation och -nycklar, justera distributionsinställningar eller ta bort en distribution som du inte längre behöver.

Testa distributionen på lekplatsen

Du kan interagera med den nya modellen i Foundry-portalen med hjälp av lekplatsen. Lekplatsen är ett webbaserat gränssnitt som gör att du kan interagera med modellen i realtid. Använd lekplatsen för att testa modellen med olika frågor och se modellens svar.

  1. I listan över distributioner väljer du distributionen Llama-3.2-90B-Vision-Instruct för att öppna lekplatssidan.

  2. Skriv din uppmaning och se utdata.

  3. Välj fliken Kod för att se information om hur du kommer åt modelldistributionen programmatiskt.

Använd modellen med kod

Information om hur du kör slutsatsdragning för den distribuerade modellen finns i följande exempel:

Regional tillgänglighet och kvotgränser för en modell

För Foundry-modeller varierar standardkvoten efter modell och region. Vissa modeller kanske bara är tillgängliga i vissa regioner. Mer information om tillgänglighets- och kvotgränser finns i Azure OpenAI i kvoter och gränser för Microsoft Foundry Models och Microsoft Foundry Models-kvoter.

Kvot för att distribuera och köra slutsatsdragning för en modell

För Foundry-modeller förbrukar distribution och körning av inferenstjänster de kvoter som Azure tilldelar din prenumeration i varje region och per modell, i TPM (enheter med tokens per minut). När du registrerar dig för Foundry får du standardkvot för de flesta tillgängliga modeller. Sedan tilldelar du TPM till varje distribution när du skapar den, vilket minskar den tillgängliga kvoten för modellen. Du kan fortsätta att skapa distributioner och tilldela dem TPMs tills du når din kvotgräns.

När du når din kvotgräns kan du bara skapa nya distributioner av modellen om du:

  • Begär mer kvot genom att skicka ett formulär för kvotökning.
  • Justera den allokerade kvoten för andra modelldistributioner i Foundry-portalen för att frigöra token för nya distributioner.

Mer information om kvoter finns i kvoter och begränsningar för Microsoft Foundry Models och Manage Azure OpenAI.

Felsökning

Frågan Upplösning
Kvoten har överskridits Begär mer kvot eller fördela om TPM från befintliga utplaceringar.
Regionen stöds inte Kontrollera regional tillgänglighet och distribuera i en region som stöds.
Marketplace-prenumerationsfel Kontrollera att du har behörigheterna required för att prenumerera på Azure Marketplace erbjudanden.
Distributionsstatus visar misslyckats Bekräfta att modellen är tillgänglig i den valda regionen och att du har tillräcklig kvot.

Relaterat innehåll

  • Last updated on