Distributionstyper för Microsoft Foundry Models (klassisk)

Visar för närvarande:Foundry-portalversion - (klassisk)Växla till version för den nya Foundry-portalen

När du distribuerar en modell i Microsoft Foundry väljer du en distributionstyp som avgör:

• Var dina data bearbetas (global, datazon eller enskild region)
• Hur du betalar (betala per token eller reserverad kapacitet)
• Prestandaegenskaper (svarstidsavvikelse, dataflödesgränser)

Tjänsten erbjuder två huvudkategorier: standard (betala per token) och etablerad (reserverad kapacitet). Inom varje kategori kan du välja global bearbetning, datazon eller regional bearbetning baserat på dina efterlevnadskrav.

Jämförelse av distributionstyp

Välj rätt distributionstyp

Använd följande villkor för att välja en distributionstyp:

På grund av krav på datahemvist

• Inga begränsningar: Använd Global Standard eller Global Provisioned
• EU-datazon: Använd DataZone Standard eller DataZone Tillhandahållen i en EU-region
• Datazon i USA: Använd DataZone Standard eller DataZone Provisioned i en amerikansk region
• Endast en region: Använd Standard eller Regionalt etablerad

Efter arbetsbelastningsmönster

• Variabel, bursty (ryckig) trafik: Använd Standard eller Global Standard (betala per token)
• Konsekvent hög volym: Använd etablerade typer (reserverad kapacitet)
• Stora batchjobb (inte tidskänsliga): Använd Global Batch eller DataZone Batch (50% kostnadsbesparingar)
• Finjusterad modellutvärdering: Använd Utvecklare (inget serviceavtal, lägsta kostnad)

Enligt svarstidskrav

• Varians med låg svarstid krävs: Använd etablerade typer
• Svarstidsavvikelsen är acceptabel: Använd standardtyper

Databehandlingsplatser

För standarddistributioner finns det tre alternativ: global, datazon och Azure geografi. För etablerade distributioner finns det två alternativ: global och Azure geografi. Global Standard är en vanlig utgångspunkt för de flesta arbetsbelastningar.

Globala driftsättningar

Globala distributioner använder Azure globala infrastruktur för att dynamiskt dirigera trafik till tillgängliga datacenter. Globala distributioner erbjuder de högsta initiala dataflödesgränserna och den bredaste modelltillgängligheten.

För arbetsbelastningar med stora volymer kan du uppleva ökad svarstidsvariation. Om du behöver lägre svarstidsavvikelse i stor skala använder du etablerade distributionstyper.

Globala distributioner tar först emot nya modeller och funktioner.

Distributioner av datazoner

För globala distributionstyper kan frågor och svar bearbetas i alla geografiska områden där modellen distribueras. För DataZone-distributionstyper bearbetas frågor och svar endast inom den angivna datazonen:

• United States: Data som bearbetas var som helst i USA
• Europeiska unionen: Data som bearbetas inom alla EU-medlemsstater

Läs mer i avsnittet "Modellregiontillgänglighet efter distributionstyp" i Foundry Models som säljs direkt av Azure.

Global Standard

• SKU-namn i kod: GlobalStandard

Global Standard-distributioner använder Azure globala infrastruktur för att dynamiskt dirigera trafik till tillgängliga datacenter. Den här distributionstypen ger den högsta standardkvoten och eliminerar behovet av belastningsutjämning för flera resurser.

Kunder med hög konsekvent volym kan uppleva större svarstidsvariationer. Tröskelvärdet anges per modell. Mer information finns på sidan Kvoter. För program som kräver lägre svarstidsavvikelse vid stor arbetsbelastningsanvändning bör du överväga etablerat dataflöde.

Global Standard stöder prioritetsbearbetning (förhandsversion) för snabbare svarstider per användning. Mer information finns i Prioritetsbearbetning för Foundry-modeller (förhandsversion).

Global provisionerad

• SKU-namn i kod: GlobalProvisionedManaged

Globala förberedda distributioner använder Azures globala infrastruktur för att dynamiskt dirigera trafik till tillgängliga datacenter. Den här distributionstypen tillhandahåller reserverad modellbearbetningskapacitet för förutsägbart dataflöde och kombinerar global routning med garanterad kapacitet.

Med etablerat dataflöde köper du ett fast antal etablerade dataflödesenheter (PTUs) som garanterar en viss nivå av bearbetningskapacitet. Den här distributionstypen ger lägre och mer konsekvent svarstid än Global Standard. För mer information, se Begrepp för tilldelat dataflöde.

Global Batch

• SKU-namn i kod: GlobalBatch

Global Batch hanterar storskaliga bearbetningsuppgifter och bearbetningsuppgifter med stora volymer. Du kan bearbeta asynkrona grupper av begäranden med separat kvot och en 24-timmars målomställning, till 50% mindre kostnad än Global Standard. Med batchbearbetning, i stället för att skicka en begäran i taget, skickar du ett stort antal begäranden i en enda fil. Globala batchbegäranden har en separat köad tokengräns, vilket förhindrar störningar i dina onlinearbetslaster.

Vanliga användningsfall:

• Storskalig databearbetning: Analysera datauppsättningar parallellt.
• Innehållsgenerering: Skapa stora mängder text, till exempel produktbeskrivningar eller artiklar.
• Dokumentgranskning och sammanfattning: Bearbeta och sammanfatta långa dokument.
• Kundsupportautomatisering: Hantera flera frågor samtidigt.
• Extrahering och analys av data: Extrahera och analysera information från stora mängder ostrukturerade data.
• Uppgifter för bearbetning av naturligt språk (NLP): Utför attitydanalys eller översättning på stora datamängder.

Standard för datazon

• SKU-namn i kod: DataZoneStandard

Data Zone Standard-distributioner dirigerar dynamiskt trafik till datacenter inom den Microsoft definierade datazonen (USA eller EU). Den här distributionstypen ger högre standardkvoter än geografibaserade distributionstyper samtidigt som data hålls inom den angivna zonen.

Kunder med hög konsekvent volym kan uppleva större svarstidsvariationer. Tröskelvärdet anges per modell. Mer information finns på sidan med kvoter och gränser. För arbetsbelastningar som kräver varians med låg svarstid på stora volymer bör du överväga etablerade distributionstyper.

Data Zone Standard stöder prioritetsbearbetning (förhandsgranskning) för snabbare svarstider med betalning per användning. Mer information finns i Prioritetsbearbetning för Foundry-modeller (förhandsversion).

Provisionerad datazon

• SKU-namn i kod: DataZoneProvisionedManaged

Provisionerade distributioner i datazonen dirigerar dynamiskt trafik inom den datazon som specificerats av Microsoft (USA eller EU) samtidigt som reserverad modellbearbetningskapacitet tillhandahålls. Den här distributionstypen kombinerar datazonsefterlevnad med högt och förutsägbart dataflöde.

Batch för datazon

• SKU-namn i kod: DataZoneBatch

Distributioner av Data Zone Batch erbjuder samma funktioner som Global Batch, inklusive 50% kostnadsbesparingar och 24 timmars bearbetningstid. Trafiken dirigeras endast till datacenter inom den Microsoft definierade datazonen (USA eller EU).

Standard

• SKU-namn i kod: Standard

Standarddistributioner använder fakturering med betalning per token. Du betalar bara för det du konsumerar. Modeller som är tillgängliga i varje region och genomströmning kan vara begränsade.

Standarddistributioner lämpar sig för arbetsbelastningar med låg till medelhög volym men med hög variation. Kunder med hög konsekvent volym kan uppleva större svarstidsvariationer.

Regional tilldelning

• SKU-namn i kod: ProvisionedManaged

Med regionala resursallokerade distributioner kan du ange hur mycket genomströmning du behöver för en distribution. Tjänsten allokerar sedan den nödvändiga modellbearbetningskapaciteten och ser till att den är redo för dig. Dataflödet definieras i termer av etablerade dataflödesenheter (PTUs), vilket är ett normaliserat sätt att representera dataflödet för din distribution. Varje modellversionspar kräver olika mängder PTU:er för distribution och ger olika mängder dataflöde per PTU. Lägsta PTU-krav varierar beroende på modell. Aktuella miniminivåer och tillgänglig kapacitet finns i Begrepp för provisionerat genomflöde.

Utvecklare (för finjusterade modeller)

• SKU-namn i kod: DeveloperTier

Distributionstypen Utvecklare är endast avsedd för finjusterad modellutvärdering. Det ger kostnadseffektiv testning av anpassade modeller men innehåller inte garantier för datahemvist eller ett serviceavtal. Utvecklardistributioner har en fast livslängd på 24 timmar och tas automatiskt bort efter förfallodatum. Mer information om hur du använder distributionstypen Utvecklare finns i finjusteringsguiden.

Felsöka utplaceringsproblem

Vanliga problem när du skapar eller använder distributioner:

Kvotgränser efter distributionstyp finns i Foundry Models-kvoter och -gränser.

Begränsa distributionstyper med Azure Policy

Azure Policy hjälper till att framtvinga organisationsstandarder och utvärdera efterlevnad i stor skala. Via instrumentpanelen för efterlevnad kan du utvärdera miljöns övergripande tillstånd och gå in på detaljnivå för varje resurs och för varje policy. Azure Policy stöder även massreparation för befintliga resurser och automatisk reparation av nya resurser. Läs mer om Azure Policy och specifika inbyggda kontroller för Foundry Tools.

Använd följande princip för att inaktivera åtkomst till en specifik Foundry-distributionstyp. Ersätt GlobalStandard med SKU-namnet för den distributionstyp som du vill begränsa.

{
    "mode": "All",
    "policyRule": {
        "if": {
            "allOf": [
                {
                    "field": "type",
                    "equals": "Microsoft.CognitiveServices/accounts/deployments"
                },
                {
                    "field": "Microsoft.CognitiveServices/accounts/deployments/sku.name",
                    "equals": "GlobalStandard"
                }
            ]
        }
    }
}

Relaterat innehåll

• Distribuera Microsoft Foundry-modeller i Foundry-portalen
• Skapa och distribuera en Azure OpenAI i resursen Microsoft Foundry Models
• Foundry Models säljs direkt av Azure
• Tillgänglighet för modellregion efter distributionstyp
• Microsoft Foundry Models kvoter och begränsningar
• Provisionerat dataflöde - begrepp
• Global Batch-bearbetning
• Azure OpenAI Service prissättning
• Datasekretess och säkerhet för Foundry-modeller
• Hög tillgänglighet och haveriberedskap