Kommentar
Åtkomst till den här sidan kräver auktorisering. Du kan prova att logga in eller ändra kataloger.
Åtkomst till den här sidan kräver auktorisering. Du kan prova att ändra kataloger.
Gäller endast för:
Foundry-portalen (klassisk). Den här artikeln är inte tillgänglig för den nya Foundry-portalen.
Läs mer om den nya portalen.
Observera
Länkar i den här artikeln kan öppna innehåll i den nya Microsoft Foundry-dokumentationen i stället för den foundry-dokumentation (klassisk) som du visar nu.
Modellkatalogen i Microsoft Foundry är navet för att identifiera och använda ett brett utbud av Foundry-modeller för att skapa generativa AI-program. Du måste distribuera modeller för att göra dem tillgängliga för att ta emot slutsatsdragningsbegäranden. Foundry erbjuder en omfattande uppsättning distributionsalternativ för Foundry-modeller, beroende på dina behov och modellkrav.
Driftsättningsalternativ
Foundry tillhandahåller flera distributionsalternativ beroende på vilken typ av modeller och resurser du behöver etablera. Följande distributionsalternativ är tillgängliga:
- Standarddistribution i Foundry-resurser
- Distribution till serverlösa API-slutpunkter
- Implementering till hanterade datamiljöer
Foundry-portalen kan automatiskt välja ett distributionsalternativ baserat på din miljö och konfiguration. Använd Foundry-resurser för distribution när det är möjligt. Modeller som stöder flera deployeringsalternativ använder Foundry-resurser som standardinställning för deployering. Om du vill komma åt andra distributionsalternativ använder du Azure CLI eller Azure Machine Learning SDK för distribution.
Standarddistribution i Foundry-resurser
Foundry-resurser är det föredragna distributionsalternativet i Foundry. Det erbjuder det bredaste utbudet av funktioner, inklusive regional, datazon eller global bearbetning, och det erbjuder standard- och etablerade dataflödesalternativ (PTU). Flaggskeppsmodeller i Foundry Models stöder det här distributionsalternativet.
Det här distributionsalternativet är tillgängligt i:
- Foundry-resurser
- Azure OpenAI-resurser1
- Azure AI-hubb när den är ansluten till en Foundry-resurs
1Om du använder Azure OpenAI-resurser visar modellkatalogen endast Azure OpenAI i Foundry Models för distribution. Du kan hämta en fullständig lista över Foundry-modeller genom att uppgradera till en Foundry-resurs.
Information om hur du kommer igång med standarddistribution i Foundry-resurser finns i Anvisningar: Distribuera modeller till Foundry-modeller.
Serverlös API-slutpunkt
Det här distributionsalternativet är endast tillgängligt iAI Hub-resurser. Det gör att du kan skapa dedikerade slutpunkter som värd för modellen, som är tillgängliga via ett API. Foundry Models stöder serverlösa API-slutpunkter med betala per användning-fakturering och du kan bara skapa regionala distributioner för serverlösa API-slutpunkter.
Information om hur du kommer igång med distribution till en serverlös API-slutpunkt finns i Distribuera modeller som serverlösa API-distributioner.
Hanterad beräkning
Det här distributionsalternativet är endast tillgängligt iAI Hub-resurser. Med den kan du skapa en dedikerad slutpunkt som är värd för modellen i en dedikerad beräkning. Du måste ha beräkningskvot i din prenumeration för att vara värd för modellen, och du debiteras per beräkningsupptid.
Hanterad beräkningsdistribution krävs för modellsamlingar som innehåller:
- Kramande ansikte
- NVIDIA-slutsatsdragningsmikrotjänster (NIM)
- Branschmodeller (Saifr, Rockwell, Bayer, Cerence, Sight Machine, Page AI, SDAIA)
- Databricks
- Anpassade modeller
Kom igång genom att läsa Så här distribuerar och härleder du en hanterad beräkningsdistribution och Distribuera Foundry-modeller till hanterad beräkning med betala per användning-fakturering.
Funktioner för distributionsalternativen
Använd Standard-distributioner i Foundry-resurser när det är möjligt. Det här distributionsalternativet innehåller de flesta funktionerna bland de tillgängliga distributionsalternativen. I följande tabell visas information om specifika funktioner för varje distributionsalternativ:
| Kapacitet | Standarddistribution i Foundry-resurser | Serverlös API-slutpunkt | Hanterad beräkning |
|---|---|---|---|
| Vilka modeller kan distribueras? |
Foundry Models säljs direkt av Azure Foundry-modeller från partner och community |
Foundry-modeller med pay-as-you-go-fakturering | Öppna och anpassade modeller |
| Distributionsresurs | gjuteriresurs | AI-projekt (i AI-hubbresurs) | AI-projekt (i AI Hub-resurs) |
| Kräver AI Hubs | Nej | Ja | Ja |
| Alternativ för databehandling | Regionala Datazon Global |
Regionala | Regionala |
| Privata nätverk | Ja | Ja | Ja |
| Innehållsfiltrering | Ja | Ja | Nej |
| Anpassad innehållsfiltrering | Ja | Nej | Nej |
| Nyckellös autentisering | Ja | Nej | Nej |
| Faktureringsbaser | Tokenanvändning och konfigurerade genomflödesenheter | Tokenanvändning2 | Beräkna kärntimmar3 |
2 En minimal slutpunktsinfrastruktur faktureras per minut. Du debiteras inte för infrastrukturen som är värd för modellen i serverlös distribution. När du har tagit bort slutpunkten ackumuleras inga ytterligare avgifter.
3 Fakturering sker per minut, beroende på produktnivå och antalet instanser som använts i distributionen sedan skapandet. När du har tagit bort slutpunkten ackumuleras inga ytterligare avgifter.