Implementeer Microsoft Foundry-modellen voor beheerde berekeningen met facturering per gebruik (klassiek)

Alleen van toepassing op:Foundry (klassiek) portal. Dit artikel is niet beschikbaar voor de nieuwe Foundry-portal. Meer informatie over de nieuwe portal.

Microsoft Foundry Models bevatten een uitgebreide catalogus met modellen die zijn ingedeeld in twee categorieën: modellen die rechtstreeks worden verkocht door Azure en models van partners en community. De modellen van partners en community's, die u op beheerde berekeningen kunt implementeren, zijn geopende of beveiligde modellen. In dit artikel leert u hoe u beveiligde modellen kunt gebruiken van partners en community's, aangeboden via Azure Marketplace, voor implementatie op beheerde compute met betalen per gebruik-facturering.

Voorwaarden

• Een Azure-abonnement met een geldige betalingswijze. Gratis of proefabonnementen voor Azure werken niet. Als u geen Azure abonnement hebt, maak dan een betaald Azure-account om te beginnen.

• Als u er nog geen hebt, maakt u een hubproject voor Foundry. U kunt implementeren op beheerde computersystemen met een hubproject. Een Foundry-project werkt hiervoor niet.

• Azure Marketplace aankopen ingeschakeld voor uw Azure-abonnement.

• Azure op rollen gebaseerd toegangsbeheer (Azure RBAC) verleent toegang tot bewerkingen in de Foundry-portal. Als u de stappen in dit artikel wilt uitvoeren, moet aan uw gebruikersaccount een aangepaste rol worden toegewezen met de volgende machtigingen. Gebruikersaccounts waaraan de rol Owner of Contributor voor het Azure-abonnement zijn toegewezen, kunnen ook implementaties maken. Zie op rollen gebaseerd toegangsbeheer in Foundry Portal voor meer informatie over machtigingen.

• In het Azure-abonnement: om de werkruimte/het project te abonneren op de Azure Marketplace-aanbieding:

  • Microsoft.MarketplaceOrdering/agreements/offers/plans/read
  • Microsoft. MarketplaceOrdering/agreements/offers/plans/sign/action
  • Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
  • Microsoft. Marketplace/offerTypes/publishers/offers/plans/agreements/read
  • Microsoft. SaaS/registreren/actie

• In de resourcegroep : als u de SaaS-resource wilt maken en gebruiken:

  • Microsoft. SaaS/resources/lezen
  • Microsoft. SaaS/resources/schrijven

• In de werkruimte— om eindpunten te implementeren:

  • Microsoft. MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
  • Microsoft. MachineLearningServices/workspaces/onlineEndpoints/*

Abonnementsbereik en maateenheid voor Azure Marketplace aanbieding

Foundry biedt een naadloze abonnements- en transactieervaring voor beveiligde modellen tijdens het maken en gebruiken van uw toegewezen modelimplementaties op schaal. De implementatie van beveiligde modellen op beheerde rekenkracht omvat facturering per gebruik voor de klant in twee dimensies:

• Per uur Azure Machine Learning berekeningsfacturering voor de virtuele machines die in de implementatie worden gebruikt.
• Toeslagfacturering voor het model zoals ingesteld door de modeluitgever in de Azure Marketplace aanbieding.

Betalen per gebruik-facturering van Azure reken- en modeltoeslag wordt naar rato per minuut berekend op basis van de uptime van de beheerde online-implementaties. De toeslag voor een model is een prijs per GPU-uur, ingesteld door de partner (of de uitgever van het model) op Azure Marketplace, voor alle ondersteunde GPU's die u kunt gebruiken om het model te implementeren op door Foundry beheerde compute.

Het abonnement van een gebruiker op Azure Marketplace-aanbiedingen is beperkt tot de projectresource binnen Foundry. Als er al een abonnement op de Azure Marketplace aanbieding voor een bepaald model bestaat binnen het project, wordt de gebruiker geïnformeerd in de implementatiewizard dat het abonnement al bestaat voor het project.

Als u alle SaaS-abonnementen wilt vinden die in een Azure-abonnement bestaan:

1. Meld u aan bij de Azure-portal en ga naar uw Azure-abonnement.

2. Selecteer Subscriptions en selecteer vervolgens uw Azure-abonnement om de overzichtspagina te openen.

3. Selecteer Instellingenbronnen> om de lijst met resources weer te geven.

4. Gebruik het filter Type om het SaaS-resourcetype te selecteren.

De op verbruik gebaseerde toeslag gaat naar het bijbehorende SaaS-abonnement en factureert de gebruiker via Azure Marketplace. U kunt de factuur bekijken op het tabblad Overzicht van het respectieve SaaS-abonnement.

Abonneren en uitrollen op beheerde computing-resources

1. Meld u aan bij Microsoft Foundry. Zorg ervoor dat de wisselknop New Foundry is uitgeschakeld. Deze stappen verwijzen naar Foundry (klassiek).

   

2. Selecteer uw project als u er nog niet in bent.

3. Selecteer modelcatalogus in het linkerdeelvenster.

4. Filter de lijst met modellen door de verzameling en het model van uw keuze te selecteren. In dit artikel wordt Cohere Command A gebruikt in de lijst met ondersteunde modellen voor illustratie.

5. Selecteer Op de pagina van het model de optie Dit model gebruiken om de implementatiewizard te openen.

6. Als er aankoopopties worden weergegeven, selecteert u Managed Compute.

7. Als u geen toegewezen quotum hebt, schakelt u het selectievakje naast de instructie in: Ik wil gedeeld quotum gebruiken en ik bevestig dat dit eindpunt over 168 uur wordt verwijderd.

8. Kies een van de ondersteunde VM-SKU's (virtuele machines) voor het model. U moet Azure Machine Learning rekenquotum voor die SKU in uw Azure-abonnement hebben.

9. Selecteer Aanpassen om uw implementatieconfiguratie op te geven voor parameters zoals het aantal exemplaren. U kunt ook een bestaand eindpunt voor de implementatie selecteren of een nieuw eindpunt maken. Geef voor dit voorbeeld het aantal exemplaren op van 1 en maak een nieuw eindpunt voor de implementatie.

   

10. Selecteer Volgende om door te gaan naar de pagina met uitsplitsing van prijzen .

11. Bekijk de prijsanalyse voor de implementatie, gebruiksvoorwaarden en gebruiksrechtovereenkomst die is gekoppeld aan de aanbieding van het model op Azure Marketplace. De prijsanalyse geeft aan wat de geaggregeerde prijzen voor het geïmplementeerde model zouden zijn, waarbij de toeslag voor het model een functie is van het aantal GPU's in het VM-exemplaar dat u in de vorige stappen hebt geselecteerd. Naast de toepasselijke toeslag voor het model zijn Azure rekenkosten ook van toepassing op basis van uw implementatieconfiguratie. Als u bestaande reserveringen of een Azure-spaarplan hebt, zet de factuur voor de rekenkosten de kortingsprijzen voor VM's door en toont deze.

    

12. Schakel het selectievakje in om te bevestigen dat u de gebruiksvoorwaarden begrijpt en ermee akkoord gaat. Selecteer vervolgens Implementeren. Foundry maakt uw abonnement op de Marketplace-aanbieding en maakt vervolgens de implementatie van het model op een beheerd rekenproces. Het duurt ongeveer 15-20 minuten voordat de implementatie is voltooid.

Implementaties in gebruik nemen

Nadat u de implementatie hebt gemaakt, volgt u deze stappen om deze te gebruiken:

1. Selecteer Modellen en eindpunten onder Mijn assets in uw Foundry-project.
2. Selecteer uw implementatie op het tabblad Modelimplementaties .
3. Ga naar het tabblad Testen voor voorbeelddeductie naar het eindpunt.
4. Ga terug naar het tabblad Details om de doel-URI van de implementatie te kopiëren, die u kunt gebruiken om deductie uit te voeren met code.
5. Ga naar het tabblad Verbruik van de implementatie om codevoorbeelden voor verbruik te vinden.

Netwerkisolatie van implementaties

U kunt verzamelingen implementeren in de modelcatalogus binnen uw geïsoleerde netwerken met behulp van een beheerd virtueel netwerk in de werkruimte. Zie Een beheerd virtueel netwerk configureren om uitgaand internet toe te staan voor meer informatie over het configureren van beheerde netwerken in uw werkruimte.

Beperking

Een Foundry-project waarvoor toegang tot openbaar netwerk voor inkomend verkeer is uitgeschakeld, kan slechts één actieve implementatie van een van de beveiligde modellen uit de catalogus ondersteunen. Pogingen om meer actieve implementaties te maken, leiden tot fouten bij het maken van implementaties.

Ondersteunde modellen

De volgende secties bevatten de ondersteunde modellen voor beheerde rekenimplementatie met betalen per gebruik-facturering, gegroepeerd op verzameling.

Boson AI

Cohere

Domyn

Inceptie Labs

NVIDIA

NVIDIA inference microservices (NIM) zijn containers die door NVIDIA zijn gebouwd voor geoptimaliseerde voorafgetrainde en aangepaste AI-modellen die draaien op NVIDIA GPU's. U kunt NVIDIA NIC's implementeren die beschikbaar zijn in de Foundry-modelcatalogus met een Standard-abonnement op de NVIDIA NIM SaaS-aanbieding op Azure Marketplace.

Enkele speciale dingen die u moet weten over NIC's zijn:

• NIM's bevatten een proefperiode van 90 dagen. De proefversie is van toepassing op alle NIC's die zijn gekoppeld aan een bepaald SaaS-abonnement en begint vanaf het moment dat het SaaS-abonnement wordt gemaakt.

• SaaS-abonnementenbereik voor een Foundry-project. Omdat meerdere modellen zijn gekoppeld aan één Azure Marketplace aanbieding, hoeft u zich slechts één keer te abonneren op de NIM-aanbieding binnen een project. Vervolgens kunt u alle NIC's implementeren die worden aangeboden door NVIDIA in de Foundry-modelcatalogus. Als u NIC's in een ander project wilt implementeren zonder bestaand SaaS-abonnement, moet u zich opnieuw abonneren op de aanbieding.

NVIDIA NIM-implementaties gebruiken

Nadat u uw implementatie hebt gemaakt, volgt u de stappen in Implementaties verbruiken om deze te gebruiken.

NVIDIA-NIC's in Foundry maken een openAI-compatibele API beschikbaar. Zie de API-documentatie voor meer informatie over de ondersteunde payload. De model parameter voor NIM's in Foundry is ingesteld op een standaardwaarde binnen de container en is niet vereist in de lading van het verzoek naar uw online eindpunt. Het tabblad Verbruik van de NIM-implementatie in Foundry bevat codevoorbeelden voor deductie met de doel-URL van uw implementatie.

U kunt OOK NIM-implementaties gebruiken met behulp van de Foundry Models SDK, met beperkingen zoals:

• Geen ondersteuning voor het maken en verifiëren van clients met behulp van load_client.
• U moet de clientmethode get_model_info aanroepen om modelgegevens op te halen.

Agents ontwikkelen en uitvoeren met NIM-eindpunten

De volgende NVIDIA NIM's van voltooiingstaken voor chats in de modelcatalogus kunnen worden gebruikt om agents te maken en uit te voeren door gebruik te maken van Agent Service met verschillende ondersteunde tools, met de volgende twee extra vereisten:

1. Maak een serverloze verbinding met het project met behulp van het NIM-eindpunt en de sleutel. De doel-URL voor het NIM-eindpunt in de verbinding moet zijn https://<endpoint-name>.region.inference.ml.azure.com/v1/.
2. Stel de modelparameter in de request body in op in de vorm van, https://<endpoint>.region.inference.ml.azure.com/v1/@<parameter value per table below> terwijl u agents maakt en uitvoert.

Beveiligingsscans

NVIDIA zorgt voor de beveiliging en betrouwbaarheid van NVIDIA NIM-containerinstallatiekopieën door middel van best-in-class scannen op beveiligingsproblemen, strikt patchbeheer en transparante processen. Microsoft werkt met NVIDIA om de nieuwste patches van de NIC's te krijgen om veilige, stabiele en betrouwbare software te leveren binnen Foundry.

U kunt verwijzen naar de laatst bijgewerkte tijd voor de NIM in het rechterdeelvenster van de overzichtspagina van het model. U kunt NIM opnieuw inzetten om de nieuwste versie van NIM te gebruiken vanuit NVIDIA op Foundry.

Paige AI

Voyage AI

Verwante inhoud

• Hoe een beheerde computedeployment te implementeren en inferentie uit te voeren
• Foundry-modellen verkennen