Distribuire i modelli Foundry di Microsoft nel portale Foundry

Questo articolo illustra come usare il portale Foundry per distribuire un modello Foundry in una risorsa Foundry per l'inferenza. I modelli foundry includono modelli come i modelli Azure OpenAI, i modelli Meta Llama e altro ancora. Dopo aver distribuito un modello Foundry, è possibile interagire con esso in Foundry Playground e usarlo dal codice.

Questo articolo usa un modello Foundry di partner e community Llama-3.2-90B-Vision-Instruct a scopo illustrativo. I modelli dei partner e della community richiedono di sottoscrivere Azure Marketplace prima della distribuzione. D'altra parte, Foundry Models venduto direttamente da Azure, ad esempio Azure OpenAI in Foundry Models, non hanno questo requisito. Per altre informazioni sui modelli Foundry, incluse le aree in cui sono disponibili per la distribuzione, vedere Foundry Models venduto direttamente da Azure e Foundry Models di partner e community.

Prerequisiti

Per completare questo articolo, è necessario:

• Sottoscrizione Azure con un metodo di pagamento valido. Se non hai una sottoscrizione Azure, crea un account Azure a pagamento per iniziare. Se si usa GitHub Models, è possibile upgrade to Foundry Models e creare una sottoscrizione Azure nel processo.

• Ruolo Collaboratore Servizi Cognitivi o autorizzazioni equivalenti della risorsa Foundry per creare e gestire le implementazioni. Per altre informazioni, vedere ruoli RBAC di Azure.

• Progetto Microsoft Foundry. Questo tipo di progetto viene gestito tramite una risorsa Foundry.

• Foundry Models da parte dei partner e della community richiedono l'accesso a Azure Marketplace per creare abbonamenti. Assicurati di disporre delle autorizzazioni necessarie per sottoscrivere le offerte di modelli. Foundry Models venduti direttamente da Azure non hanno questo requisito.

Distribuire un modello

Distribuire un modello seguendo questa procedura nel portale foundry:

1. Accedere a Microsoft Foundry. Assicurarsi che l'interruttore New Foundry sia attivato. Questi passaggi fanno riferimento a Foundry (nuovo).These steps refer to Foundry (new).

   

2. Nella home page del portale Foundry, selezionare Scopri nella barra di navigazione in alto a destra, quindi Modelli nel pannello a sinistra.

3. Selezionare un modello ed esaminarne i dettagli nella scheda del modello. Questo articolo usa Llama-3.2-90B-Vision-Instruct per l'illustrazione.

4. Selezionare Distribuisci>impostazioni personalizzate per personalizzare la distribuzione. In alternativa, è possibile usare le impostazioni di distribuzione predefinite selezionando Distribuisci>impostazioni predefinite.

5. Per Foundry Models di partner e community, è necessario iscriversi ad Azure Marketplace. Questo requisito si applica ad esempio a Llama-3.2-90B-Vision-Instruct. Leggere le condizioni per l'utilizzo e selezionare Accetta e continua per accettare le condizioni.

   Nota

   Per Foundry Models venduti direttamente da Azure, ad esempio il modello Azure OpenAI gpt-4o-mini, non si sottoscrive al Azure Marketplace.

6. Configurare le impostazioni di distribuzione:

   • Per impostazione predefinita, la distribuzione usa il nome del modello. È possibile modificare questo nome prima della distribuzione.
   • Durante l'inferenza, il nome della distribuzione model viene usato nel parametro per instradare le richieste a questa distribuzione specifica.

   Selezionare Distribuisci per creare la distribuzione.

   Suggerimento

   Ogni modello supporta diversi tipi di distribuzione, offrendo garanzie di residenza o velocità effettiva dei dati diverse. Per altri dettagli, vedere Tipi di distribuzione . In questo esempio il modello supporta il tipo di distribuzione Global Standard.

7. Al termine della distribuzione, si arriva a Foundry Playgrounds in cui è possibile testare il modello in modo interattivo. Il progetto e la risorsa devono trovarsi in una delle aree di distribuzione supportate per il modello. Verificare che lo stato della distribuzione sia Completato nell'elenco di distribuzione.

Gestire i modelli

È possibile gestire le distribuzioni di modelli esistenti nella risorsa usando il portale Foundry.

1. Selezionare Compila nel riquadro di spostamento in alto a destra.

2. Selezionare Modelli nel riquadro sinistro per visualizzare l'elenco delle distribuzioni nella risorsa.

Dalla pagina dei dettagli di una distribuzione è possibile visualizzare i dettagli e le chiavi dell'endpoint, modificare le impostazioni di distribuzione o eliminare una distribuzione non più necessaria.

Testare la distribuzione nel playground

È possibile interagire con il nuovo modello nel portale Foundry usando il playground. Il playground è un'interfaccia basata sul Web che consente di interagire con il modello in tempo reale. Usare il playground per testare il modello con richieste diverse e visualizzare le risposte del modello.

1. Nell'elenco delle distribuzioni selezionare la distribuzione Llama-3.2-90B-Vision-Instruct per aprire la pagina del playground.

2. Digita il tuo prompt e guarda i risultati.

3. Selezionare la scheda Codice per visualizzare i dettagli su come accedere alla distribuzione del modello a livello di codice.

Utilizzare il modello con il codice

Per eseguire l'inferenza nel modello distribuito, vedere gli esempi seguenti:

• Per usare l'API Responses con i modelli Foundry venduti direttamente da Azure, ad esempio Microsoft modelli di intelligenza artificiale, DeepSeek e Grok, vedere Come generare risposte di testo con Microsoft Modelli Foundry.

• Per usare l'API Risposte con i modelli OpenAI, vedere Introduzione all'API delle risposte.

• Per usare l'API completamento chat con modelli venduti dai partner, ad esempio il modello Llama distribuito in questo articolo, vedere Supporto del modello per i completamenti della chat.

Limiti di disponibilità e quota a livello di area di un modello

Per i modelli foundry, la quota predefinita varia in base al modello e all'area. Alcuni modelli potrebbero essere disponibili solo in alcune aree. Per altre informazioni sui limiti di disponibilità e quota, vedere Azure OpenAI in Microsoft Foundry Models quotas and limits and Microsoft Foundry Models quotas and limits.

Quota per la distribuzione e l'esecuzione di inferenza su un modello

Per i Foundry Models, la distribuzione e l'esecuzione dell'inferenza consumano la quota che Azure assegna alla tua sottoscrizione su base regionale e per modello, in unità di Token al Minuto (TPM). Quando si effettua l'iscrizione a Foundry, si riceve la quota predefinita per la maggior parte dei modelli disponibili. Quindi, si assegna TPM a ogni distribuzione man mano che lo si crea, riducendo la quota disponibile per tale modello. È possibile continuare a creare distribuzioni e assegnarle TPM fino a raggiungere il limite di quota.

Quando si raggiunge il limite di quota, è possibile creare nuove distribuzioni di tale modello solo se si:

• Richiedere una quota maggiore inviando un modulo di aumento della quota.
• Modificare la quota allocata in altre distribuzioni di modelli nel portale Foundry per liberare token per le nuove distribuzioni.

Per altre informazioni sulla quota, vedere quote e limiti di Microsoft Foundry Models e Gestire la quota di Azure OpenAI.

Risoluzione dei problemi

Contenuto correlato

• Come generare risposte di testo con Microsoft Modelli Foundry
• Tipi di distribuzione per i modelli Foundry
• Distribuire modelli utilizzando interfaccia della riga di comando di Azure e Bicep
• Azure Linguaggi di programmazione supportati da OpenAI