Tipi di distribuzione per i modelli Foundry di Microsoft in Azure per enti pubblici

Quando si distribuisce un modello in Microsoft Foundry in Azure per enti pubblici, si sceglie un tipo di distribuzione che determina:

• Posizione in cui vengono elaborati i dati (area dati o singola area)
• Modalità di pagamento (pagamento per token o capacità riservata)
• Caratteristiche delle prestazioni (varianza della latenza, limiti di velocità effettiva)

Il servizio offre due categorie principali: standard (con pagamento per token) e gestito sotto prenotazione (capacità riservata). All'interno di ogni categoria è possibile scegliere la zona dati o l'elaborazione a livello di area in base alle esigenze.

Confronto tra tipi di distribuzione

Scegliere il tipo di distribuzione corretto

Usare i criteri seguenti per selezionare un tipo di distribuzione:

In base ai requisiti di residenza dei dati

• zona dati USGov: Usare DataZone Standard o DataZone Provisionato in un'area Azure per enti pubblici
• Solo area singola: usare provisioning standard o a livello di area

In base al modello di carico di lavoro

• Traffico variabile, a scatti: Utilizzare Standard o DataZone (con pagamento per token)
• Volume coerente elevato: utilizzare tipi provisionati (capacità riservata)

Per requisito di latenza

• Richiesta bassa varianza di latenza: usare tipi provisionati
• Varianza di latenza accettabile: usare i tipi Standard

Implementazioni della Zona Dati

Per i tipi di distribuzione DataZone , le richieste e le risposte vengono elaborate solo all'interno dell'area dati specificata:

• USGov: dati elaborati all'interno delle due aree Azure per enti pubblici (USGovArizona o USGovVirginia)

Per altre informazioni, vedere la sezione "Disponibilità dell'area del modello per tipo di distribuzione" di Modeloli diFoundry venduti direttamente da Azure.

Zona Dati Standard

• Nome SKU nel codice: DataZoneStandard

Le distribuzioni Data Zone Standard instradano dinamicamente il traffico ai datacenter all'interno della datazone definita da Microsoft (USGov). Questo tipo di distribuzione fornisce quote predefinite superiori rispetto ai tipi di distribuzione basati su geografia mantenendo i dati all'interno della zona specificata.

I clienti con un volume coerente elevato potrebbero riscontrare una maggiore variabilità di latenza. La soglia viene impostata per modello. Per altre informazioni sulle quote Azure OpenAI in Azure per enti pubblici, vedere Quote e limiti in Azure OpenAI. Per i carichi di lavoro che richiedono una bassa varianza di latenza in un volume elevato, prendere in considerazione i tipi di distribuzione preconfigurati.

Zona dati provisionata

• Nome SKU nel codice: DataZoneProvisionedManaged

Le distribuzioni con provisioning della zona dati instradano dinamicamente il traffico all'interno della zona dati specificata da Microsoft (USGov) fornendo contemporaneamente capacità riservata di elaborazione del modello. Questo tipo di distribuzione combina la conformità della zona di dati con throughput elevato e prevedibile.

Standard

• Nome SKU nel codice: Standard

Le distribuzioni standard usano la fatturazione con pagamento in base al token. Si paga solo per ciò che si consuma. I modelli disponibili in ciascuna regione e la capacità potrebbero essere limitati.

Le distribuzioni standard sono adatte per carichi di lavoro con volumi da bassi a medi e con picchi di attività elevati. I clienti con un volume coerente elevato potrebbero riscontrare una maggiore variabilità di latenza.

Provvigionamento regionale

• Nome SKU nel codice: ProvisionedManaged

Le distribuzioni con provisioning regionale consentono di specificare la quantità di throughput necessaria in una distribuzione. Il servizio alloca quindi la capacità di elaborazione del modello necessaria e garantisce che sia pronta per l'utente. Il throughput è definito in termini di unità di throughput fornite (PTU), che è un modo standardizzato per rappresentare il throughput per la tua implementazione. Ogni coppia di versioni del modello richiede quantità diverse di PTU da distribuire e fornisce quantità diverse di velocità effettiva per PTU. I requisiti PTU minimi variano in base al modello. Per i minimi correnti e la capacità disponibile, vedere Concetti relativi alla velocità effettiva con provisioning.

Risoluzione dei problemi di distribuzione

Problemi comuni durante la creazione o l'uso delle distribuzioni:

Per i limiti di quota di Azure OpenAI per tipo di distribuzione in Azure per enti pubblici, consultare Quote e limiti in Azure OpenAI.

Monitoraggio degli abusi in Azure per enti pubblici

Non tutte le funzionalità di Monitoraggio dell'abuso sono abilitate per le distribuzioni di Azure OpenAI in Azure per enti pubblici. L'utente è responsabile dell'implementazione di misure tecniche e operative ragionevoli per rilevare e attenuare qualsiasi utilizzo del servizio in violazione delle condizioni del prodotto. La classificazione e il filtro dei contenuti automatizzati rimangono abilitati per impostazione predefinita per Azure per enti pubblici. Se sono necessari filtri di contenuto modificati, rivolgersi a Azure per enti pubblici Applicazione del Filtro Modificato.

Contenuto correlato

• Distribuire i modelli Foundry di Microsoft nel Portale Foundry
• Creare e distribuire una Azure OpenAI nella risorsa Microsoft Foundry Models
• Modelli Foundry venduti direttamente da Azure in Azure per enti pubblici
• Disponibilità della regione modello per tipo di distribuzione in Azure per enti pubblici
• Quote e limiti di Azure OpenAI nel Governo di Azure
• Concetti relativi alla velocità effettiva con provisioning
• Servizio Azure OpenAI tariffe
• Privacy e sicurezza dei dati per i modelli Foundry
• Disponibilità elevata e ripristino di emergenza