Abilitare l'elaborazione prioritaria per i modelli Foundry di Microsoft

L'elaborazione prioritaria offre prestazioni a bassa latenza con la flessibilità del pagamento in base al consumo. In questo articolo viene abilitata l'elaborazione delle priorità in una distribuzione del modello, si verifica il livello di servizio che ha elaborato le richieste e si monitorano i costi associati.

Prerequisiti

• Sottoscrizione di Azure : Crearne una gratuitamente.
• Progetto Foundry di Microsoft con un modello distribuito del tipo GlobalStandard o DataZoneStandard.
• Versioni del modello 2025-12-01 o successive.

Casi d'uso chiave

• Latenza coerente e bassa per le esperienze utente reattive.
• Semplicità con pagamento in base al consumo senza impegni a lungo termine.
• Traffico in ore lavorative o con picchi che trae vantaggio da prestazioni scalabili e convenienti. Facoltativamente, è possibile combinare l'elaborazione prioritaria con le Provisioned Throughput Units (PTU) per ottimizzare la capacità allo stato stazionario e i costi.

Obiettivo di latenza

¹ Le richieste di contesto lunghe (ovvero le richieste stimate a più di 128k token di prompt) verranno declassate all'elaborazione standard e verranno addebitate le tariffe al livello standard.

² Calcolata come latenza di richiesta p50 su base 5 minuti.

Disponibilità dell'elaborazione prioritaria in base al tipo di distribuzione

L'elaborazione prioritaria può essere abilitata nelle distribuzioni standard globali o nelle distribuzioni standard della zona dati (US). Per informazioni sui prezzi, vedere la pagina dei prezzi di Azure OpenAI.

Abilitare l'elaborazione delle priorità a livello di distribuzione

È possibile abilitare l'elaborazione della priorità a livello di distribuzione e (facoltativamente) a livello di richiesta.

Nel portale Microsoft Foundry, attivare l'interruttore Priority processing nella pagina dei dettagli della distribuzione quando si crea la distribuzione o aggiornare le impostazioni di un modello distribuito modificando i dettagli della distribuzione.

Dopo aver configurato una distribuzione del modello per l'uso dell'elaborazione prioritaria, si può iniziare a inviare richieste al modello.

Visualizzare le metriche di utilizzo

È possibile visualizzare la misura di utilizzo per la risorsa nella sezione Monitoraggio di Azure del portale di Azure.

Per visualizzare il volume di richieste elaborate dall'elaborazione standard rispetto all'elaborazione con priorità, suddivise per il livello di servizio (standard o priorità) presente nella richiesta originale:

1. Accedere a https://portal.azure.com.
2. Passare alla risorsa OpenAI Azure e selezionare l'opzione Metrics dal riquadro di spostamento a sinistra.
3. Nella pagina delle metriche, aggiungere la metrica richieste di Azure OpenAI. È anche possibile selezionare altre metriche come Azure latenza OpenAI, Azure utilizzo OpenAI e altri.
4. Selezionare Aggiungi filtro per selezionare la distribuzione standard per la quale sono state elaborate le richieste di elaborazione prioritarie.
5. Selezionare Applica suddivisione per suddividere i valori per ServiceTierRequest e ServiceTierResponse.

Per altre informazioni sul monitoraggio delle distribuzioni, vedere Monitor Azure OpenAI.

Monitorare i costi

È possibile visualizzare una suddivisione dei costi per le richieste di priorità e standard nella pagina di analisi dei costi del portale di Azure filtrando il nome della distribuzione e i tag di fatturazione come indicato di seguito:

1. Passare alla pagina di analisi dei costi nel portale Azure.
2. (Facoltativo) Filtrare in base alla risorsa.
3. Per filtrare in base al nome della distribuzione: aggiungi un filtro per il tag> di fatturazione, seleziona la distribuzione come valore, quindi scegli il nome della tua distribuzione.

Per informazioni sui prezzi dell'elaborazione prioritaria, vedere la panoramica dei prezzi di Servizio Azure OpenAI.

Abilitare l'elaborazione della priorità a livello di richiesta

L'abilitazione dell'elaborazione della priorità a livello di richiesta è facoltativa. Sia l'API di completamento della chat che l'API delle risposte hanno un attributo service_tier facoltativo che specifica il tipo di elaborazione da usare per la gestione di una richiesta. Nell'esempio seguente viene illustrato come impostare service_tier su priority in una richiesta di risposta.

curl -X POST https://YOUR-RESOURCE-NAME.openai.azure.com/openai/v1/responses \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $AZURE_OPENAI_AUTH_TOKEN" \
  -d '{
     "model": "gpt-4.1",
     "input": "This is a test",
     "service_tier": "priority"
    }'

Usare l'attributo service_tier per eseguire l'override dell'impostazione a livello di distribuzione. service_tier può accettare i valori auto, defaulte priority.

• Se non si imposta l'attributo, per impostazione predefinita viene impostato su auto.

• service_tier = auto indica che la richiesta usa il livello di servizio configurato nella distribuzione.

• service_tier = default indica che la richiesta usa i prezzi e le prestazioni standard per il modello selezionato.

• service_tier = priority indica che la richiesta utilizza il livello di servizio a priorità elevata.

La tabella seguente riepiloga il livello di servizio che elabora le richieste in base alle impostazioni a livello di distribuzione e a livello di richiesta per service_tier.

Limitazioni

• Il servizio attualmente non supporta le distribuzioni standard regionali e le distribuzioni standard dell'area dati dell'UE.

• Il servizio potrebbe reindirizzare nuovamente alcune richieste di priorità all'elaborazione standard* durante questi scenari:

  • Se aumenta rapidamente i token di elaborazione delle priorità al minuto, è possibile raggiungere i limiti di frequenza delle rampe. Attualmente, il limite di velocità di rampa viene definito come aumento del traffico di oltre 50% token al minuto in meno di 15 minuti.
  • Durante i periodi di picco delle richieste di elaborazione prioritaria.
  • Richieste di contesto lunghe inviate a determinati modelli elencati nella tabella di destinazione della latenza.

  Suggerimento

  Se si riscontrano regolarmente limiti di velocità di ramp-up, prendere in considerazione l'acquisto di PTU anziché o oltre all'elaborazione prioritizzata.

  * Il servizio fattura le richieste elaborate dal livello di servizio standard a tariffe standard. Le richieste elaborate dal livello di servizio standard includono service_tier = default nella risposta, mentre le richieste elaborate dal livello di elaborazione prioritario includono service_tier = priority nella risposta.

Risoluzione dei problemi

Contenuto correlato

• Throughput preconfigurato
• Gestione del traffico di spillover
• Tipi di distribuzione
• Monitoraggio Azure OpenAI
• Informazioni sui costi associati alla PTU