Abilitare l'elaborazione della priorità per i modelli di Microsoft Foundry

L'elaborazione prioritaria offre prestazioni a bassa latenza con la flessibilità del pagamento in base al consumo. In questo articolo viene abilitata l'elaborazione delle priorità in una distribuzione del modello, si verifica il livello di servizio che ha elaborato le richieste e si monitorano i costi associati.

Prerequisiti

• Sottoscrizione di Azure : Crearne una gratuitamente.
• Un progetto Microsoft Foundry con un modello del tipo di distribuzione GlobalStandard o DataZoneStandard distribuito.
• Versione 2025-12-01 dell'API o successiva.

Casi d'uso chiave

• Latenza coerente e bassa per le esperienze utente reattive.
• Semplicità con pagamento in base al consumo senza impegni a lungo termine.
• Traffico in ore lavorative o con picchi che trae vantaggio da prestazioni scalabili e convenienti. Facoltativamente, è possibile combinare l'elaborazione prioritaria con le Provisioned Throughput Units (PTU) per la capacità allo stato stazionario e l'ottimizzazione dei costi.

Obiettivo di latenza

¹ Le richieste di lungo contesto (ovvero le richieste stimate a più di 128k token prompt) verranno declassate all'elaborazione standard e verranno addebitate le tariffe del livello standard.

² Calcolata come latenza di richiesta p50 su base 5 minuti.

Supporto per l'elaborazione prioritaria

Abilitare il processamento prioritario a livello di distribuzione

È possibile abilitare l'elaborazione della priorità a livello di distribuzione e (facoltativamente) a livello di richiesta.

Nel portale di Microsoft Foundry attivare l'interruttore Elaborazione priorità nella pagina dei dettagli della distribuzione quando si crea la distribuzione o si aggiorna l'impostazione di un modello distribuito modificando i dettagli della distribuzione.

Dopo aver impostato una distribuzione del modello per l'uso dell'elaborazione prioritaria, è possibile iniziare a inviare richieste al modello.

Visualizzare le metriche di utilizzo

È possibile visualizzare la misura di utilizzo per la risorsa nella sezione Monitoraggio Azure del Azure portal.

Per visualizzare il volume di richieste elaborate dall'elaborazione standard rispetto all'elaborazione con priorità, suddivise per il livello di servizio (standard o priorità) presente nella richiesta originale:

1. Accedere a https://portal.azure.com.
2. Passare alla risorsa OpenAI Azure e selezionare l'opzione Metrics dal riquadro di spostamento a sinistra.
3. Nella pagina delle metriche aggiungi la metrica richieste Azure OpenAI. È anche possibile selezionare altre metriche come Azure latenza OpenAI, Azure utilizzo OpenAI e altri.
4. Selezionare Aggiungi filtro per selezionare la distribuzione standard per la quale sono state elaborate le richieste di elaborazione prioritarie.
5. Selezionare Applica suddivisione per suddividere i valori per ServiceTierRequest e ServiceTierResponse.

Per altre informazioni sul monitoraggio delle distribuzioni, vedere Monitor Azure OpenAI.

Monitorare i costi

È possibile visualizzare una suddivisione dei costi per le richieste di priorità e standard nella pagina di analisi dei costi di Azure portal filtrando in base al nome della distribuzione e ai tag di fatturazione come indicato di seguito:

1. Passare alla pagina di analisi dei costi nel Azure portal.
2. (Facoltativo) Filtrare in base alla risorsa.
3. Per filtrare in base al nome della distribuzione: aggiungere un filtro per il tag> di fatturazione, selezionare distribuzione come valore e quindi scegliere il nome della distribuzione.

Per informazioni sui prezzi per l'elaborazione prioritaria, vedere la panoramica dei prezzi Azure OpenAI Service.

Abilitare l'elaborazione della priorità a livello di richiesta

L'abilitazione dell'elaborazione della priorità a livello di richiesta è facoltativa. Sia l'API di completamento della chat che l'API delle risposte hanno un attributo service_tier facoltativo che specifica il tipo di elaborazione da usare per la gestione di una richiesta. Nell'esempio seguente viene illustrato come impostare service_tier su priority in una richiesta di risposta.

curl -X POST https://YOUR-RESOURCE-NAME.openai.azure.com/openai/v1/responses \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $AZURE_OPENAI_AUTH_TOKEN" \
  -d '{
     "model": "gpt-4.1",
     "input": "This is a test",
     "service_tier": "priority"
    }'

Usare l'attributo service_tier per eseguire l'override dell'impostazione a livello di distribuzione. service_tier può accettare i valori auto, defaulte priority.

• Se non si imposta l'attributo, per impostazione predefinita viene impostato su auto.

• service_tier = auto indica che la richiesta usa il livello di servizio configurato nella distribuzione.

• service_tier = default indica che la richiesta usa i prezzi e le prestazioni standard per il modello selezionato.

• service_tier = priority indica che la richiesta usa il servizio di elaborazione prioritario.

La tabella seguente riepiloga il livello di servizio che elabora le richieste in base alle impostazioni a livello di distribuzione e a livello di richiesta per service_tier.

Limitazioni

• Il servizio attualmente non supporta le distribuzioni standard regionali e le distribuzioni standard dell'area dati dell'UE.

• Il servizio potrebbe reindirizzare nuovamente alcune richieste di priorità all'elaborazione standard* durante questi scenari:

  • Se aumenti rapidamente il numero di token di elaborazione delle priorità al minuto, potresti raggiungere i limiti di velocità di incremento della rampa. Attualmente, il limite di frequenza viene definito come un aumento del traffico superiore al 50% di token al minuto in meno di 15 minuti.
  • Durante i periodi di picco delle richieste di elaborazione prioritaria.
  • Richieste di contesto lunghe inviate a determinati modelli elencati nella tabella di destinazione della latenza.

  Suggerimento

  Se si raggiungono regolarmente i limiti di frequenza, valutare l'acquisto di PTU in sostituzione o in aggiunta all'elaborazione prioritaria.

  * Il servizio fattura le richieste elaborate dal livello di servizio standard a tariffe standard. Le richieste elaborate dal livello di servizio standard includono service_tier = default nella risposta, mentre le richieste elaborate dal livello di elaborazione prioritario includono service_tier = priority nella risposta.

Risoluzione dei problemi

Contenuti correlati

• Throughput assegnato
• Gestione del traffico di spillover
• Tipi di distribuzione
• Monitoraggio Azure OpenAI
• Informazioni sui costi associati alla PTU