Condividi tramite


Incolonnamento dei lavori in Apache Spark per Microsoft Fabric

Si applica a:✅ Ingegneria dei dati e data science di Fabric

Microsoft Fabric supporta la coda per i processi Spark in background quando la capacità raggiunge i limiti di calcolo. I lavori in coda vengono ritentati automaticamente finché non vengono avviati o scadono.

Quando la capacità è disponibile, i processi iniziano immediatamente. Quando la capacità è completamente utilizzata, il comportamento dipende dal tipo di lavoro e dall'adeguatezza alla coda.

Per altre informazioni sui limiti di concorrenza, vedere Limiti di concorrenza e accodamento in Apache Spark per Microsoft Fabric.

Cosa viene accodato

Messa in coda è supportata per:

  • Processi del notebook attivati dalle pipeline.
  • Attività notebook attivate dallo schedulatore.
  • Esecuzioni di definizione processo Spark attivate da pipeline o utilità di pianificazione.

La coda non è supportata per:

  • Attività di notebook interattivi.
  • Processi notebook attivati tramite l'API pubblica del notebook.

La coda utilizza l'ordine FIFO (First In, First Out).

Nota

La coda non è supportata quando la capacità dell'infrastruttura è in uno stato limitato. I nuovi lavori inviati vengono rifiutati.

Funzionamento dell'accodamento dei lavori

Se un job inviato è idoneo per la coda e la capacità del Fabric è al massimo della capacità di calcolo, il job viene aggiunto alla coda FIFO.

Per accodare i notebook tramite un trigger della pipeline, configura una pipeline di Data Factory con un'attività notebook. Per informazioni sulla configurazione, vedere Avvio rapido: Creare la prima pipeline per copiare dati e Attività Notebook.

Seguire questi passaggi per accodare un notebook da una pipeline:

  1. Creare un nuovo elemento Pipeline e aggiungere un'attività Notebook per eseguire il notebook.

  2. Selezionare l'attività Notebook, aprire la scheda Impostazioni, scegliere il notebook da mettere in coda e quindi eseguire la pipeline.

    Screenshot che mostra come eseguire un notebook da una pipeline.

  3. Il lavoro entra nella coda FIFO. Nell'hub di monitoraggio il processo viene visualizzato come Non avviato mentre attende la capacità.

  4. Quando i processi in esecuzione sono completati e liberano risorse, i processi in coda vengono avviati. All'avvio dell'esecuzione, lo stato passa da Non avviato a In corso.

Nota

Le voci della coda scadono 24 ore dopo l'ammissione alla coda. I lavori scaduti devono essere inviati di nuovo.

Dimensioni della coda

Spark di Fabric impone i limiti della coda in base agli SKU di capacità.

SKU di capacità di Fabric SKU di Power BI equivalente Limite della coda
F2 - 4
F4 - 4
F8 - 8
F16 - 16
F32 - 32
F64 P1 64
F128 P2 128
F256 P3 256
F512 P4 512
F1024 - 1024
F2048 - 2048
Capacità della versione di valutazione P1 Non disponibile

Nota

Il queueing non è supportato per le capacità di prova di Fabric. Per usare la coda, passare a uno SKU F o P di Fabric a pagamento.

Quando una capacità raggiunge il limite di coda, i nuovi invii vengono rifiutati con TooManyRequestsForCapacity (HTTP 430). Per continuare, annullare i processi Spark attivi, scegliere uno SKU di capacità maggiore o inviarlo di nuovo in un secondo momento.