Enfileiramento de trabalhos no Apache Spark para Microsoft Fabric

Aplica-se a:✅ Engenharia de Dados de Tecido e Ciência de Dados

O Microsoft Fabric suporta filas para trabalhos Spark em segundo plano quando a capacidade atinge os limites de computação. Os trabalhos em fila são retentados automaticamente até começarem ou expirarem.

Quando há capacidade disponível, os trabalhos começam imediatamente. Quando a capacidade está totalmente utilizada, o comportamento depende do tipo de trabalho e da elegibilidade da fila.

Para saber mais sobre limites de concorrência, consulte Limites de concorrência e filas no Apache Spark para Microsoft Fabric.

O que fica em fila

A gestão de fila é suportada para:

  • Trabalhos de notebook desencadeados por pipelines.
  • Trabalhos de caderno desencadeados pelo agendador.
  • A Definição de Trabalho Spark é acionada por pipelines ou agendador.

Filas de espera não são suportadas para:

  • Tarefas em cadernos interativos.
  • Trabalhos de notebook ativados através da API pública de notebooks.

A fila utiliza a ordem de primeiro a entrar, primeiro a sair (FIFO).

Nota

A fila não é suportada quando a capacidade do Fabric está num estado de limitação. Novos empregos submetidos são rejeitados.

Como funciona a fila de trabalhos

Se um trabalho submetido for elegível para fila e a capacidade do Fabric estiver no máximo de utilização de computação, o trabalho é adicionado à fila FIFO.

Para a enfileiramento de blocos de notas através de um gatilho de pipeline, configura-se um pipeline do Data Factory com uma atividade de bloco de notas. Para aprender esta configuração, consulte Início Rápido: Crie o seu primeiro pipeline para copiar dados e a atividade do Notebook.

Use estes passos para colocar um caderno em fila a partir de um pipeline:

  1. Crie um novo item Pipeline e adicione uma atividade de Notebook para executar o notebook.

  2. Selecione a atividade do Caderno, abra o separador Definições, escolha o caderno que quiser colocar na fila e depois Execute o pipeline.

    Captura de ecrã a mostrar como executar um notebook num pipeline.

  3. O trabalho entra na fila FIFO. No hub de monitorização, o trabalho aparece como Não iniciado enquanto espera pela capacidade.

  4. À medida que os trabalhos em execução são completados e os recursos ficam disponíveis, os trabalhos em fila são iniciados. Quando a execução começa, o estado muda de Não iniciado para Em Progresso.

Nota

As inscrições na fila expiram 24 horas após a entrada na fila. Empregos expirados devem ser reenviados.

Tamanhos das filas

O Fabric Spark impõe limites de fila por capacidade SKU.

Capacidade de malha SKU Equivalente SKU do Power BI Limite de fila
F2 - 4
F4 - 4
F8 - 8
F16 - 16
F32 - 32
F64 P1 64
F128 P2 128
F256 P3 256
F512 P4 512
F1024 - 1024
F2048 - 2048
Capacidade de Teste P1 Não disponível

Nota

As filas não são suportadas para capacidades de teste do Fabric. Para utilizar o gestão de filas, mude para um SKU Fabric F ou P pago.

Quando uma capacidade atinge o limite da fila, novas submissões são rejeitadas com TooManyRequestsForCapacity (HTTP 430). Para continuar, cancele trabalhos ativos no Spark, escolha um SKU de maior capacidade ou submeta novamente mais tarde.

Conteúdos relacionados

  • Last updated on