Automatizando trabalhos com agendas e gatilhos

Em Trabalhos do Lakeflow, é possível configurar trabalhos para disparar automaticamente em qualquer uma das seguintes situações:

  • Em uma agenda com base no tempo
  • Quando da chegada de arquivos a um local de armazenamento do Unity Catalog
  • Continuamente

Você também pode disparar execuções de tarefas manualmente ou por meio de ferramentas de orquestração externas.

Agendamentos e gatilhos de trabalho

Tipo de gatilho Comportamento
Agendado Aciona uma execução de tarefa com base em um cronograma baseado em tempo. Consulte Execução de trabalhos agendados.
Atualização da tabela Inicia uma execução de uma tarefa quando as tabelas de origem são atualizadas. Consulte trabalhos de gatilho quando as tabelas de origem são atualizadas.
Chegada do arquivo Dispara a execução de um trabalho quando novos arquivos chegam a um local de armazenamento monitorado do Catálogo do Unity. Veja Acione trabalhos quando novos arquivos chegam.
Contínuo Para manter a tarefa sempre em execução, inicie outra execução de tarefa sempre que uma for concluída ou falhar. Veja Execução contínua de trabalhos.
Nenhum (manual) As execuções são disparadas manualmente com o botão Executar agora ou programaticamente usando outras ferramentas de orquestração. Consulte Acionar execução de uma única tarefa

Por padrão, apenas uma única execução de um trabalho pode estar ativa por vez. No entanto, é possível aumentar esse limite nas configurações avançadas. As corridas são ignoradas quando excedem a simultaneidade máxima configurada para uma tarefa. Consulte Configurar o máximo de execuções simultâneas.

Configurar um gatilho em uma tarefa

  1. Abra a tarefa onde você deseja configurar um gatilho.

  2. No painel Detalhes do trabalho , role para baixo até a seção Agendas &Gatilhos e clique em Adicionar gatilho.

  3. Em Agendas & Gatilhos, selecione o tipo de gatilho que você deseja configurar: Agendado, Atualização de Tabela, Chegada de arquivo ou Contínuo.

    Com base no tipo de gatilho, outras opções também estão disponíveis para configuração.

  4. Clique em Salvar. Depois de salvar o gatilho, seu trabalho será iniciado somente quando um novo arquivo chegar no local configurado.

Observação

Se uma ou mais tarefas em um trabalho de várias tarefas não forem bem-sucedidas, execute novamente o subconjunto de tarefas malsucedidas. Consulte Reexecutar tarefas falhas e ignoradas.

Pausar e retomar gatilhos de trabalho

Você pode pausar e retomar seus trabalhos no painel Detalhes do trabalho em Agendas e Gatilhos. Os botões Pausar e Retomar aparecem apenas para trabalhos que têm um gatilho configurado.

Para pausar qualquer gatilho de trabalho ativo, clique em Pausar. Quando você pausa um gatilho, todas as execuções ativas no momento continuam, mas o gatilho não inicia mais novas execuções.

Para retomar o gatilho, clique em Retomar. Quando você retoma um gatilho, o comportamento configurado é retomado no mesmo agendamento configurado anteriormente.

Ao criar ou editar um gatilho, você também pode controlar essas configurações na caixa de diálogo Programações e gatilhos. Alterne entre Ativo e Pausado para controlar o Status do Disparador.

Observação

Se uma execução estiver ativa quando um gatilho contínuo for retomado, o agendador de trabalho aguardará até que essa execução seja concluída para disparar uma nova execução.