Configurar e editar tarefas no Lakeflow Jobs

Este artigo se concentra em instruções para criar, configurar e editar tarefas usando a interface do usuário do espaço de trabalho Jobs & Pipelines .

O Azure Databricks gere tarefas como componentes dos Lakeflow Jobs. Um trabalho tem uma ou mais tarefas. Você cria um novo trabalho na interface do usuário do espaço de trabalho configurando a primeira tarefa. Para configurar um novo trabalho, consulte Configurar e editar trabalhos do Lakeflow.

Cada tarefa tem um recurso de computação associado que executa a lógica da tarefa. Se estiver a usar serverless, o Azure Databricks configura os seus recursos de computação. Se você não estiver usando serverless, consulte Configurar computação para trabalhos.

O Azure Databricks tem outros pontos de entrada e ferramentas para configuração de tarefas, incluindo as seguintes:

• Referência da API REST de tarefas
• Databricks CLI
• Criar e gerir tarefas agendadas de blocos de anotações

Criar ou configurar uma tarefa

Para editar uma tarefa existente ou adicionar uma nova tarefa com a interface do usuário do espaço de trabalho, selecione um trabalho existente usando as seguintes etapas:

1. Na barra lateral do seu espaço de trabalho do Azure Databricks, clique em Jobs & Pipelines.
2. Opcionalmente, selecione os filtros Trabalhos e Propriedade de mim .
3. Clique no link Nome da sua vaga.
4. Clique na guia Tarefas . O gráfico de tarefas é exibido.
5. Para editar uma tarefa, clique no nome da tarefa. A configuração da tarefa aparece abaixo do gráfico de tarefas.
6. Para adicionar uma tarefa, clique em .

Tipos de tarefas

As opções de configuração e as instruções variam de acordo com a tarefa. Os seguintes tipos de tarefas estão disponíveis:

• Bloco de Notas
• Python script
• wheel Python
• SQL
• Gasoduto
• SQL Alert (Beta)
• Painéis
• Power BI
• DBT
• Plataforma dbt (Beta)
• JAR
• Enviar faísca
• Executar tarefa
• If/else
• Para cada

Clone uma tarefa

Clonar tarefas para copiar todas as configurações de uma tarefa existente, incluindo dependências upstream.

Para clonar uma tarefa, faça o seguinte:

1. Selecione a tarefa no gráfico de tarefas.
2. Clique em .
3. Especifique um nome de tarefa clonada e clique em Clonar.

Desativar uma tarefa

Desativar uma tarefa para que seja ignorada em tempo de execução sem removê-la do processo. A tarefa mantém a sua configuração e histórico de execução, por isso podes reativar mais tarde sem reconstruir a tarefa.

Cenários comuns para desativar uma tarefa incluem os seguintes:

• Excluir temporariamente uma tarefa enquanto se depura um problema a montante sem perder as definições da tarefa.
• Pausar uma tarefa falhada para que o resto do trabalho continue a correr de acordo com o cronograma.
• Manter o Grafo Acíclico Dirigido (DAG) e o histórico de execução do trabalho intactos ao decidir se remove ou não uma tarefa.

Para desativar uma tarefa num trabalho:

1. Abra o job e selecione a tarefa no DAG.
2. Clica para desativar a tarefa.

Para reativar uma tarefa desativada, selecione a tarefa e clique em .

Para saltar uma tarefa durante uma única execução sem alterar as definições do trabalho, use Executar um trabalho com definições diferentes .

Para saber como as tarefas desativadas afetam as tarefas a jusante, reparações e execuções parciais, veja Tarefas desativadas em Lakeflow Jobs.

Excluir uma tarefa

Para excluir uma tarefa, faça o seguinte:

1. Selecione a tarefa no gráfico de tarefas.
2. Clique e selecione Apagar tarefa.

Para manter a configuração da tarefa e o histórico de execução em vez de a apagar, desative a tarefa.

Copiar um caminho de tarefa

Certos tipos de tarefas, por exemplo, tarefas de bloco de anotações, permitem copiar o caminho para o código-fonte da tarefa:

1. Clique na guia Tarefas .
2. Selecione a tarefa que contém o caminho a ser copiado.
3. Clique ao lado do caminho da tarefa para copiá-lo para a área de transferência.

Configurações avançadas de tarefas

As configurações avançadas a seguir controlam novas tentativas para tarefas com falha e políticas de tempo limite para tarefas que não respondem.

Definir uma política de repetição

A configuração padrão para novas tentativas de tarefas depende da configuração do trabalho. Para a maioria das configurações, a configuração padrão não tenta novamente nenhuma tarefa em caso de falha de tarefa.

Os trabalhos sem servidor otimizam automaticamente as novas tentativas por padrão. Consulte Configurar a otimização automática de computação sem servidor para não permitir novas tentativas

Os trabalhos contínuos usam uma política de backoff exponencial para novas tentativas. Consulte Como as falhas são tratadas para trabalhos contínuos?.

Para configurar uma política que determine quando e quantas vezes as execuções de tarefas com falha são repetidas, clique em + Adicionar ao lado de Tentativas.

O intervalo de repetição é calculado em milissegundos entre o início da execução com falha e a execução de repetição subsequente.

Configurar limites para a duração de execução de tarefas ou métricas de atraso de processamento de streaming

Você pode configurar limites opcionais para a duração da execução da tarefa ou métricas de lista de pendências de streaming. Para configurar limites de duração ou de métricas de streaming, clique em Limites de métrica no painel de configuração da tarefa.

Para configurar os limites de duração da tarefa, incluindo os tempos de conclusão esperados e máximos da tarefa, selecione Duração da execução no menu suspenso Métrica. Insira uma duração no campo Aviso para configurar o tempo esperado de conclusão das tarefas. Se a execução da tarefa exceder esse limite, um evento será acionado. Para configurar um tempo máximo de conclusão de uma tarefa, insira a duração máxima no campo Tempo limite . Se a tarefa não for concluída nesse tempo, o Azure Databricks define o seu estado para "Esgotado".

Para configurar um limite para uma métrica de lista de pendências de streaming, selecione a métrica no menu suspenso Métrica e insira um valor para o limite. Para saber mais sobre as métricas específicas suportadas por uma fonte de streaming, consulte Exibir métricas para tarefas de streaming.

Insira uma duração no campo Aviso para configurar o tempo esperado de conclusão da tarefa. Se a tarefa exceder esse limite, um evento será acionado. Você pode usar esse evento para notificar quando uma tarefa está sendo executada lentamente. Consulte Configurar notificações para trabalhos lentos.

Para configurar um tempo máximo de conclusão de uma tarefa, insira a duração máxima no campo Tempo limite . Se a tarefa não for concluída nesse tempo, o Azure Databricks define o seu estado para "Esgotado".

Se um evento for acionado porque um limite é excedido, você pode usar o evento para enviar uma notificação. Consulte Configurar notificações para trabalhos lentos.