Monitorar pipelines na interface do usuário

Esta seção descreve o uso de recursos internos de monitoramento e observabilidade para Lakeflow Spark Declarative Pipelines na interface do usuário do Azure Databricks. Esses recursos suportam tarefas como:

• Supervisão do progresso e do estado das atualizações do pipeline. Consulte Detalhes do pipeline disponíveis na página de monitoramento.
• Alertar sobre eventos de pipeline, como o sucesso ou insucesso de atualizações do pipeline. Ver Adicionar notificações por e-mail para eventos de pipeline.
• Visualização de métricas para fontes de streaming como Apache Kafka e Auto Loader (Public Preview). Consulte Ver métricas de streaming.

Adicionar notificações por e-mail para eventos de pipeline

Você pode configurar um ou mais endereços de e-mail para receber notificações quando ocorrer o seguinte:

• O processo de atualização do pipeline é concluído com êxito.
• Uma atualização do pipeline falha, seja com um erro que pode ser repetido ou irrecuperável. Selecione esta opção para receber uma notificação para todas as falhas de pipeline.
• Uma atualização de pipeline falha com um erro não recorrível (fatal). Selecione esta opção para receber uma notificação somente quando ocorrer um erro não recorrível.
• Um único fluxo de dados falha.

Para configurar notificações por e-mail, edite as configurações de um pipeline. Consulte Notificações.

Exibindo pipelines na interface do utilizador

Encontre seu pipeline no Opção Jobs & Pipelines na barra lateral do espaço de trabalho. Isso abre a página Jobs & pipelines , onde você pode exibir informações sobre cada trabalho e pipeline ao qual você tem acesso. Clique no nome de um pipeline para abrir a página de monitorização do pipeline. Para editar o trabalho ou pipeline, clique no e escolha Editar.

Como utilizar a lista de Jobs & pipelines

Para exibir a lista de pipelines aos quais você tem acesso, clique no Jobs & Pipelines na barra lateral. A aba Jobs & pipelines lista informações sobre todos os trabalhos e pipelines disponíveis, como o criador, o gatilho (se houver) e o resultado das últimas cinco execuções.

Clicar no nome de um pipeline ou tarefa leva-o(a) à página de monitorização desse pipeline ou tarefa. Para editar o pipeline ou trabalho, clique no ícone do e selecione Editar.

Para alterar as colunas exibidas na lista, clique no e selecione ou desmarque colunas. Por exemplo, para adicionar a Pipeline Type como uma coluna, selecione essa coluna para exibir.

Você pode filtrar trabalhos na lista Jobs & pipelines , conforme mostrado na captura de tela a seguir.

1. Pesquisa de texto: a pesquisa por palavra-chave é suportada para os campos Nome e ID . Para pesquisar uma tag criada com uma chave e um valor, você pode pesquisar pela chave, pelo valor ou pela chave e pelo valor. Por exemplo, para uma tag com a chave department e o valor finance, pode pesquisar department ou finance para encontrar trabalhos correspondentes. Para pesquisar pela chave e pelo valor, insira a chave e o valor separados por dois pontos (por exemplo, department:finance).
2. Tipo: filtrar por Trabalhos, Pipelines ou Todos. Se você selecionar Pipelines , também poderá filtrar por tipo de Pipeline, que inclui ETL e Ingestion pipelines.
3. Proprietário: mostre apenas os trabalhos que você possui.
4. Favoritos: mostra os trabalhos que você marcou como favoritos.
5. Etiquetas: Usar etiquetas. Para pesquisar por etiqueta, pode utilizar o menu pendente de etiquetas para filtrar até cinco etiquetas ao mesmo tempo ou usar diretamente a pesquisa por palavra-chave.
6. Executar como: Filtrar por até dois run as valores.

Para iniciar um trabalho ou um pipeline, clique no botão . Para interromper um trabalho ou um pipeline, clique no botão . Para aceder a outras ações, clique no . Por exemplo, pode editar ou excluir a tarefa ou o pipeline, ou aceder às configurações de um pipeline a partir desse menu.

Detalhes do pipeline disponíveis na página de monitoramento

Clicar no nome de um pipeline na página Jobs & Pipelines mostra a página de monitoramento desse pipeline. A partir daqui, você pode iniciar uma execução de pipeline e visualizar os detalhes da execução anterior.

O grafo de pipeline, também chamado de grafo acíclico direcionado (DAG), aparece assim que uma atualização de um pipeline é iniciada com sucesso. As setas representam dependências entre conjuntos de dados em seu pipeline. Por predefinição, a página de monitorização de pipeline mostra a atualização mais recente para a tabela, mas você pode selecionar atualizações mais antigas num menu suspenso.

O painel direito mostra os detalhes do pipeline no topo, incluindo o ID do pipeline, o custo de computação, a edição do produto e o canal. Os detalhes de atualização aparecem abaixo dos detalhes do oleoduto. Para aceder ao código-fonte do pipeline, clique em Editar pipeline no topo da página. Para navegar até ao código de uma tabela específica, passe o rato sobre a tabela no gráfico do pipeline e clique Navega até ao código.

Para ver uma exibição tabular de conjuntos de dados, clique na guia Lista . O modo de exibição Lista permite que você veja todos os conjuntos de dados em seu pipeline representados como uma linha em uma tabela e é útil quando o gráfico de pipeline é muito grande para ser visualizado no modo de exibição Gráfico . Você pode controlar os conjuntos de dados exibidos na tabela usando vários filtros, como nome, tipo e status do conjunto de dados. Para voltar ao gráfico do pipeline, clique em Graph.

O usuário Executar como é o proprietário do pipeline e as atualizações do pipeline são executadas com as permissões desse usuário. Para substituir o utilizador run as, clique em Permissões e altere o proprietário do pipeline.

Quais são as mudanças na pré-visualização da Lista de Execuções Unificadas?

Se tiver a pré-visualização da Lista de Execuções Unificadas ativada, poderá consultar as atualizações de execução de pipeline na página Trabalhos e Pipelines.

Para acessar a lista de execuções unificadas, selecione o É executado a partir da barra lateral do espaço de trabalho ou do ícone Clique em Jobs & Pipelines e, em seguida, escolha a guia Execuções .

A guia mostra uma lista de execuções recentes nos últimos 60 dias. Um gráfico mostrando o sucesso e a falha das execuções nas últimas 48 horas é exibido primeiro, nos seguintes casos:

• Está filtrado apenas por Jobs ou Pipelines.
• Você é um administrador, ou a opção é filtrar apenas para processos em execução Run as: Me
• As execuções podem levar até uma hora para serem exibidas no gráfico.

Você pode filtrar a lista e o gráfico por:

• Nome do trabalho ou pipeline.
• Todos, Tarefas ou Pipelines.
• Tipo de pipeline (ETL, Ingestão, MV/ST ou Sincronização de Tabela de Base de Dados).
• O Executar como usuário.
• A hora de início da execução (nas últimas 48 horas).
• O Estado de execução.
• O código de erro para execuções com falha.

Além disso, você pode visualizar as seguintes colunas na lista:

• Hora de fim
• ID de execução
• Se a execução foi iniciada manualmente ou por uma agenda.
• Execute Duração.
• Executar parâmetros.

Para alterar as colunas exibidas na lista de execuções, clique no e selecione ou desselecione colunas.

Clicar em Hora de início, Hora de término ou Nome de uma execução de pipeline leva você à página de monitoramento do pipeline.

Quando um pipeline está em execução ativa, você pode interrompê-lo clicando no A qualquer momento, pode também clicar no no botão de menu da linha para a execução e escolher Editar pipeline para visualizar o pipeline no editor.

Como você pode visualizar os detalhes do conjunto de dados?

Clicar num conjunto de dados no gráfico de pipeline ou na lista de conjuntos de dados mostra informações sobre o conjunto de dados no painel inferior. O painel direito continua a mostrar o pipeline e a atualizar os detalhes.

• Esquema: Escolha a tabela no separador Tabelas do painel inferior e selecione Colunas.
• Métricas de qualidade dos dados: Visíveis no painel inferior quando uma tabela é selecionada.
• Código-fonte: Para navegar até ao código de uma tabela específica, passe o rato sobre a tabela no gráfico do pipeline e clique no Navegar até ao botão de código .
• Histórico de consultas: Selecione Performance no painel inferior.
• Comentários da tabela: Os comentários das tabelas não estão disponíveis na página de detalhes do oleoduto. Para ver comentários de tabelas, abra a tabela no Explorador de Catálogos. Para navegar diretamente até à tabela, passe o rato por cima dela no gráfico do pipeline, clique e depois clique no Ver no catálogo. Para aceder ao Explorador de Catálogos a partir da lista de tabelas no painel inferior, clique no ícone.

Ver histórico de atualizações

Para visualizar o histórico e o estado das atualizações do pipeline, clique no menu suspenso de histórico de atualizações na barra superior.

Selecione a atualização no menu suspenso para visualizar um gráfico, os detalhes e os eventos dessa atualização. Para regressar à atualização mais recente, clique em Mostrar a atualização mais recente.

Ver métricas de streaming

Você pode visualizar métricas de streaming das fontes de dados suportadas pelo Spark Structured Streaming, como Apache Kafka, Amazon Kinesis, Auto Loader e tabelas Delta, para cada fluxo de streaming em seu pipeline. As métricas são exibidas como gráficos no painel direito da IU do pipeline e incluem segundos de atraso, bytes de atraso, registos de atraso e ficheiros de atraso. Os gráficos exibem o valor máximo agregado por minuto e uma dica de ferramenta mostra os valores máximos quando você passa o mouse sobre o gráfico. Os dados estão limitados às últimas 48 horas a partir da hora atual.

As tabelas no seu pipeline com métricas de streaming disponíveis exibem o ícone do ao visualizar o gráfico do pipeline na vista UI Graph . Para visualizar as métricas de streaming, clique no para exibir o gráfico de métricas de streaming na guia Fluxos no painel direito. Você também pode aplicar um filtro para exibir apenas tabelas com métricas de streaming clicando em Lista e, em seguida, clicando em Possui métricas de streaming.

Cada fonte de streaming suporta apenas métricas específicas. As métricas não suportadas por uma fonte de streaming não estão disponíveis para visualização na interface do usuário. A tabela a seguir mostra as métricas disponíveis para fontes de streaming suportadas: