Módulo 3: Orquestar e automatizar com um pipeline

Podes completar este módulo em cerca de 15 minutos. Nesta parte final do tutorial, crias um pipeline que orquestra o trabalho Copy e (opcionalmente) o fluxo de dados que construíste nos Módulos 1 e 2, envias uma notificação por email quando todos os jobs estão concluídos e agendas o pipeline para correr automaticamente.

Pré-requisitos

Criar uma canalização

Primeiro, cria um pipeline para orquestrar o trabalho de Cópia que já criaste.

  1. A partir do seu espaço de trabalho, selecione + Novo item, depois procure e escolha Pipeline.

    Captura de ecrã da página inicial da Data Factory com o botão para criar um novo item e o Data Pipeline selecionado.

  2. Forneça um nome de pipeline. Em seguida, selecione Criar.

Adicione a sua atividade de cópia

  1. No canvas do pipeline, selecione o separador Atividades , Copiar dados e depois Adicionar atividade de trabalho de cópia.

    Captura de ecrã do canvas do pipeline Data Factory, com a janela de atividade aberta e a atividade de cópia adicionada selecionada.

  2. Selecione a atividade de cópia no painel do pipeline, depois selecione o separador Definições abaixo do painel.

    Captura de ecrã do quadro do pipeline com a atividade de cópia de trabalho destacada e a aba de definições destacada.

  3. Selecione o menu Ligação e depois Navegar por todos.

    Captura de ecrã da lista de definições da atividade de tarefa de cópia, com procurar tudo realçado.

  4. Selecionar Copiar trabalho em Novas fontes.

  5. Na página Conectar fonte de dados, selecione Iniciar sessão para autenticar a ligação.

    Captura de ecrã da página de obter credenciais de ligação de dados, com a opção de Iniciar Sessão destacada.

  6. Siga as instruções para iniciar sessão na sua conta organizacional.

  7. Selecione Ligar para concluir a configuração da ligação.

  8. Para o Workspace, seleciona o workspace onde criaste o teu trabalho de Cópia para o Módulo 1.

  9. Para a tarefa de cópia, seleciona a tarefa de cópia que criaste no Módulo 1.

Adicione uma atividade Office 365 Outlook

  1. Selecione o separador Atividades no editor de pipeline e encontre a atividade Office 365 Email.

    Captura de ecrã a mostrar a seleção da atividade do Office 365 Outlook na barra de ferramentas de Atividades no menu do editor de pipeline.

  2. Selecione a nova atividade Office 365 Email e selecione o separador Settings.

  3. Selecione a lista de Ligações e depois selecione Explorar tudo.

  4. Selecione Office 365 Email.

  5. Selecione Iniciar sessão para ligar a sua conta do Office 365.

    Captura de ecrã a mostrar a caixa de diálogo Escolher uma conta.

    Observação

    Atualmente, o serviço não suporta e-mail pessoal. Você deve usar um endereço de e-mail corporativo.

  6. Selecione Conectar.

  7. Selecione e arraste o caminho On success (uma caixa de seleção verde no canto superior direito da atividade na tela de pipeline) da sua atividade de copie para a sua nova atividade de email do Office 365.

    Captura de ecrã mostrando a ligação do resultado de sucesso da atividade do job Copiar à nova atividade Office 365 Outlook.

  8. Selecione a atividade Office 365 Email na canvas do pipeline, depois selecione o separador Settings da área de propriedades abaixo da canvas para configurar o email.

    • Introduza o seu endereço de e-mail na secção Para. Se quiseres usar vários endereços, usa ; para separá-los.
    • Para o Assunto, selecione o campo para que a opção Adicionar conteúdo dinâmico seja exibida e, em seguida, selecione-a para exibir a interface do construtor de expressões de pipeline.

    Captura de ecrã a mostrar a configuração do separador de definições de email Office 365 Outlook.

  9. A caixa de diálogo do construtor de expressões Pipeline é exibida. Introduza a seguinte expressão e, em seguida, selecione OK:

    @concat('DI in an Hour Pipeline Succeeded with Pipeline Run Id', pipeline().RunId) Captura de ecrã que mostra o construtor de expressões do pipeline com a expressão fornecida para a linha de assunto do email.

  10. Para o Corpo, selecione o campo de texto e escolha a opção Visualizar no construtor de expressões quando aparecer abaixo da área de texto. Adicione novamente a seguinte expressão (com o nome da sua atividade de cópia) no diálogo do construtor de expressões Pipeline que aparece, depois selecione OK:@concat('RunID = ', pipeline().RunId, ' ; ', 'Files written: ', activity('Copy job_1').output.value[0].output.filesWritten, ' ; ','Throughput: ', activity('Copy job_1').output.value[0].output.throughput,' ; ','Time to copy: ', activity('Copy job_1').output.executionDuration,' ; ','Time in queue: ', activity('Copy job_1').output.durationInQueue)

    Importante

    Substitui Copy job_1 pelo nome da tua própria atividade de trabalho de cópia do pipeline.

  11. Por fim, selecione o separador Home na parte superior do editor de pipeline e escolha Executar. Em seguida, selecione Salvar e execute novamente na caixa de diálogo de confirmação para executar essas atividades.

    Captura de tela mostrando a janela do editor de pipeline com o botão Executar realçado no menu.

  12. Depois que o pipeline for executado com êxito, verifique seu e-mail para encontrar o e-mail de confirmação enviado do pipeline.

    Captura de ecrã que mostra o estado do pipeline assim que estiver concluído.

    Captura de tela mostrando o e-mail gerado pelo pipeline.

(Opcional) Adicionar uma atividade de fluxo de dados ao pipeline

Você também pode adicionar o fluxo de dados que criou no Módulo 2: Criar um fluxo de dados no Data Factory ao pipeline.

  1. Passe o rato sobre a linha verde que conecta a tarefa de cópia e a atividade de Email do Office 365 no seu canvas de pipeline, e seleciona o botão + para inserir uma nova atividade.

    Captura de ecrã mostrando o botão de inserir atividade para a ligação entre a atividade de copy job e a atividade de Office 365 Email no pipeline canvas.

  2. Escolha Dataflow no menu que aparece.

    Captura de ecrã mostrando a seleção de Fluxo de Dados no menu de atividade de inserção na interface do pipeline.

  3. A atividade Dataflow recém-criada é inserida entre a atividade de cópia e a atividade de email do Office 365, sendo selecionada automaticamente e exibindo as suas propriedades na área abaixo do ecrã. Selecione a guia Configurações na área de propriedades e, em seguida, selecione o fluxo de dados criado em Módulo 2: Criar um fluxo de dados no Data Factory.

    Captura de tela mostrando a guia Configurações da atividade Fluxo de dados.

Programar a execução do pipeline

Depois de concluir o desenvolvimento e o teste do pipeline, você pode programá-lo para ser executado automaticamente.

  1. Na guia Home da janela do editor de pipeline, selecione Agenda.

    Uma captura de ecrã do botão Agendar no menu do separador 'Página Inicial' no editor de pipeline.

  2. Selecionar + Adicionar horário

  3. Configure a agenda conforme necessário. O exemplo aqui agenda o pipeline para ser executado diariamente às 20:00 durante um ano.

    Captura de tela mostrando a configuração de programação para um pipeline ser executado diariamente às 20:00 até o final do ano.

Conteúdo relacionado

  • Last updated on