Módulo 3: Orquestrar e automatizar com um pipeline

Você pode concluir este módulo em cerca de 15 minutos. Nesta parte final do tutorial, você cria um pipeline que orquestra o trabalho de Cópia e (opcionalmente) o fluxo de dados que você criou nos Módulos 1 e 2, envia uma notificação por email quando todos os trabalhos são concluídos e agenda o pipeline para ser executado automaticamente.

Pré-requisitos

Criar um pipeline

Primeiro, crie um pipeline para coordenar o trabalho de cópia que você já criou.

  1. No workspace, selecione + Novo item e, em seguida, pesquise e escolha Pipeline.

    Captura de tela da página inicial do Data Factory com o botão para criar um novo item e o Pipeline de Dados selecionado.

  2. Dê um nome ao pipeline. Em seguida, selecione Criar.

Adicione sua atividade de cópia

  1. Na tela do pipeline, selecione a guia Atividades , Copiar dados e, em seguida, Adicionar atividade de trabalho de cópia.

    Captura de tela do canvas do pipeline do Data Factory, com a janela de atividade aberta e a atividade de cópia de trabalho selecionada.

  2. Selecione a atividade de trabalho de cópia na tela do pipeline e, em seguida, selecione a guia Configurações abaixo da tela.

    Captura de tela da área de trabalho do pipeline com a atividade de cópia destacada e a guia configurações destacada.

  3. Selecione o menu suspenso Conexão e selecione Procurar tudo.

    Captura de tela da lista de configurações de atividade do trabalho de cópia, com a navegação realçada.

  4. Selecione Copiar trabalho em Novas fontes.

  5. Na página Conectar fonte de dados , selecione Entrar para autenticar a conexão.

    Captura de tela da página de credenciais de conexão de dados, com a Opção de Login realçada.

  6. Siga os prompts para entrar em sua conta organizacional.

  7. Selecione Conectar para concluir a configuração da conexão.

  8. Para o Workspace, selecione o workspace no qual você criou seu trabalho de Cópia para o Módulo 1.

  9. Para o trabalho de copiar, selecione o trabalho de copiar que você criou no módulo 1.

Adicionar uma atividade de Office 365 Outlook

  1. Selecione a guia Activities no editor de pipeline e localize a atividade Office 365 Email.

    Captura de tela mostrando a seleção da atividade do Office 365 Outlook na barra de ferramentas de Atividades do menu do editor de pipeline.

  2. Selecione a nova atividade de Email do Office 365 e selecione sua guia Configurações.

  3. Selecione a lista suspensa Conexão e selecione Mostrar todos.

  4. Selecione Office 365 Email.

  5. Selecione Sign in para conectar a conta do Office 365.

    Captura de tela mostrando a caixa de diálogo Escolher uma conta.

    Observação

    No momento, o serviço não dá suporte a emails pessoais. Você deve usar um endereço de email corporativo.

  6. Selecione Conectar.

  7. Selecione e arraste o caminho Sucesso (uma caixa de seleção verde no lado superior direito da atividade na tela do pipeline) da atividade de copiar trabalho para a sua nova atividade de Email do Office 365.

    Screenshot mostrando a conexão da saída bem-sucedida da atividade de cópia à nova atividade do Office 365 Outlook.

  8. Selecione a atividade Office 365 Email na tela do pipeline e, em seguida, selecione a guia Settings da área de propriedade abaixo da tela para configurar o email.

    • Insira seu endereço de email na seção Para . Se você quiser usar vários endereços, use ; para separá-los.
    • Para o Assunto, selecione o campo para que a opção Adicionar conteúdo dinâmico seja exibida e selecione-o para exibir a tela do construtor de expressões de pipeline.

    Screenshot mostrando a configuração do email do Office 365 Outlook na guia de configurações.

  9. Aparece a caixa de diálogo do construtor de expressões do pipeline. Insira a seguinte expressão e selecione OK:

    @concat('DI in an Hour Pipeline Succeeded with Pipeline Run Id', pipeline().RunId) Captura de tela mostrando o construtor de expressões de pipeline com a expressão fornecida para a linha Assunto do email.

  10. Para o Corpo, selecione o campo de texto e escolha a opção Exibir no construtor de expressões quando ele aparecer abaixo da área de texto. Adicione a seguinte expressão novamente (com seu próprio nome de atividade de trabalho de cópia) na caixa de diálogo Construtor de expressões de pipeline exibida e selecione OK: @concat('RunID = ', pipeline().RunId, ' ; ', 'Files written: ', activity('Copy job_1').output.value[0].output.filesWritten, ' ; ','Throughput: ', activity('Copy job_1').output.value[0].output.throughput,' ; ','Time to copy: ', activity('Copy job_1').output.executionDuration,' ; ','Time in queue: ', activity('Copy job_1').output.durationInQueue)

    Importante

    Substitua Copy job_1 pelo nome de sua própria atividade de cópia do pipeline.

  11. Por fim, selecione a guia Página Inicial na parte superior do editor de pipeline e escolha Executar. Em seguida, selecione Salvar e executar novamente na caixa de diálogo de confirmação para executar essas atividades.

    Captura de tela mostrando a janela do editor de pipeline com o botão Executar realçado no menu.

  12. Depois que o pipeline for executado com êxito, verifique seu email para encontrar o email de confirmação enviado do pipeline.

    Captura de tela mostrando o status do pipeline quando ele é concluído.

    Captura de tela mostrando o email gerado pelo pipeline.

(Opcional) Adicionar uma atividade de fluxo de dados ao pipeline

Você também pode adicionar o fluxo de dados criado no Módulo 2: Criar um fluxo de dados no Data Factory no pipeline.

  1. Passe o mouse sobre a linha verde que conecta a atividade de trabalho de cópia e a atividade Office 365 Email na tela do pipeline e selecione o botão + para inserir uma nova atividade.

    Screenshot mostrando o botão de inserção de atividade para a conexão entre a atividade de trabalho de cópia e a atividade de Email do Office 365 na tela do pipeline.

  2. Escolha o fluxo de dados no menu exibido.

    Captura de tela mostrando a seleção de Dataflow no menu de atividade de inserção no painel do pipeline.

  3. A atividade de fluxo de dados recém-criada é inserida entre a tarefa de cópia e a atividade Office 365 Email e selecionada automaticamente, mostrando suas propriedades na área abaixo do painel. Selecione a guia Configurações na área de propriedades e selecione o fluxo de dados criado no Módulo 2: Criar um fluxo de dados no Data Factory.

    Captura de tela mostrando a guia Configurações da atividade fluxo de dados.

Agendar a execução do pipeline

Depois de concluir o desenvolvimento e o teste do pipeline, você poderá agendá-lo para ser executado automaticamente.

  1. Na guia Página Inicial da janela do editor de pipeline, selecione Agendamento.

    Uma captura de tela do botão Agendar no menu da guia Página Inicial no editor de pipeline.

  2. Selecionar + Adicionar agenda

  3. Configure o agendamento conforme necessário. O exemplo aqui agenda o pipeline para ser executado diariamente às 20h por um ano.

    Captura de tela mostrando a configuração de agendamento de um pipeline a ser executado diariamente às 20h até o final do ano.

Conteúdo relacionado

  • Last updated on