Compartilhar via

Introdução ao Azure Data Factory

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Dica

Data Factory no Microsoft Fabric é a próxima geração de Azure Data Factory, com uma arquitetura mais simples, IA interna e novos recursos. Se você não estiver familiarizado com a integração de dados, comece com Fabric Data Factory. As cargas de trabalho existentes do ADF podem ser atualizadas para Fabric para acessar novos recursos em ciência de dados, análise em tempo real e relatórios.

Bem-vindo ao Azure Data Factory! Este artigo ajuda você a criar sua primeira fábrica de dados e pipeline em cinco minutos.

O modelo de Azure Resource Manager (modelo arm) neste artigo cria e configura tudo o que você precisa. Em seguida, você pode ir para a fábrica de dados de demonstração e acionar o pipeline, que move alguns dados de exemplo de uma pasta Armazenamento de Blobs do Azure para outra.

Pré-requisitos

Se você não tiver uma assinatura Azure, crie uma conta gratuita antes de começar.

Resumo em vídeo

O vídeo a seguir fornece um passo a passo do exemplo neste artigo:

Etapa 1: Usar a demonstração para criar recursos

Neste cenário de demonstração, você usa a atividade copy em um data factory para copiar um blob chamado moviesDB2.csv de uma pasta de entrada em Armazenamento de Blobs do Azure para uma pasta de saída. Em um cenário real, essa operação de cópia pode ocorrer entre qualquer uma das muitas fontes de dados e destinos com suporte disponíveis no serviço. Isso também poderá envolver transformações nos dados.

  1. Selecione o botão a seguir.

    Experimente sua primeira demonstração do Data Factory

    Selecionar o botão cria os seguintes recursos de Azure:

    • Uma conta de Azure Data Factory
    • Um data factory que contém um pipeline com uma atividade copy
    • Uma conta de Armazenamento de Blobs do Azure com moviesDB2.csv carregado em uma pasta de entrada como origem
    • Um serviço vinculado para conectar o data factory ao Armazenamento de Blobs

  2. Você é direcionado para a página de configuração para implantar o modelo. Nesta página:

    1. Para o grupo de recursos, selecione Criar novo para criar um grupo de recursos. Você pode deixar todos os outros valores com seus valores padrão.

    2. Selecione Examinar + criar e, em seguida, selecione Criar para implantar os recursos.

    Captura de tela da página para implantar um modelo para a criação de recursos.

Observação

O usuário que implanta o modelo precisa atribuir uma função a uma identidade gerenciada. Esta etapa requer permissões que podem ser concedidas por meio da função Proprietário, Administrador de Acesso do Usuário ou Operador de Identidade Gerenciada.

Todos os recursos nessa demonstração são criados no novo grupo de recursos, para que você possa limpá-los facilmente mais tarde.

Etapa 2: revisar os recursos implantados

  1. Na mensagem que mostra a conclusão bem-sucedida da implantação, selecione Ir para o grupo de recursos.

    Screenshot da página do portal Azure que mostra a implantação bem-sucedida do modelo de demonstração.

  2. O grupo de recursos inclui a nova fábrica de dados, a conta do Armazenamento de Blobs e a identidade gerenciada que a implantação criou. Selecione o data factory no grupo de recursos para exibi-lo.

    Captura de tela do conteúdo do grupo de recursos criado para a demonstração, com o data factory realçado.

  3. Selecione o botão Iniciar estúdio .

    Captura de tela do portal do Azure que mostra detalhes da fábrica de dados recém-criada, com o botão para abrir o Azure Data Factory Studio realçado.

  4. No Azure Data Factory Studio:

    1. Selecione a guia AutorGuia Autor.
    2. Selecione o pipeline que o modelo criou.
    3. Verifique os dados de origem selecionando Abrir.

    Screenshot do Azure Data Factory Studio que mostra o pipeline criado pelo template.

  5. No conjunto de dados de origem, selecione Procurar para exibir o arquivo de entrada criado para a demonstração.

    Captura de tela do conjunto de dados de origem, com o botão Procurar realçado.

    Observe o arquivo moviesDB2.csv, que já foi carregado na pasta de entrada.

    Captura de tela do conteúdo da pasta de entrada, mostrando o arquivo de entrada usado na demonstração.

Etapa 3: disparar a execução do pipeline de demonstração

  1. Selecione Adicionar gatilho e em seguida Iniciar gatilho agora.

    Captura de tela do botão para acionar a execução do pipeline de demonstração.

  2. No painel à direita, em Execução de pipeline, selecione OK.

Monitorar o Pipeline

  1. Selecione a guia MonitorarGuia Monitoramento. Essa guia traz uma visão geral das execuções de pipeline, incluindo a hora de início e o status.

    Captura de tela da guia para monitorar execuções de pipeline em uma data factory.

  2. Neste início rápido, o pipeline tem apenas um tipo de atividade: copiar dados. Selecione o nome do pipeline para exibir os detalhes dos resultados de execução da atividade de cópia.

    Captura de tela dos resultados da execução de uma atividade de cópia na guia de monitoramento de uma fábrica de dados.

  3. Selecione o ícone Detalhes para exibir o processo de cópia detalhado. Nos resultados, os tamanhos de leitura de dados e de dados gravados são os mesmos e um arquivo foi lido e gravado. Essas informações provam que todos os dados foram copiados com êxito para o destino.

    Captura de tela dos resultados detalhados da execução de uma atividade de cópia.

Limpar os recursos

Você pode limpar todos os recursos que criou neste artigo de duas maneiras:

  • Você pode excluir todo o grupo de recursos do Azure, que inclui todos os recursos criados nele.

  • Se você quiser manter alguns recursos intactos, vá para o grupo de recursos e exclua apenas os recursos específicos que deseja remover.

    Por exemplo, se você estiver usando esse modelo para criar um data factory para uso em outro tutorial, poderá excluir os outros recursos, mas manter apenas o data factory.

Conteúdo relacionado

Neste artigo, você criou um data factory que continha um pipeline com uma atividade copy. Para saber mais sobre Azure Data Factory, prossiga para o seguinte artigo e módulo de treinamento:

  • Last updated on