Controle de versão no Azure Data Factory

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Por defeito, a experiência de utilizador (UX) do Azure Data Factory é diretamente criada no serviço Data Factory. Esta experiência tem as seguintes limitações:

• O serviço Data Factory não inclui um repositório para armazenar as entidades JSON para suas alterações. A única maneira de salvar as alterações é através do botão Publicar tudo e todas as alterações são publicadas diretamente no serviço de fábrica de dados.
• O serviço Data Factory não está otimizado para colaboração e controle de versão.
• O modelo do Azure Resource Manager necessário para implementar o próprio Data Factory não está incluído.

Para proporcionar uma melhor experiência de autoria, o Azure Data Factory permite configurar um repositório Git com Repositórios do Azure ou GitHub. O Git é um sistema de controlo de versões que permite uma colaboração e controlo de alterações mais fáceis. Este artigo descreve como configurar e trabalhar em um repositório git, além de destacar as práticas recomendadas e um guia de solução de problemas.

Também pode consultar Continuous integration and delivery (CI/CD) em Azure Data Factory para aprender mais sobre o padrão mais amplo CI/CD, cujo controlo de versões é um aspeto crítico.

Para saber mais sobre como o Azure Data Factory se integra com o Git, veja o vídeo tutorial de 15 minutos abaixo:

Vantagens da integração no Git

Abaixo está uma lista de algumas das vantagens que a integração git oferece para a experiência de criação:

• Controle do código-fonte: À medida que as cargas de trabalho do data factory se tornam cruciais, convém integrar sua fábrica ao Git para aplicar vários benefícios do controle do código-fonte, como os seguintes:
  • Capacidade de rastrear/auditar alterações.
  • Capacidade de reverter alterações que introduziram bugs.
• Salvamentos parciais: ao criar no serviço de data factory, não é possível salvar as alterações como rascunho e todas as publicações devem passar pela validação do data factory. Quer seus pipelines não estejam concluídos ou você simplesmente não queira perder alterações se seu computador falhar, a integração do git permite alterações incrementais dos recursos do data factory, independentemente do estado em que eles estejam. Configurar um repositório git permite que você salve as alterações, permitindo que você publique apenas depois de testar suas alterações para sua satisfação.
• Colaboração e controle: se você tiver vários membros da equipe contribuindo para a mesma fábrica, convém permitir que seus colegas de equipe colaborem uns com os outros por meio de um processo de revisão de código. Você também pode configurar sua fábrica de modo que nem todos os colaboradores tenham permissões iguais. Alguns membros da equipe só podem ter permissão para fazer alterações via Git e apenas algumas pessoas da equipe podem publicar as alterações na fábrica.
• Melhor CI/CD: Se você estiver implantando em vários ambientes com um processo de entrega contínua, a integração do git facilitará certas ações. Algumas dessas ações incluem:
  • Configure o seu pipeline de lançamento para ser iniciado automaticamente assim que houver alterações na sua fábrica 'dev'.
  • Personalize as propriedades na sua fábrica que estão disponíveis como parâmetros no modelo Resource Manager. Pode ser útil manter apenas o conjunto necessário de propriedades como parâmetros e ter todo o resto codificado.
• Melhor desempenho: Uma fábrica média com integração git carrega 10 vezes mais rápido do que uma autoria no serviço Data Factory. Essa melhoria de desempenho ocorre porque os recursos são baixados via Git.

Conectar-se a um repositório Git

Existem quatro formas diferentes de ligar um repositório Git à tua fábrica de dados tanto para o Repositórios do Azure como para o GitHub. Depois de se conectar a um repositório Git, pode visualizar e gerir a sua configuração no hub de gestão em Configuração do Git na secção de código fonte.

Método de configuração 1: Página inicial

Na página inicial Azure Data Factory, selecione Configurar repositório de código no topo.

Método de configuração 2: Criação de tela

Na interface de autoria da experiência do utilizador do Azure Data Factory, selecione o menu suspenso Data Factory e depois selecione Configurar repositório de código.

Método de configuração 3: Hub de gerenciamento

Vai ao centro de gestão no Azure Data Factory Studio. Selecione Configuração do Git na secção Controle de código-fonte. Se você não tiver nenhum repositório conectado, selecione Configurar.

Método de configuração 4: Durante a criação da fábrica

Ao criar uma nova fábrica de dados no portal Azure, pode configurar a informação do repositório Git no separador Git configuration.

Autor com integração do Repositórios do Azure Git

A criação visual com a integração do Repositórios do Azure Git oferece controlo de código fonte e colaboração para o trabalho nos seus pipelines de fábrica de dados. Pode associar uma fábrica de dados a um repositório de organização Git do Repositórios do Azure para controlo de versões, colaboração, versionamento, entre outros. Uma única organização Git do Repositórios do Azure pode ter múltiplos repositórios, mas um repositório Git do Repositórios do Azure pode ser associado apenas a uma fábrica de dados. Se não tiver uma organização Repositórios do Azure ou repositório, siga estas instruções para criar os seus recursos.

Definições do Repositórios do Azure

O painel de configuração orienta você passo a passo na configuração de cada uma das seguintes configurações do repositório de código:

Editando configurações de repositório

Se precisar de fazer ajustes às definições do seu repositório Repositórios do Azure Git configurado, poderá escolher Edit.

Você pode atualizar sua ramificação de publicação e decidir se deseja ou não desativar o botão de publicação do estúdio ADF. Se você optar por desativar o botão de publicação do estúdio, o botão de publicação ficará acinzentado no estúdio. Isso ajuda a evitar a substituição da última implantação de publicação automatizada.

Use um tenant diferente do Microsoft Entra

O repositório Git do Repositórios do Azure pode estar num tenant diferente do Microsoft Entra. Para especificar um tenant diferente do Microsoft Entra, tens de ter permissões de administrador para a subscrição do Azure que estás a usar. Para obter mais informações, consulte alterar o administrador de subscrição.

Use a sua conta Microsoft pessoal

Para usar uma conta Microsoft pessoal para integração com o Git, pode conectar o seu repositório do Azure pessoal ao Active Directory da sua organização.

1. Adicione a sua conta conta Microsoft pessoal ao Active Directory da sua organização como convidado. Para mais informações, consulte Adicionar Microsoft Entra utilizadores de colaboração B2B no portal Azure.

2. Inicie sessão no portal Azure com a sua conta conta Microsoft pessoal. Depois mude para o Active Directory da sua organização.

3. Vai à secção Azure DevOps, onde agora vês o teu repositório pessoal. Selecione o repositório e ligue-se ao Active Directory.

Após essas etapas de configuração, seu repositório pessoal estará disponível quando você configurar a integração do Git na interface do usuário do Data Factory.

Para mais informações sobre como ligar Repositórios do Azure ao Active Directory da sua organização, consulte Ligue a sua organização de Azure DevOps ao Microsoft Entra ID.

Autor com integração GitHub

A autoria visual com integração com o GitHub suporta controlo de código-fonte e colaboração para trabalhar nos seus pipelines de fábrica de dados. Podes associar uma fábrica de dados a um repositório de conta do GitHub para controlo de origem, colaboração e gestão de versões. Uma única conta GitHub pode alojar múltiplos repositórios, e cada repositório pode estar associado a múltiplas fábricas de dados. Ao configurar cada data factory para usar uma ramificação diferente dentro do mesmo repositório, você pode manter ambientes separados (como desenvolvimento, preparo e produção) enquanto gerencia suas configurações de forma independente. Se não tiver uma conta GitHub ou repositório, siga estas instruções para criar os seus recursos.

A integração GitHub com o Data Factory suporta tanto GitHub público (ou seja, https://github.com), GitHub Enterprise Cloud como GitHub Enterprise Server. Podes usar repositórios públicos e privados do GitHub com o Data Factory desde que tenhas permissão de leitura e escrita para o repositório no GitHub. Para se conectar a um repositório público, selecione a opção Usar repositório de links, pois estes não estão visíveis no menu suspenso de Nome do repositório. A integração GitHub servidor empresarial do ADF só funciona com versões oficialmente suportadas do GitHub servidor empresarial.

Para repositórios pertencentes à conta da organização GitHub, o administrador tem de autorizar a aplicação ADF. Para repositórios pertencentes à conta de utilizador do GitHub, um utilizador com pelo menos permissão de colaborador pode autorizar a aplicação ADF. Essa permissão não dá ao aplicativo ADF acesso direto a todos os repositórios de propriedade da conta/organização, apenas permite que o aplicativo ADF aja em nome do usuário para acessar repositórios com base nas permissões de acesso do usuário.

Definições do GitHub

O painel de configuração mostra as seguintes definições do repositório GitHub:

Editando configurações de repositório

Se for necessário fazer algum ajuste nas definições do seu repositório de GitHub configurado, pode optar por Edit.

Você pode atualizar sua ramificação de publicação e decidir se deseja ou não desativar o botão de publicação do estúdio ADF. Se você optar por desativar o botão de publicação do estúdio, o botão de publicação ficará acinzentado no estúdio. Isso ajuda a evitar a substituição da última implantação de publicação automatizada.

Organizações GitHub

Ligar-se a uma organização GitHub requer que a organização conceda permissão ao Azure Data Factory. Um usuário com permissões ADMIN na organização deve executar as etapas abaixo para permitir que o data factory se conecte.

A primeira conexão ao GitHub público ou ao GitHub Enterprise Cloud no Azure Data Factory

Se está a ligar-se ao GitHub público ou ao GitHub Enterprise Cloud a partir do Azure Data Factory pela primeira vez, siga estes passos para se ligar a uma organização GitHub.

1. No painel de configuração Git, introduza o nome da organização no campo GitHub Account. Aparece um prompt para iniciar sessão no GitHub.
2. Inicie sessão com as suas credenciais de utilizador.
3. Pede-lhe que autorize Azure Data Factory como uma aplicação chamada AzureDataFactory. Nesta tela, você verá uma opção para conceder permissão para o ADF acessar a organização. Se não vires a opção de conceder permissão, pede a um administrador para conceder manualmente a permissão através do GitHub.

Depois de seguir estas etapas, sua fábrica pode se conectar a repositórios públicos e privados dentro de sua organização. Se você não conseguir se conectar, tente limpar o cache do navegador e tente novamente.

Já está ligado ao GitHub público ou ao GitHub Enterprise Cloud usando uma conta pessoal

Se já se ligou ao GitHub público ou ao GitHub Enterprise Cloud e só recebeu permissão para aceder a uma conta pessoal, siga os passos abaixo para conceder permissões a uma organização.

1. Vai a GitHub e abre Settings.

   

2. Selecione Aplicativos. Na guia Aplicativos OAuth autorizados, você verá AzureDataFactory.

   

3. Selecione o aplicativo e conceda acesso ao aplicativo à sua organização.

   

Depois de seguir estas etapas, sua fábrica pode se conectar a repositórios públicos e privados dentro de sua organização.

Ligação ao GitHub Enterprise Server

Se te ligares ao GitHub Enterprise Server, precisas de usar um token de acesso pessoal para autenticação. Saiba como criar um token de acesso pessoal em Criar um token de acesso pessoal.

Limitações conhecidas do GitHub

• Podes armazenar scripts e ficheiros de dados num repositório GitHub. No entanto, tens de carregar os ficheiros manualmente para o Armazenamento do Azure. Um pipeline Data Factory não carrega automaticamente scripts ou ficheiros de dados armazenados num repositório GitHub para o Armazenamento do Azure.

• O GitHub Enterprise com uma versão anterior à 2.14.0 não funciona no navegador Microsoft Edge.

• A integração do GitHub com as ferramentas de autoria visual do Data Factory só funciona na versão geralmente disponível do Data Factory.

Conectando ao Azure DevOps Server 2022

Se se ligar ao Azure DevOps Server 2022, precisa de usar um token de acesso pessoal para autenticação. Saiba como criar um token de acesso pessoal aqui.

Ligue-se ao Azure DevOps local fornecendo o Azure DevOps Server URL e Azure DevOps Project Collection

Forneça o token com escopo de acesso como leitura/gravação de código.

Controlo de versões

Os sistemas de controle de versão (também conhecidos como controle do código-fonte) permitem que os desenvolvedores colaborem no código e rastreiem as alterações feitas na base de código. O controle do código-fonte é uma ferramenta essencial para projetos de vários desenvolvedores.

Criando ramificações de recursos

Cada repositório Git do Repositórios do Azure associado a uma data factory tem um ramo de colaboração. main( é a ramificação de colaboração padrão). Os usuários também podem criar ramificações de recursos clicando em + Nova ramificação na lista suspensa de ramificação.

Quando o novo painel de ramo aparecer, insira o nome do seu ramo de funcionalidade e selecione um ramo para basear o trabalho.

Quando estiver pronto para integrar as alterações do branch de funcionalidades para o branch de colaboração, clique na lista suspensa de branch e selecione Criar pull request. Esta ação leva-o ao Repositórios do Azure Git, onde pode criar pull requests, fazer revisões de código e integrar alterações no seu ramo de colaboração. main( é o padrão). Você só tem permissão para publicar no serviço Data Factory a partir de sua ramificação de colaboração.

Definir definições de publicação

Por padrão, o Data Factory gera os templates do Resource Manager da fábrica publicada e guarda-os numa branch chamada adf_publish. Para configurar uma ramificação de publicação personalizada, adicione um publish_config.json arquivo à pasta raiz na ramificação de colaboração. Ao publicar, o ADF lê este ficheiro, procura o campo publishBranch e guarda todos os Resource Manager templates na localização especificada. Se a ramificação não existir, o data factory a criará automaticamente. Um exemplo da aparência desse arquivo está abaixo:

{
    "publishBranch": "factory/adf_publish"
}

O Azure Data Factory pode ter apenas um ramo de publicação de cada vez. Quando você especifica uma nova ramificação de publicação, o Data Factory não exclui a ramificação de publicação anterior. Se você quiser remover a ramificação de publicação anterior, exclua-a manualmente.

Publicar alterações de código

Depois de mesclar as alterações na ramificação de colaboração (main é o padrão), clique em Publicar para publicar manualmente as alterações de código na ramificação principal para o serviço Data Factory.

Um painel lateral será aberto onde você confirmar que a ramificação de publicação e as alterações pendentes estão corretas. Depois de verificar as alterações, clique em OK para confirmar a publicação.

Práticas recomendadas para integração com Git

Permissões

Normalmente, você não quer que todos os membros da equipe tenham permissão para atualizar o Data Factory. As seguintes configurações de permissões são recomendadas:

• Todos os membros da equipe devem ter permissões de leitura para o Data Factory.
• Apenas um conjunto selecionado de pessoas deve ter permissão para publicar no Data Factory. Para fazer isso, eles devem ter a função de colaborador do Data Factory no Grupo de Recursos que contém o Data Factory. Para mais informações sobre permissões, veja Roles and permissions for Azure Data Factory.

É recomendável não permitir check-ins diretos na ramificação de colaboração. Essa restrição pode ajudar a evitar bugs, pois cada check-in passará por um processo de revisão de pull request descrito em Criação de branches de funcionalidades.

Usar palavras-passe do Azure Key Vault

Recomenda-se usar o Azure Key Vault para armazenar quaisquer cadeias de ligação ou palavras-passe ou autenticação gerida de identidade para os Serviços Ligados à Fábrica de Dados. Por razões de segurança, o data factory não armazena segredos no Git. Quaisquer alterações aos Serviços Ligados que contenham segredos como palavras-passe são publicadas imediatamente no serviço Azure Data Factory.

Usar autenticação Key Vault ou MSI também facilita a integração contínua e a implementação, pois não terá de fornecer estes segredos durante a implementação do modelo do Resource Manager.

Resolver problemas de integração no Git

Ramo de publicação obsoleto

Abaixo estão alguns exemplos de situações que podem causar um ramo de publicação obsoleto:

• Um usuário tem várias ramificações. Em uma ramificação de recurso, eles excluíram um serviço vinculado que não está associado ao AKV (serviços vinculados não AKV são publicados imediatamente, independentemente de estarem no Git ou não) e nunca mesclaram a ramificação de recurso na ramificação de colaboração.
• Um usuário modificou a fábrica de dados usando o SDK ou o PowerShell
• Um usuário moveu todos os recursos para uma nova ramificação e tentou publicar pela primeira vez. Os serviços vinculados devem ser criados manualmente ao importar recursos.
• Um utilizador carrega manualmente um serviço ligado que não é AKV ou um JSON do Integration Runtime. Eles fazem referência a esse recurso de outro recurso, como um conjunto de dados, serviço vinculado ou pipeline. Um serviço não ligado a AKV, criado através da interface de utilizador, é publicado imediatamente porque as credenciais precisam ser criptografadas. Se você carregar um conjunto de dados fazendo referência a esse serviço vinculado e tentar publicar, a interface do usuário permitirá isso porque ele existe no ambiente git. O recurso será rejeitado no momento da publicação porque não existe no serviço de Data Factory.

Se a ramificação de publicação estiver fora de sincronia com a ramificação principal e contiver recursos desatualizados apesar de uma publicação recente, você poderá usar uma das soluções abaixo:

Opção 1: Usar a funcionalidade Sobrescrever modo ao vivo

Ele publica ou substitui o código da sua ramificação de colaboração no modo ao vivo. Ele considera o código em seu repositório como a fonte da verdade.

Fluxo de código:ramificação de colaboração -> modo ao vivo

Opção 2: Desconectar e reconectar o repositório Git

Ele importa o código do modo ativo para o ramo de colaboração. Ele considera o código em modo ao vivo como fonte de verdade.

Fluxo de código:Modo ao vivo -> Ramificação de colaboração

1. Remova seu repositório Git atual
2. Reconfigure o Git com as mesmas configurações, mas certifique-se de que a opção Importar recursos existentes do Data Factory para o repositório esteja selecionada e escolha Ramificação de colaboração (mesma ramificação)
3. Crie um pedido Pull para unir as alterações no ramo de colaboração.

Escolha qualquer um dos métodos apropriadamente, conforme necessário.

Todos os recursos exibidos como novos na publicação

Durante a publicação, todos os recursos podem aparecer como novos, mesmo que tenham sido publicados anteriormente. Isso pode acontecer se a propriedade lastCommitId for redefinida na propriedade repoConfiguration da fábrica, reimplantando um modelo ARM de fábrica ou atualizando a propriedade repoConfiguration de fábrica por meio do PowerShell ou da API REST. Continuar a publicar os recursos pode resolver o problema, mas para evitar que ele ocorra novamente, evite atualizar a propriedade repoConfiguration de fábrica.

Alternar para um repositório Git diferente

Para alternar para um repositório Git diferente, vá para a página de configuração do Git no hub de gerenciamento em Controle do código-fonte. Selecione Desligar.

Insira o nome da fábrica de dados e clique em confirmar para remover o repositório Git associado ao seu data factory.

Depois de remover a associação com o repositório atual, você pode definir suas configurações do Git para usar um repositório diferente e, em seguida, importar recursos existentes do Data Factory para o novo repositório.

Conteúdos relacionados

• Para saber mais sobre como monitorar e gerenciar pipelines, consulte Monitorar e gerenciar pipelines programaticamente.
• Para implementar integração e implementação contínuas, veja Integração e entrega contínuas (CI/CD) em Azure Data Factory.