Controle do código-fonte no Azure Data Factory

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Por padrão, a UX (experiência de interface do usuário) do Azure Data Factory faz a autenticação diretamente no serviço de Data Factory. Essa experiência tem as seguintes limitações:

• O serviço de Data Factory não inclui um repositório para armazenar as entidades JSON para as alterações. A única maneira de salvar as alterações é por meio do botão Publicar Tudo, e todas as alterações são publicadas diretamente no serviço de Data Factory.
• O serviço de Data Factory não está otimizado para colaboração e controle de versão.
• O modelo de Azure Resource Manager necessário para implantar o Data Factory em si não está incluído.

Para fornecer uma melhor experiência de criação, Azure Data Factory permite configurar um repositório Git com Azure Repos ou GitHub. O Git é um sistema de controle de versão que facilita o controle de alterações e a colaboração. Esse artigo descreve como configurar e trabalhar em um repositório git, além de destacar as práticas recomendadas e um guia de solução de problemas.

Você também pode referenciar CI/CD (integração e entrega contínua) em Azure Data Factory para saber mais sobre o maior padrão de CI/CD, do qual o controle do código-fonte é um aspecto crítico.

Para saber mais sobre como Azure Data Factory se integra ao Git, veja o vídeo do tutorial de 15 minutos abaixo:

Vantagens da integração do Git

Abaixo está uma lista de algumas das vantagens que a integração com o Git fornece à experiência de criação:

• Controle do código-fonte: à medida que as cargas de trabalho do seu data factory se tornam cruciais, você gostaria de integrar sua fábrica ao Git para aplicar vários benefícios de controle do código-fonte, como os seguintes:
  • Capacidade de controlar/auditar as alterações.
  • Capacidade de reverter as alterações que introduziram bugs.
• Salvamentos parciais: Ao autorar contra o serviço Data Factory, você não pode salvar alterações como rascunho, e todas as publicações devem passar pela validação do Data Factory. Quer os seus pipelines não estejam concluídos ou simplesmente não queira perder alterações se o seu computador falhar, a integração do git permite alterações incrementais dos recursos da fábrica de dados, independentemente do estado em que se encontrem. Configurar um repositório git permite que você salve as alterações, permitindo que você publique apenas depois de testar suas alterações de forma satisfatória.
• Colaboração e controle: se você tiver vários membros da equipe contribuindo para a mesma fábrica, talvez queira permitir que seus colegas de equipe colaborem entre si por meio de um processo de revisão de código. Você também pode configurar sua fábrica de forma que nem todos os colaboradores tenham permissões iguais. Alguns membros da equipe podem fazer alterações apenas por meio do Git, e somente certas pessoas da equipe têm permissão para publicar as alterações na fábrica.
• Melhor CI/CD: se você estiver implantando em vários ambientes com um processo de entrega contínua, a integração do git facilita determinadas ações. Algumas dessas ações incluem:
  • Configurar seu pipeline de liberação para disparar automaticamente assim que houver uma alteração feita no alocador de "desenvolvimento".
  • Personalize as propriedades em sua fábrica que estão disponíveis como parâmetros no modelo de Resource Manager. Pode ser útil manter apenas o conjunto necessário de propriedades como parâmetros e ter todo o resto codificado.
• Melhor desempenho: um alocador médio integrado ao Git é carregado 10 vezes mais rápido do que uma criação no serviço de data factory. Essa melhoria de desempenho ocorre porque os recursos são baixados por meio do Git.

Conectar-se a um repositório Git

Há quatro maneiras diferentes de conectar um repositório Git ao Azure Data Factory para Azure Repos e GitHub. Depois de se conectar a um repositório Git, você poderá visualizar e gerenciar sua configuração no hub de gerenciamento em Configuração do Git na seção Controle de origem.

Método de configuração 1: home page

Na página inicial do Azure Data Factory, selecione Configurar o repositório de códigos na parte superior.

Método de configuração 2: tela de criação

No canvas de criação do Azure Data Factory UX, selecione o menu dropdown Data Factory e, em seguida, selecione Configurar repositório de código.

Método de configuração 3: hub de gerenciamento

Vá para o hub de gerenciamento no Azure Data Factory Studio. Selecione Configuração do Git na seção Controle do código-fonte. Se você não tiver nenhum repositório conectado, selecione Configurar.

Método de Configuração 4: Durante a Criação de Fábrica

Ao criar um novo data factory no portal do Azure, você pode configurar informações do repositório Git na guia Git.

Criar com a integração do Git ao Azure Repos

A criação visual com a integração do Git ao Azure Repos dá suporte ao controle do código-fonte e à colaboração para trabalhar nos pipelines de data factory. Você pode associar um data factory a um repositório de organização do Azure Repos Git para controle do código-fonte, colaboração, controle de versão e assim por diante. Uma única organização do Azure Repos Git pode ter vários repositórios, mas um repositório Git Azure Repos pode ser associado a apenas um data factory. Se você não tiver uma organização ou repositório Azure Repos, siga essa instruções para criar seus recursos.

configurações de Azure Repos

O painel de configuração orienta você passo a passo na definição de cada uma das seguintes configurações do repositório de código:

Editar as configurações do repositório

Se forem necessários ajustes nas configurações do repositório Git Azure Repos configurado, você poderá optar por Edit.

É possível atualizar sua ramificação de publicação e decidir se deseja desabilitar o botão de publicação no ADF Studio. Se você optar por desativar o botão de publicação no estúdio, o botão de publicação ficará esmaecido no estúdio. Isso ajuda a evitar sua substituição da última implantação de publicação automatizada.

Usar um locatário diferente do Microsoft Entra

O repositório Git do Azure Repos pode estar em um tenant diferente do Microsoft Entra. Para especificar outro locatário do Microsoft Entra, você precisa ter permissões de administrador para a assinatura do Azure que está usando. Para obter mais informações, veja alterar administrador de assinatura.

Use sua conta Microsoft pessoal

Para usar uma conta Microsoft pessoal para integração com o Git, você pode vincular seu repositório pessoal do Azure ao Active Directory de sua organização.

1. Adicione sua conta Microsoft pessoal ao Active Directory da organização como convidado. Para obter mais informações, consulte Adicionar usuários de colaboração B2B do Microsoft Entra no portal do Azure.

2. Entre no portal Azure com seu conta Microsoft pessoal. Em seguida, alterne para o Active Directory da sua organização.

3. Vá para a seção Azure DevOps, onde agora você vê seu repositório pessoal. Selecione o repositório e conecte-se com Active Directory.

Após essas etapas de configuração, seu repositório pessoal estará disponível quando você configurar a integração de Git na IU do Data Factory.

Para obter mais informações sobre como conectar Azure Repos à Active Directory da sua organização, consulte Conecte sua organização Azure DevOps para Microsoft Entra ID.

Autor com integração ao GitHub

A criação visual com a integração do GitHub oferece suporte ao controle do código-fonte e à colaboração para trabalhar em seus pipelines de data factory. Você pode associar um data factory a um repositório de conta GitHub para controle do código-fonte, colaboração e controle de versão. Uma única conta GitHub pode hospedar vários repositórios e cada repositório pode ser associado a vários data factories. Ao configurar cada data factory para usar um branch diferente no mesmo repositório, você poderá manter ambientes separados (como desenvolvimento, preparo e produção) ao mesmo tempo em que gerencia suas configurações de forma independente. Se você não tiver uma conta de GitHub ou repositório, siga essa instruções para criar seus recursos.

A integração GitHub com o Data Factory dá suporte a GitHub públicos (ou seja, https://github.com), GitHub Enterprise Cloud e GitHub Enterprise Server. Você pode usar repositórios de GitHub públicos e privados com o Data Factory, desde que tenha permissão de leitura e gravação no repositório em GitHub. Para se conectar a um repositório público, selecione a opção Usar Link Repository, pois eles não são visíveis no menu suspenso de Nome do repositório. A integração do servidor empresarial do GitHub do ADF só funciona com versões oficialmente suportadas do servidor empresarial do GitHub.

Para repositórios pertencentes à conta da organização GitHub, o administrador deve autorizar o aplicativo ADF. Para repositórios pertencentes a uma conta de usuário do GitHub, um usuário com pelo menos permissão de colaborador pode autorizar o aplicativo ADF. Essa permissão não dá ao aplicativo ADF acesso direto a todos os repositórios de propriedade da conta/organização, ela apenas permite que o aplicativo ADF atue em nome do usuário para acessar repositórios com base nas permissões de acesso do usuário.

configurações de GitHub

O painel de configuração mostra as seguintes configurações do repositório GitHub:

Editar as configurações do repositório

Se forem necessários ajustes nas configurações do repositório de GitHub configurado, você poderá optar por Edit.

É possível atualizar sua ramificação de publicação e decidir se deseja desabilitar o botão de publicação no ADF Studio. Se você optar por desativar o botão de publicação no estúdio, o botão de publicação ficará esmaecido no estúdio. Isso ajuda a evitar a substituição da última implantação de publicação automatizada.

GitHub organizações

Conectar-se a uma organização GitHub requer que a organização conceda permissão para Azure Data Factory. Um usuário com permissões de ADMINISTRADOR na organização deve realizar as etapas a seguir para permitir que o data factory se conecte.

Conectando-se ao GitHub público ou ao GitHub Enterprise Cloud pela primeira vez no Azure Data Factory

Se você estiver se conectando pela primeira vez ao GitHub público ou ao GitHub Enterprise Cloud do Azure Data Factory, siga estas etapas para se conectar a uma organização do GitHub.

1. No painel de configuração do Git, insira o nome da organização no campo GitHub Account. Um prompt para fazer logon no GitHub é exibido.
2. Faça login usando suas credenciais de usuário.
3. Você deve autorizar Azure Data Factory como um aplicativo chamado AzureDataFactory. Nessa tela, você vê uma opção para conceder permissão ao ADF para acessar a organização. Se você não vir a opção de conceder permissão, peça a um administrador para conceder manualmente a permissão por meio de GitHub.

Depois de seguir essas etapas, sua fábrica poderá se conectar a repositórios públicos e privados em sua organização. Se você não conseguir se conectar, tente limpar o cache do navegador e tente novamente.

Já conectado ao GitHub público ou GitHub Enterprise Cloud usando uma conta pessoal

Se você já estiver conectado a GitHub pública ou GitHub Enterprise Cloud e tiver concedido permissão apenas para acessar uma conta pessoal, siga as etapas abaixo para conceder permissões a uma organização.

1. Vá para GitHub e abra Settings.

   

2. Selecione Aplicativos. Na guia Aplicativos OAuth autorizados, você verá AzureDataFactory.

   

3. Selecione o aplicativo e conceda acesso à sua organização.

   

Depois de seguir essas etapas, sua fábrica poderá se conectar a repositórios públicos e privados em sua organização.

Conectando-se ao GitHub Enterprise Server

Se você se conectar ao GitHub Enterprise Server, precisará usar um token de acesso pessoal para autenticação. Saiba como criar um token de acesso pessoal em Criar um token de acesso pessoal.

Limitações de GitHub conhecidas

• Você pode armazenar arquivos de script e dados em um repositório GitHub. No entanto, você precisa carregar os arquivos manualmente para Armazenamento do Azure. Um pipeline do Data Factory não carrega automaticamente arquivos de script ou de dados armazenados em um repositório de GitHub para Armazenamento do Azure.

• GitHub Enterprise com uma versão anterior à 2.14.0 não funciona no navegador Microsoft Edge.

• A integração do GitHub com as ferramentas de criação visual do Data Factory só funciona na versão geralmente disponível do Data Factory.

Conectando-se ao Azure DevOps Server 2022

Se você se conectar ao Azure DevOps Server 2022, precisará usar um token de acesso pessoal para autenticação. Saiba como criar um token de acesso pessoal aqui.

Conecte-se ao Azure DevOps local fornecendo o Azure DevOps Server URL e Azure DevOps Project Collection

Forneça o token com escopo de acesso como leitura/gravação para código.

Controle de versão

Os sistemas de controle de versão (também conhecidos como controle do código-fonte) permitem aos desenvolvedores colaborar em código e acompanhar as alterações feitas no código base. O controle do código-fonte é uma ferramenta essencial para projetos de vários desenvolvedores.

Criando branches de funcionalidades

Cada repositório Git do Azure Repos associado a uma fábrica de dados tem um ramo de colaboração. (main é a ramificação de colaboração padrão). Os usuários também podem criar ramificações de recursos clicando em +Nova Ramificação na lista suspensa de ramificações.

Depois que o novo painel do branch for exibido, insira o nome do branch de recurso e selecione um branch para servir de base do trabalho.

Para mesclar as alterações da ramificação de recurso para de colaboração, clique no menu suspenso da ramificação e selecione Criar pull request. Essa ação o levará para o Git do Azure Repos, em que será possível gerar solicitações de pull, realizar revisões de código e mesclar alterações com o branch de colaboração. (main é o padrão). Você só tem permissão para publicar no serviço do Data Factory de sua ramificação de colaboração.

Definir configurações de publicação

Por padrão, o data factory gera os modelos de Resource Manager da fábrica publicada e os salva em um branch chamado adf_publish. Para configurar um branch de publicação personalizada, adicione um arquivo publish_config.json à pasta raiz no branch de colaboração. Ao publicar, o ADF lê esse arquivo, procura o campo publishBranch e salva todos os modelos Resource Manager no local especificado. Se a ramificação não existir, o data factory a criará automaticamente. Um exemplo da aparência desse arquivo está abaixo:

{
    "publishBranch": "factory/adf_publish"
}

O Azure Data Factory pode ter apenas um branch de publicação por vez. Quando você especifica um novo branch de publicação, o Data Factory não exclui o branch de publicação anterior. Se você quiser remover o branch de publicação anterior, exclua-o manualmente.

Publicar alterações de código

Depois de mesclar alterações para o branch de colaboração (main é o padrão), clique em Publicar para publicar manualmente as alterações de código no branch principal para o serviço do Data Factory.

Um painel lateral será aberto para você confirmar que o branch de publicação e as alterações pendentes estão corretas. Depois de verificar as alterações, clique em OK para confirmar a publicação.

Melhores práticas para a integração do Git

Permissões

Normalmente, você não deseja que todos os membros da equipe tenham permissão para atualizar o Data Factory. As seguintes configurações de permissões são recomendadas:

• Todos os membros da equipe devem ter permissões de leitura para o Data Factory.
• Somente um conjunto selecionado de pessoas deve ter permissão para publicar no Data Factory. Para fazer isso, é necessária a função de Colaborador do Data Factory no Grupo de recursos que contém o Data Factory. Para obter mais informações sobre permissões, consulte Roles e permissões para Azure Data Factory.

É recomendável não permitir check-ins diretos no branch de colaboração. Essa restrição pode ajudar a evitar bugs, uma vez que cada check-in passará por um processo de revisão de solicitação de pull descrito em Criando branches de recurso.

Usando senhas de Azure Key Vault

É recomendável usar o Azure Key Vault para armazenar cadeias de conexão, senhas ou utilizar autenticação de identidade gerenciada para os serviços vinculados do Data Factory. Por motivos de segurança, o Data Factory não armazena segredos no Git. Todas as alterações nos Serviços Vinculados que contêm segredos, como senhas, são publicadas imediatamente no serviço Azure Data Factory.

Usar a autenticação do Key Vault ou MSI também facilita a integração e a implantação contínuas, pois você não precisará fornecer esses segredos durante a implantação do modelo do Resource Manager.

Solução de problemas na integração com o Git

Branch de publicação obsoleto

Abaixo estão alguns exemplos de situações que podem tornar um branch de publicação obsoleto:

• Um usuário tem várias ramificações. Em um branch de recurso, eles excluíram um serviço vinculado que não está associado ao AKV (os serviços vinculados que não são do AKV são publicados imediatamente, independentemente de estarem no Git ou não) e nunca mesclaram o branch de recursos com o branch de colaboração.
• Um usuário modificou o data factory usando o SDK ou o PowerShell
• Um usuário moveu todos os recursos para um novo branch e tentou publicar pela primeira vez. Os serviços vinculados devem ser criados manualmente na importação de recursos.
• Um usuário carrega um serviço vinculado que não é o AKV ou um Integration Runtime JSON manualmente. Referenciam esse recurso a partir de outro recurso, como um conjunto de dados, um serviço ligado ou um pipeline. Um serviço não vinculado ao AKV criado por meio da interface do usuário é publicado imediatamente porque as credenciais precisam ser criptografadas. Se você fizer o upload de um conjunto de dados referenciando esse serviço vinculado e tentar publicar, a interface do usuário permitirá, pois ele existe no ambiente git. Ele será rejeitado no momento da publicação, pois não existe no serviço de Data Factory.

Se a ramificação de publicação não estiver sincronizada com a ramificação principal e contiver recursos desatualizados, apesar de uma publicação recente, você pode usar uma das soluções abaixo:

Opção 1: usar a funcionalidade Substituir modo dinâmico

Ela publica ou substitui o código da ramificação de colaboração no modo dinâmico. Ele considera o código do seu repositório como a fonte da verdade.

Fluxo de código:Ramificação de colaboração -> Modo ativo

Opção 2: desconectar e reconectar o repositório Git

Ela importa o código do modo dinâmico para a ramificação de colaboração. Ela considera o código no modo dinâmico como a fonte da verdade.

Fluxo de código:Modo dinâmico -> Branch de colaboração

1. Remover seu repositório Git atual
2. Reconfigure o Git com as mesmas configurações, mas verifique se a opção Importar recursos existentes do Data Factory para o repositório está selecionada e escolha a branch de colaboração (mesma branch)
3. Crie uma solicitação de pull para mesclar as alterações com o branch de colaboração.

Escolha um dos métodos adequadamente, conforme necessário.

Todos os recursos exibidos como novos na publicação

Durante a publicação, todos os recursos podem aparecer como novos, mesmo se eles tiverem sido publicados anteriormente. Isso pode ocorrer se a propriedade lastCommitId for redefinida na propriedade repoConfiguration da fábrica, seja por reimplantação de um modelo ARM da fábrica ou atualizando a propriedade repoConfiguration da fábrica por meio do PowerShell ou pela API REST. Continuar a publicar os recursos pode resolver o problema, mas para evitar que ele ocorra novamente, evite atualizar a propriedade repoConfiguration de fábrica.

Alternar para um repositório Git diferente

Para alternar para um repositório do Git diferente, vá para a página de configuração do git no hub de gerenciamento sob Controle do código-fonte. Selecione Desconectar.

Insira seu nome do Data Factory e clique em Confirmar para remover o repositório Git associado ao data factory.

Depois de remover a associação com o repositório atual, você poderá definir as configurações do Git para usar um repositório diferente e importar recursos existentes do Data Factory para o novo repositório.

Conteúdo relacionado

• Para saber mais sobre o monitoramento e o gerenciamento de pipelines, consulte Monitorar e gerenciar pipelines de forma programática.
• Para implementar a integração e a implantação contínuas, consulte CI/CD (integração e entrega contínua) em Azure Data Factory.