Nota
O acesso a esta página requer autorização. Pode tentar iniciar sessão ou alterar os diretórios.
O acesso a esta página requer autorização. Pode tentar alterar os diretórios.
APLICA-SE A:
Azure Data Factory
Azure Synapse Analytics
Gorjeta
Data Factory em Microsoft Fabric é a próxima geração de Azure Data Factory, com uma arquitetura mais simples, IA incorporada e novas funcionalidades. Se és novo na integração de dados, começa pelo Fabric Data Factory. As cargas de trabalho existentes do ADF podem atualizar para o Fabric para aceder a novas capacidades em ciência de dados, análise em tempo real e relatórios.
Este guia mostra-lhe como criar um runtime de integração auto-hospedado partilhado no Azure Data Factory. Em seguida, pode usar o runtime de integração autoalojado partilhado em outra fábrica de dados.
Nota
À medida que você compartilha seu tempo de execução de integração auto-hospedado entre mais fábricas de dados, o aumento da carga de trabalho às vezes pode levar a tempos de fila mais longos. Se os tempos de fila se tornarem excessivos, você poderá aumentar ou expandir o nó adicionando nós adicionais. Você pode adicionar até 4 nós.
Crie um runtime de integração partilhado auto-hospedado no Azure Data Factory
Pode reutilizar uma infraestrutura de runtime de integração auto-hospedada já configurada numa fábrica de dados. Essa reutilização permite criar um tempo de execução de integração auto-hospedado vinculado em uma fábrica de dados diferente, fazendo referência a um IR auto-hospedado compartilhado existente.
Para ver uma introdução e demonstração desse recurso, assista ao seguinte vídeo de 12 minutos:
Terminologia
- IR compartilhado: um IR auto-hospedado original que é executado em uma infraestrutura física.
- IR vinculado: um IR que faz referência a outro IR compartilhado. O IR vinculado é um IR lógico e usa a infraestrutura de outro IR compartilhado auto-hospedado.
Crie um IR auto-hospedado partilhado usando a interface do Azure Data Factory
Para criar um IR auto-hospedado partilhado usando a interface do Azure Data Factory, pode seguir os seguintes passos:
No IR auto-hospedado a ser compartilhado, selecione Conceder permissão a outro Data factory e, na página "Configuração do tempo de execução da integração", selecione o Data factory no qual você deseja criar o IR vinculado.
Tome nota e copie o "ID do recurso" acima mencionado do IR auto-hospedado a ser partilhado.
Na fábrica de dados à qual as permissões foram concedidas, crie um novo RI auto-hospedado (associado) e insira o ID do recurso.
Crie um IR auto-hospedado partilhado usando Azure PowerShell
Para criar um IR auto-hospedado partilhado usando Azure PowerShell, pode seguir os seguintes passos:
- Criar uma fábrica de dados.
- Criar um runtime de integração auto-hospedado.
- Compartilhe o tempo de execução de integração auto-hospedado com outras fábricas de dados.
- Crie um tempo de execução de integração vinculado.
- Revogar o compartilhamento.
Pré-requisitos
Nota
Recomendamos que utilize o módulo PowerShell do Azure Az para interagir com o Azure. Para começar, consulte Install Azure PowerShell. Para saber como migrar para o módulo Az PowerShell, veja Migrar Azure PowerShell do AzureRM para o Az.
Subscrição do Azure. Se não tiver uma subscrição Azure, crie uma conta gratuita antes de começar.
Azure PowerShell. Siga as instruções em Instale Azure PowerShell no Windows com PowerShellGet. Você usa o PowerShell para executar um script para criar um tempo de execução de integração auto-hospedado que pode ser compartilhado com outras fábricas de dados.
Nota
Para uma lista de regiões Azure onde o Data Factory está atualmente disponível, selecione as regiões que lhe interessam em Produtos disponíveis por região.
Criar uma fábrica de dados
Inicie o Ambiente Integrado de Scripting PowerShell (ISE) do Windows.
Crie variáveis. Copie e cole o script a seguir. Substitua as variáveis, como SubscriptionName e ResourceGroupName, por valores reais:
# If input contains a PSH special character, e.g. "$", precede it with the escape character "`" like "`$". $SubscriptionName = "[Azure subscription name]" $ResourceGroupName = "[Azure resource group name]" $DataFactoryLocation = "EastUS" # Shared Self-hosted integration runtime information. This is a Data Factory compute resource for running any activities # Data factory name. Must be globally unique $SharedDataFactoryName = "[Shared Data factory name]" $SharedIntegrationRuntimeName = "[Shared Integration Runtime Name]" $SharedIntegrationRuntimeDescription = "[Description for Shared Integration Runtime]" # Linked integration runtime information. This is a Data Factory compute resource for running any activities # Data factory name. Must be globally unique $LinkedDataFactoryName = "[Linked Data factory name]" $LinkedIntegrationRuntimeName = "[Linked Integration Runtime Name]" $LinkedIntegrationRuntimeDescription = "[Description for Linked Integration Runtime]"Inicie sessão e selecione uma subscrição. Adicione o seguinte código ao script para iniciar sessão e selecionar a sua subscrição do Azure:
Connect-AzAccount Select-AzSubscription -SubscriptionName $SubscriptionNameCrie um grupo de recursos e uma Data Factory.
Nota
Este passo é opcional. Se já tiver uma fábrica de dados, ignore esta etapa.
Crie um grupo de recursos Azure usando o comando New-AzResourceGroup. Um grupo de recursos é um contentor lógico no qual os recursos do Azure são implementados e geridos como um grupo. O exemplo a seguir cria um grupo de recursos nomeado
myResourceGroupno local WestEurope:New-AzResourceGroup -Location $DataFactoryLocation -Name $ResourceGroupNameExecute o comando seguinte para criar uma fábrica de dados:
Set-AzDataFactoryV2 -ResourceGroupName $ResourceGroupName ` -Location $DataFactoryLocation ` -Name $SharedDataFactoryName
Criar um tempo de execução de integração autogerido
Nota
Este passo é opcional. Se já tiver o runtime de integração autoalojado que pretende partilhar com outras data factories, ignore este passo.
Execute o seguinte comando para criar um runtime de integração auto-hospedado:
$SharedIR = Set-AzDataFactoryV2IntegrationRuntime `
-ResourceGroupName $ResourceGroupName `
-DataFactoryName $SharedDataFactoryName `
-Name $SharedIntegrationRuntimeName `
-Type SelfHosted `
-Description $SharedIntegrationRuntimeDescription
Obtenha a chave de autenticação do runtime de integração e registe um nó
Execute o seguinte comando para recolher a chave de autenticação para o ambiente de execução de integração auto-hospedado.
Get-AzDataFactoryV2IntegrationRuntimeKey `
-ResourceGroupName $ResourceGroupName `
-DataFactoryName $SharedDataFactoryName `
-Name $SharedIntegrationRuntimeName
A resposta contém a chave de autenticação para este runtime de integração autogerido. Você usa esta chave quando regista o nó de runtime de integração.
Instalar e registar o runtime de integração auto-hospedado
Descarregue o instalador do runtime de integração auto-hospedado em Azure Data Factory Integration Runtime.
Execute o instalador para instalar a integração auto-hospedada em um computador local.
Registre a nova integração auto-hospedada com a chave de autenticação recuperada em uma etapa anterior.
Partilhar o runtime de integração auto-hospedado com outra fábrica de dados
Criar outra fábrica de dados
Nota
Este passo é opcional. Se já tiver a fábrica de dados com a qual deseja partilhar, ignore esta etapa. Mas para adicionar ou remover atribuições de funções a outra fábrica de dados, deve ter permissões Microsoft.Authorization/roleAssignments/write e Microsoft.Authorization/roleAssignments/delete, como User Access Administrator ou Proprietário.
$factory = Set-AzDataFactoryV2 -ResourceGroupName $ResourceGroupName `
-Location $DataFactoryLocation `
-Name $LinkedDataFactoryName
Conceder permissão
Conceda permissão à fábrica de dados que necessita acessar o runtime de integração auto-hospedado que você criou e registou.
Importante
Não salte este passo!
New-AzRoleAssignment `
-ObjectId $factory.Identity.PrincipalId ` #MSI of the Data Factory with which it needs to be shared
-RoleDefinitionName 'Contributor' `
-Scope $SharedIR.Id
Criar um runtime de integração local ligado
Execute o comando abaixo para criar um runtime de integração auto-hospedado conectado.
Set-AzDataFactoryV2IntegrationRuntime `
-ResourceGroupName $ResourceGroupName `
-DataFactoryName $LinkedDataFactoryName `
-Name $LinkedIntegrationRuntimeName `
-Type SelfHosted `
-SharedIntegrationRuntimeResourceId $SharedIR.Id `
-Description $LinkedIntegrationRuntimeDescription
Agora poderá usar este runtime de integração vinculado em qualquer serviço vinculado. O runtime de integração vinculado usa o runtime de integração partilhada para executar atividades.
Revogar a partilha do runtime de integração de uma fábrica de dados
Para revogar o acesso de uma fábrica de dados do runtime de integração compartilhado, execute o seguinte comando:
Remove-AzRoleAssignment `
-ObjectId $factory.Identity.PrincipalId `
-RoleDefinitionName 'Contributor' `
-Scope $SharedIR.Id
Para remover o ambiente de execução de integração ligado existente, execute o seguinte comando no ambiente de execução de integração compartilhado:
Remove-AzDataFactoryV2IntegrationRuntime `
-ResourceGroupName $ResourceGroupName `
-DataFactoryName $SharedDataFactoryName `
-Name $SharedIntegrationRuntimeName `
-LinkedDataFactoryName $LinkedDataFactoryName
Monitorização
RI compartilhado
RI vinculado
Limitações conhecidas do compartilhamento de IR auto-hospedado
O data factory no qual um RI vinculado é criado deve ter uma Identidade Gerenciada. Por padrão, as fábricas de dados criadas no Azure portal ou nos PowerShell cmdlets têm uma Identidade Gerida criada implicitamente. Mas quando uma fábrica de dados é criada através de um modelo de Azure Resource Manager ou SDK, deve definir explicitamente a propriedade Identidade. Esta configuração garante que o Resource Manager cria uma fábrica de dados que contém uma Identidade Gerida.
O Data Factory .NET SDK que suporta esta funcionalidade deve ser a versão 1.1.0 ou posterior.
Para conceder permissão, necessita da função de Proprietário ou da função de Proprietário herdada na fábrica de dados onde o Runtime de Integração (RI) partilhado existe.
A funcionalidade de partilha funciona apenas para fábricas de dados dentro do mesmo inquilino Microsoft Entra.
Para utilizadores Microsoft Entra ID convidados, a funcionalidade de pesquisa na interface, que lista todas as fábricas de dados usando uma palavra-chave de pesquisa, não funciona. Mas desde que o usuário convidado seja o proprietário do data factory, você pode compartilhar o IR sem a funcionalidade de pesquisa. Para a Identidade Gerenciada da fábrica de dados que precisa compartilhar o IR, insira essa Identidade Gerenciada na caixa Atribuir Permissão e selecione Adicionar na UI do Data Factory.
Nota
Este recurso está disponível apenas no Data Factory V2.
Conteúdos relacionados
Rever conceitos de tempo de execução de integração do Azure Data Factory.
Aprenda como criar um runtime de integração auto-hospedado no portal Azure.