Adicionar parâmetros aos componentes do Data Factory

Parametrizar serviços vinculados no Azure Data Factory

No Azure Data Factory, é possível parametrizar um serviço ligado no qual pode passar valores dinâmicos durante a execução. Um caso de uso para esse cenário é conectar-se a vários bancos de dados diferentes que estão no mesmo servidor SQL, no qual você pode pensar em parametrizar o nome do banco de dados na definição de serviço vinculado. A vantagem de fazer isso é que você não precisa criar um único serviço vinculado para cada banco de dados que está no mesmo SQL Server.

Também é possível parametrizar outras propriedades do serviço ligado, como um nome de utilizador.

Se você decidir parametrizar serviços vinculados no Azure Data Factory, poderá fazer isso na interface do usuário do Azure Data Factory, no portal do Azure ou em uma interface de programação de sua preferência.

Se optar por criar o serviço ligado através da interface do utilizador, o Data Factory fornece parametrização incorporada para mais de 50 tipos de conectores, incluindo conectores comuns como:

• Base de Dados SQL do Azure
• Azure SQL Managed Instance
• Armazenamento de Blobs do Azure
• Azure Data Lake Storage Gen2
• Azure Cosmos DB for NoSQL
• Azure Databricks
• SQL Server
• Salesforce
• Snowflake
• HTTP genérico e REST genérico

Para a lista completa de conectores suportados nativamente, veja Parametrize linked services em Azure Data Factory.

Se fores ao painel de criação/edição do serviço associado, vais encontrar as opções para parametrização.

Se o conector que estás a usar não estiver na lista suportada nativamente, ainda podes parametrizá-lo editando o JSON através da interface de utilizador.

No painel de criação/edição de serviço vinculado, expanda Avançado na parte inferior do painel, marque a caixa de seleção Especificar conteúdo dinâmico no formato JSON e especifique a carga JSON do serviço vinculado.

Ou, depois de criar um serviço vinculado sem parametrização, no hub de gerenciamento , selecione Serviços vinculados e localize o serviço vinculado específico. Em seguida, selecione {} (botão Código) para editar o JSON.

Parâmetros globais no Azure Data Factory

A definição de parâmetros globais em um pipeline do Azure Data Factory permite que você use essas constantes para consumo em expressões de pipeline. Um caso de uso para definir parâmetros globais é quando você tem vários pipelines onde os nomes e valores dos parâmetros são idênticos.

Se você usar o processo de integração contínua e implantação contínua (CI/CD) com o Azure Data Factory, os parâmetros globais poderão ser substituídos, se desejar, para cada ambiente que você criou.

Criar parâmetros globais no Azure Data Factory

Para criar um parâmetro global, vá para a guia Parâmetros globais na seção Gerenciar. Selecione Novo para abrir o painel de menu lateral de criação.

No painel de menu lateral, insira um nome, selecione um tipo de dados e especifique o valor do parâmetro.

Depois que um parâmetro global é criado, você pode editá-lo selecionando o nome do parâmetro. Para alterar vários parâmetros juntos, selecione Editar tudo.

Usar parâmetros globais num pipeline

Quando se usam parâmetros globais num pipeline no Azure Data Factory, são principalmente referenciados em expressões de pipeline. Por exemplo, se um pipeline fizer referência a um recurso, como um conjunto de dados ou fluxo de dados, você poderá passar o valor do parâmetro global por meio do parâmetro resource. O comando ou referência de parâmetros globais no Azure Data Factory flui da seguinte maneira: pipeline().globalParameters.<parameterName>.

Parâmetros globais na CI/CD

Ao integrar parâmetros globais em um pipeline usando CI/CD com o Azure Data Factory, você tem duas maneiras de fazer isso:

• Incluir parâmetros globais no modelo do Azure Resource Manager
• Implantar parâmetros globais por meio de um script do PowerShell

Na maioria das práticas de CI/CD, é benéfico incluir parâmetros globais no modelo do Azure Resource Manager. É recomendado devido à sua integração nativa com CI/CD, onde os parâmetros globais são adicionados como um parâmetro de Modelo do Azure Resource Manager. Isso se deve a mudanças em vários ambientes que são trabalhados.

Para habilitar parâmetros globais em um modelo do Azure Resource Manager, vá para o hub de gerenciamento . Lembre-se de que, depois de adicionar parâmetros globais a um modelo do Azure Resource Manager, ele adiciona uma configuração de nível do Azure Data Factory, que pode substituir outras configurações, como configurações do git.

O caso de uso para implantar parâmetros globais por meio de um script do PowerShell pode ser porque pode-se ter as configurações descritas anteriormente habilitadas em um ambiente de alto nível, como UAT ou PROD.

Parametrizar fluxos de dados de mapeamento

No Azure Data Factory, você pode usar fluxos de dados de mapeamento, que permitem usar parâmetros. Se você definir parâmetros dentro de uma definição de fluxo de dados, poderá usá-los em expressões. Os valores dos parâmetros serão definidos pelo pipeline de chamada por meio da atividade Executar Fluxo de Dados.

Há três opções para definir os valores nas expressões de atividade de fluxo de dados:

• Use a linguagem de expressão de fluxo de controle de pipeline para definir um valor dinâmico.
• Use a linguagem de expressão de fluxo de dados para definir um valor dinâmico.
• Use qualquer linguagem de expressão para definir um valor literal estático.

A razão para parametrizar os fluxos de dados de mapeamento é garantir que os fluxos de dados sejam generalizados, flexíveis e reutilizáveis.

Criar parâmetros no fluxo de dados

Para adicionar parâmetros ao fluxo de dados, selecione a parte em branco da tela de fluxo de dados para ver as propriedades gerais.

No painel Definições, verá uma aba Parâmetros.

Selecione Novo para gerar um novo parâmetro. Para cada parâmetro, você deve atribuir um nome, selecionar um tipo e, opcionalmente, definir um valor padrão.

Atribuir parâmetros de um pipeline em um mapa de fluxo de dados

Se você criou um fluxo de dados no qual definiu parâmetros, é possível executá-lo a partir de um pipeline usando a Atividade de Fluxo de Dados de Execução.

Depois de adicionar a atividade ao painel do pipeline, encontrará os parâmetros de fluxo de dados na guia de Parâmetros da atividade.

Atribuir valores a parâmetros garante que consegue usar os parâmetros numa linguagem de expressões de pipeline ou numa linguagem de expressões de fluxo de dados baseada em tipos Spark. Você também pode combinar os dois, ou seja, o pipeline e os parâmetros de expressão de fluxo de dados.