Partilhar via

Metadados de gatilho de referência em execuções de pipeline

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Gorjeta

Data Factory em Microsoft Fabric é a próxima geração de Azure Data Factory, com uma arquitetura mais simples, IA incorporada e novas funcionalidades. Se és novo na integração de dados, começa pelo Fabric Data Factory. As cargas de trabalho existentes do ADF podem atualizar para o Fabric para aceder a novas capacidades em ciência de dados, análise em tempo real e relatórios.

Este artigo descreve como os metadados do disparador, tal como a hora de início do disparador, podem ser utilizados numa execução de pipeline.

Às vezes, um pipeline precisa compreender e ler os metadados do gatilho que o aciona. Por exemplo, com uma execução de gatilho de janela deslizante, baseada no tempo de início e fim da janela, o pipeline processa diferentes seções de dados ou pastas. Em Azure Data Factory, usamos parametrização e variáveis sistema para passar metadados dos triggers para os pipelines.

Esse padrão é especialmente útil para gatilhos de janela de tombamento, onde o gatilho fornece a hora de início e término da janela, e gatilhos de evento personalizados, onde o gatilho analisa e processa valores em um campo de dados personalizado.

Nota

Diferentes tipos de gatilho fornecem diferentes informações de metadados. Para obter mais informações, consulte Variáveis do sistema.

Interface do Utilizador do Data Factory

Esta seção mostra como passar informações de metadados dos gatilhos para os pipelines, na interface do utilizador do Data Factory.

  1. Vá para a Área de Criação e edite um pipeline.

  2. Selecione o quadro em branco para abrir as definições do pipeline. Não selecione nenhuma atividade. Talvez seja necessário puxar o painel de configuração da parte inferior da tela, pois ele pode estar recolhido.

  3. Selecione a guia Parâmetros e selecione + Novo para adicionar parâmetros.

    Captura de tela que mostra uma configuração de pipeline mostrando como definir parâmetros em um pipeline.

  4. Adicione gatilhos ao pipeline selecionando + Trigger.

  5. Crie ou anexe um gatilho ao pipeline e selecione OK.

  6. Depois de selecionar OK, aparece uma nova página de Novo gatilho com uma lista dos parâmetros especificados para o pipeline, conforme mostrado na captura de tela a seguir. Nessa página, preencha os metadados do gatilho para cada parâmetro. Use o formato definido em Variáveis do sistema para recuperar informações de gatilho. Você não precisa preencher as informações para todos os parâmetros. Basta preencher os que irão assumir valores de metadados de gatilho. Por exemplo, aqui atribuímos a hora de início da execução do gatilho a parameter_1.

    Captura de ecrã que mostra a página de Parâmetros de Execução do Trigger, demonstrando como passar informações de gatilho para os parâmetros do pipeline.

  7. Para usar os valores no pipeline, utilize parâmetros, como @pipeline().parameters.parameterName, não variáveis de sistema, em definições de pipeline. Por exemplo, neste caso, para ler a hora de início do gatilho, referimo-nos a @pipeline().parameters.parameter_1.

Esquema do JSON

Para passar informações de gatilho para execuções de pipelines, tanto o gatilho quanto o JSON do pipeline precisam ser atualizados com a seção parameters.

Definição de canalização

Na seção properties, adicione definições de parâmetros à seção parameters.

{
    "name": "demo_pipeline",
    "properties": {
        "activities": [
            {
                "name": "demo_activity",
                "type": "WebActivity",
                "dependsOn": [],
                "policy": {
                    "timeout": "7.00:00:00",
                    "retry": 0,
                    "retryIntervalInSeconds": 30,
                    "secureOutput": false,
                    "secureInput": false
                },
                "userProperties": [],
                "typeProperties": {
                    "url": {
                        "value": "@pipeline().parameters.parameter_1",
                        "type": "Expression"
                    },
                    "method": "GET"
                }
            }
        ],
        "parameters": {
            "parameter_1": {
                "type": "string"
            },
            "parameter_2": {
                "type": "string"
            },
            "parameter_3": {
                "type": "string"
            },
            "parameter_4": {
                "type": "string"
            },
            "parameter_5": {
                "type": "string"
            }
        },
        "annotations": [],
        "lastPublishTime": "2021-02-24T03:06:23Z"
    },
    "type": "Microsoft.DataFactory/factories/pipelines"
}

Definição do gatilho

Na seção pipelines, atribua valores de parâmetro na seção parameters. Você não precisa preencher as informações para todos os parâmetros. Basta preencher os que irão assumir valores de metadados de gatilho.

{
    "name": "trigger1",
    "properties": {
        "annotations": [],
        "runtimeState": "Started",
        "pipelines": [
            {
                "pipelineReference": {
                    "referenceName": "demo_pipeline",
                    "type": "PipelineReference"
                },
                "parameters": {
                    "parameter_1": "@trigger().startTime"
                }
            }
        ],
        "type": "ScheduleTrigger",
        "typeProperties": {
            "recurrence": {
                "frequency": "Minute",
                "interval": 15,
                "startTime": "2021-03-03T04:38:00Z",
                "timeZone": "UTC"
            }
        }
    }
}

Usar informações de gatilho num pipeline

Para usar os valores em um pipeline, utilize parâmetros, como @pipeline().parameters.parameterName, não variáveis de sistema, em definições de pipeline.

Conteúdos relacionados

Para obter mais informações sobre gatilhos, consulte Execução de pipelines e gatilhos.

  • Last updated on