Transformar dados usando a atividade Script no Azure Data Factory ou no Synapse Analytics

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Você usa atividades de transformação de dados em um pipeline do Data Factory ou do Synapse para transformar e processar dados brutos em previsões e insights. A atividade Script é uma das atividades de transformação compatíveis com os pipelines. Este artigo baseia-se no artigo Transformar dados, que apresenta uma visão geral da transformação de dados e das atividades de transformação compatíveis.

Usando a atividade Script, você pode executar operações comuns com a DML (linguagem de manipulação de dados) e a DDL (linguagem de definição de dados). Instruções DML como INSERT, UPDATE, DELETE e SELECT permitem que os usuários insiram, modifiquem, excluam e recuperem dados no banco de dados. Instruções DDL como CREATE, ALTER e DROP permitem que um gerente de banco de dados crie, modifique e remova objetos de banco de dados, como tabelas, índices e usuários.

Você pode usar a atividade Script para invocar um script SQL em um dos seguintes armazenamentos de dados em sua empresa ou em uma VM (máquina virtual) Azure):

• Banco de Dados do Azure para PostgreSQL (versão 2.0)
• Banco de Dados SQL do Azure
• Azure Synapse Analytics
• banco de dados SQL Server. Se você estiver usando SQL Server, instale o runtime de integração auto-hospedada no mesmo computador que hospeda o banco de dados ou em um computador separado que tenha acesso ao banco de dados. O Integration Runtime (auto-hospedado) é um componente que conecta fontes de dados locais ou em uma VM do Azure aos serviços de nuvem de maneira segura e gerenciada. Confira o artigo Runtime de integração auto-hospedada para obter detalhes.
• Oracle
• Snowflake

O script pode conter uma única instrução SQL ou várias instruções SQL executadas sequencialmente. A tarefa Script pode ser usada para os seguintes propósitos:

• Corte uma tabela em preparação para inserir dados.
• Criar, alterar e descartar objetos de banco de dados como tabelas e exibições.
• Recriar tabelas de fatos e de dimensões antes de carregar dados nelas.
• Executar procedimentos armazenados. Se a instrução SQL invocar um procedimento armazenado que retorne resultados de uma tabela temporária, use a opção de WITH RESULT SETS para definir metadados para o conjunto de resultados.
• Salve o conjunto de linhas retornado de uma consulta como um resultado da atividade para uso posterior.

Detalhes da sintaxe

Este é o formato JSON para definir uma atividade de Script:

{ 
   "name": "<activity name>", 
   "type": "Script", 
   "linkedServiceName": { 
      "referenceName": "<name>", 
      "type": "LinkedServiceReference" 
    }, 
   "typeProperties": { 
      "scripts" : [ 
         { 
            "text": "<Script Block>", 
            "type": "<Query> or <NonQuery>", 
            "parameters":[ 
               { 
                  "name": "<name>", 
                  "value": "<value>", 
                  "type": "<type>", 
                  "direction": "<Input> or <Output> or <InputOutput>", 
                  "size": 256 
               }, 
               ... 
            ] 
         }, 
         ... 
      ],     
         ... 
         ] 
      }, 
      "scriptBlockExecutionTimeout": "<time>",  
      "logSettings": { 
         "logDestination": "<ActivityOutput> or <ExternalStore>", 
         "logLocationSettings":{ 
            "linkedServiceName":{ 
               "referenceName": "<name>", 
               "type": "<LinkedServiceReference>" 
            }, 
            "path": "<folder path>" 
         } 
      } 
    } 
} 

A seguinte tabela descreve essas propriedades JSON:

Saída de Atividade

Saída de exemplo:

{ 
    "resultSetCount": 2, 
    "resultSets": [ 
        { 
            "rowCount": 10, 
            "rows":[ 
                { 
                    "<columnName1>": "<value1>", 
                    "<columnName2>": "<value2>", 
                    ... 
                } 
            ] 
        }, 
        ... 
    ], 
    "recordsAffected": 123, 
    "outputParameters":{ 
        "<parameterName1>": "<value1>", 
        "<parameterName2>": "<value2>" 
    }, 
    "outputLogs": "<logs>", 
    "outputLogsLocation": "<folder path>", 
    "outputTruncated": true, 
    ... 
} 

Configurar a atividade de script através da interface do usuário

Script embutido

Os scripts embutidos se integram bem ao CI/CD do pipeline, pois o script é armazenado como parte dos metadados do pipeline.

Registro em log

Opções de log:

• Desabilitar – nenhuma saída de execução é registrada.
• Saída da atividade - A saída da execução do script é anexada à saída da atividade. As atividades subsequentes podem então consumi-los. O tamanho de saída é limitado a 4 MB.
• Armazenamento externo — Persiste a saída no armazenamento. Use essa opção se o tamanho da saída for maior que 2 MB ou se você quiser persistir explicitamente a saída na sua conta de armazenamento.

Conteúdo relacionado

Consulte os seguintes artigos que explicam como transformar dados de outras maneiras:

• U-SQL activity (Atividade do U-SQL)
• Hive activity (Atividade do Hive)
• Atividade do Pig
• MapReduce activity (Atividade do MapReduce)
• Hadoop Streaming activity (Atividade de streaming do Hadoop)
• Spark activity (Atividade do Spark)
• .NET atividade personalizada
• Stored procedure activity (Atividade de procedimento armazenado)