Ambientes computacionais suportados pelos pipelines Azure Data Factory e Synapse

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Este artigo explica diferentes ambientes de computação que você pode usar para processar ou transformar dados. Ele também fornece detalhes sobre diferentes configurações (sob demanda vs. traga sua própria) suportadas ao configurar serviços associados que vinculam esses ambientes de computação.

A tabela a seguir fornece uma lista de ambientes de computação suportados e as atividades que podem ser executadas neles.

Ambiente de computação do HDInsight

Consulte a tabela abaixo para detalhes sobre os tipos de serviços ligados ao storage suportados para configuração em ambientes On-demand e BYOC (Bring your own compute).

Serviço ligado sob demanda do Azure HDInsight

Neste tipo de configuração, o ambiente computacional é totalmente gerenciado pelo serviço. Ele é criado automaticamente pelo serviço antes de um trabalho ser enviado para processar dados e removido quando o trabalho é concluído. Você pode criar um serviço vinculado para o ambiente de computação sob demanda, configurá-lo e controlar configurações granulares para execução de tarefas, gerenciamento de cluster e ações de inicialização.

O serviço pode criar automaticamente um cluster HDInsight sob demanda para processar dados. O cluster é criado na mesma região da conta de storage (propriedade linkedServiceName no JSON) associada ao cluster. A conta de armazenamento must ser uma conta de Armazenamento do Azure padrão de uso geral.

Observe os seguintes pontos importantes sobre o serviço vinculado HDInsight sob demanda:

• O cluster HDInsight sob demanda é criado sob a sua subscrição do Azure. Consegues ver o cluster no portal do Azure quando o cluster está a funcionar.
• Os registos para trabalhos executados num cluster HDInsight on-demand são copiados para a conta de storage associada ao cluster HDInsight. O clusterUserName, clusterPassword, clusterSshUserName, clusterSshPassword definidos em sua definição de serviço vinculado são usados para efetuar login no cluster para solução de problemas detalhada durante o ciclo de vida do cluster.
• Você será cobrado apenas pelo tempo em que o cluster HDInsight estiver ativo e executando trabalhos.
• Pode usar um Script Action com o serviço ligado Azure HDInsight on-demand.

Exemplo de utilização da chave da entidade de serviço

O JSON a seguir define um serviço HDInsight associado e baseado em Linux, a pedido. O serviço cria automaticamente um cluster HDInsight baseado em Linux para processar a atividade necessária.

{
  "name": "HDInsightOnDemandLinkedService",
  "properties": {
    "type": "HDInsightOnDemand",
    "typeProperties": {
      "clusterType": "hadoop",
      "clusterSize": 1,
      "timeToLive": "00:15:00",
      "hostSubscriptionId": "<subscription ID>",
      "servicePrincipalId": "<service principal ID>",
      "servicePrincipalKey": {
        "value": "<service principal key>",
        "type": "SecureString"
      },
      "tenant": "<tenant id>",
      "clusterResourceGroup": "<resource group name>",
      "clusterResourceGroupAuthType": "ServicePrincipalKey",
      "version": "3.6",
      "osType": "Linux",
      "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
      }
    },
    "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
  }
}

Exemplo de utilização da Identidade Gerida Atribuída pelo Sistema

O JSON a seguir define um serviço HDInsight associado e baseado em Linux, a pedido. O serviço cria automaticamente um cluster HDInsight baseado em Linux para processar a atividade necessária.

{
  "name": "HDInsightOnDemandLinkedService",
  "properties": {
    "type": "HDInsightOnDemand",
    "typeProperties": {
      "clusterType": "hadoop",
      "clusterSize": 1,
      "timeToLive": "00:15:00",
      "hostSubscriptionId": "<subscription ID>",
      "clusterResourceGroup": "<resource group name>",
      "clusterResourceGroupAuthType": "SystemAssignedManagedIdentity",
      "version": "3.6",
      "osType": "Linux",
      "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
      }
    },
    "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
  }
}

Exemplo de utilização da Identidade Gerida Atribuída pelo Utilizador

O JSON a seguir define um serviço HDInsight associado e baseado em Linux, a pedido. O serviço cria automaticamente um cluster HDInsight baseado em Linux para processar a atividade necessária.

{
  "name": "HDInsightOnDemandLinkedService",
  "properties": {
    "type": "HDInsightOnDemand",
    "typeProperties": {
      "clusterType": "hadoop",
      "clusterSize": 1,
      "timeToLive": "00:15:00",
      "hostSubscriptionId": "<subscription ID>",
      "clusterResourceGroup": "<resource group name>",
      "clusterResourceGroupAuthType": "UserAssignedManagedIdentity",
      "credential": {
            "referenceName": "CredentialName",
            "type": "CredentialReference"
       },
      "version": "3.6",
      "osType": "Linux",
      "linkedServiceName": {
        "referenceName": "AzureStorageLinkedService",
        "type": "LinkedServiceReference"
      }
    },
    "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
  }
}

Properties

• exemplo JSON de nomes de serviços vinculados adicionais

"additionalLinkedServiceNames": [{
    "referenceName": "MyStorageLinkedService2",
    "type": "LinkedServiceReference"          
}]

Authentication

Autenticação do principal de serviço

O serviço vinculado HDInsight sob demanda requer uma autenticação da entidade de serviço para criar clusters HDInsight em seu nome. Para utilizar a autenticação do principal de serviço, registe uma entidade de aplicação no Microsoft Entra ID e conceda-lhe o papel de Contribuidor da subscrição ou do grupo de recursos onde o cluster HDInsight está criado. Para obter etapas detalhadas, consulte Utilize o portal para criar uma aplicação da Microsoft Entra e um principal de serviço que possa aceder a recursos. Anote os seguintes valores, que você usa para definir o serviço vinculado:

• ID da aplicação
• Chave de aplicação
• ID do inquilino

Utilize a autenticação da entidade de serviço especificando as seguintes propriedades:

Autenticação de identidade gerenciada

Ao utilizar autenticação de Identidade Gerida para serviços ligados on-demand do Azure HDInsight, certifique-se de que o objeto de Identidade Gerida dispõe de acesso ao grupo de recursos com o papel de Contributor.

As contas de storage primário ADLS Gen2 suportam agora autenticação baseada em Identidade Gerida Atribuída pelo Utilizador (UAMI), além da autenticação já existente baseada em chaves. O UAMI deve ter permissões de Storage Blob Data Owner na conta principal de storage.

Limitações:

• A conta principal de storage ADLS Gen2 e o UAMI devem residir no mesmo grupo de recursos que o grupo de recursos usado para criar o cluster HDInsight sob demanda.
• O nome do objeto de credencial para o UAMI no Data Factory deve corresponder exatamente ao nome do UAMI.

Para mais informações, consulte Create Azure HDInsight - Azure Data Lake Storage Gen2 - portal e Identidades geridas em Azure HDInsight

Propriedades avançadas

Você também pode especificar as seguintes propriedades para a configuração granular do cluster HDInsight sob demanda.

• Exemplo - Configuração de cluster HDInsight sob demanda com propriedades avançadas

{
    "name": " HDInsightOnDemandLinkedService",
    "properties": {
      "type": "HDInsightOnDemand",
      "typeProperties": {
          "clusterSize": 16,
          "timeToLive": "01:30:00",
          "hostSubscriptionId": "<subscription ID>",
          "servicePrincipalId": "<service principal ID>",
          "servicePrincipalKey": {
            "value": "<service principal key>",
            "type": "SecureString"
          },
          "tenant": "<tenant id>",
          "clusterResourceGroup": "<resource group name>",
          "version": "3.6",
          "osType": "Linux",
          "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
            },
            "coreConfiguration": {
                "templeton.mapper.memory.mb": "5000"
            },
            "hiveConfiguration": {
                "templeton.mapper.memory.mb": "5000"
            },
            "mapReduceConfiguration": {
                "mapreduce.reduce.java.opts": "-Xmx4000m",
                "mapreduce.map.java.opts": "-Xmx4000m",
                "mapreduce.map.memory.mb": "5000",
                "mapreduce.reduce.memory.mb": "5000",
                "mapreduce.job.reduce.slowstart.completedmaps": "0.8"
            },
            "yarnConfiguration": {
                "yarn.app.mapreduce.am.resource.mb": "5000",
                "mapreduce.map.memory.mb": "5000"
            },
            "additionalLinkedServiceNames": [{
                "referenceName": "MyStorageLinkedService2",
                "type": "LinkedServiceReference"          
            }]
        }
    },
      "connectVia": {
      "referenceName": "<name of Integration Runtime>",
      "type": "IntegrationRuntimeReference"
    }
}

Tamanhos dos nós

Você pode especificar os tamanhos dos nós head, data e zookeeper usando as seguintes propriedades:

• Especificação do tamanho dos nós Consulte o artigo Tamanhos de Máquinas Virtuais para os valores de cadeia de caracteres que deve especificar para as propriedades mencionadas na secção anterior. Os valores precisam estar em conformidade com os CMDLETs & APIS mencionados no artigo. Como você pode ver no artigo, o nó de dados de tamanho grande (padrão) tem 7 GB de memória, o que pode não ser bom o suficiente para o seu cenário.

Se você quiser criar nós principais e nós de trabalho de tamanho D4, especifique Standard_D4 como o valor para as propriedades headNodeSize e dataNodeSize.

"headNodeSize": "Standard_D4",    
"dataNodeSize": "Standard_D4",

Se você especificar um valor errado para essas propriedades, poderá receber o seguinte erro: Falha ao criar cluster. Exceção: não foi possível concluir a operação de criação do cluster. A operação falhou com o código "400". Estado deixado pelo cluster: "Erro". Mensagem: 'PreClusterCreationValidationFailure'. Quando receber este erro, certifique-se de que está a usar o nome CMDLET & APIS da tabela no artigo Tamanhos de Máquinas Virtuais.

Traga seu próprio ambiente de computação

Neste tipo de configuração, os usuários podem registrar um ambiente de computação já existente como um serviço vinculado. O ambiente de computação é gerenciado pelo usuário e o serviço o utiliza para executar as atividades.

Este tipo de configuração é suportado para os seguintes ambientes de computação:

• Azure HDInsight
• Azure Batch
• Azure Machine Learning
• Azure Data Lake Analytics
• SQL do Azure DB, Azure Synapse Analytics, SQL Server

Azure HDInsight serviço associado

Pode criar um serviço ligado ao Azure HDInsight para registar o seu próprio cluster HDInsight numa fábrica de dados ou num espaço de trabalho Synapse.

Exemplo de uso da autenticação básica

{
    "name": "HDInsightLinkedService",
    "properties": {
      "type": "HDInsight",
      "typeProperties": {
        "clusterUri": " https://<hdinsightclustername>.azurehdinsight.net/",
        "userName": "username",
        "password": {
            "value": "passwordvalue",
            "type": "SecureString"
          },
        "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Exemplo usando a identidade gerenciada atribuída ao sistema

{
    "name": "HDInsightLinkedService",
    "properties": {
      "type": "HDInsight",
      "typeProperties": {
        "clusterUri": " https://<hdinsightclustername>.azurehdinsight.net/",
        "clusterAuthType": "SystemAssignedManagedIdentity",
        "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Exemplo usando a identidade gerenciada atribuída ao usuário

{
    "name": "HDInsightLinkedService",
    "properties": {
      "type": "HDInsight",
      "typeProperties": {
        "clusterUri": " https://<hdinsightclustername>.azurehdinsight.net/",
         "clusterAuthType": "UserAssignedManagedIdentity",
         "credential": {
                "referenceName": "CredentialName",
                "type": "CredentialReference"
            },
        "linkedServiceName": {
              "referenceName": "AzureStorageLinkedService",
              "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Properties

Authentication

O serviço ligado Armazenamento do Azure para ADLS Gen2 suporta agora identidades geridas atribuídas pelo sistema e pelo utilizador, além dos métodos de autenticação existentes. Este suporte está disponível por padrão ao usar o Azure Integration Runtime (Azure IR) e é suportado no Runtime de Integração Self-hosted (SHIR) a partir da versão 5.55.9306.2 ou posterior. Para Armazenamento de Blobs do Azure, o serviço ligado ao Armazenamento do Azure continua a suportar apenas autenticação por chave de conta. A autenticação de identidade gerida por cluster também está agora disponível por defeito ao usar o Azure IR e é suportada no SHIR a partir da versão 5.58 ou posterior. Ao criar um cluster, apenas um método de autenticação pode ser usado por cluster. Para detalhes sobre a criação e gestão de clusters com identidade gerida, veja Criar e gerir Azure HDInsight cluster com autenticação Entra ID

Azure Batch serviço associado

Pode criar um serviço associado do Azure Batch para registar um pool Batch de máquinas virtuais (VMs) num espaço de trabalho de dados ou num espaço de trabalho Synapse. Podes executar atividade personalizada usando o Azure Batch.

Consulte os seguintes artigos se for novo no serviço Azure Batch:

• Noções básicas do Azure Batch para uma visão geral do serviço Azure Batch.
• New-AzBatchAccount cmdlet para criar uma conta de Azure Batch (ou) Azure portal para criar a conta Azure Batch usando Azure portal. Consulte o artigo Using PowerShell to manage Azure Batch Account para instruções detalhadas sobre como usar o cmdlet.
• New-AzBatchPool cmdlet para criar um pool de Azure Batch.

Example

{
    "name": "AzureBatchLinkedService",
    "properties": {
      "type": "AzureBatch",
      "typeProperties": {
        "accountName": "batchaccount",
        "accessKey": {
          "type": "SecureString",
          "value": "access key"
        },
        "batchUri": "https://batchaccount.region.batch.azure.com",
        "poolName": "poolname",
        "linkedServiceName": {
          "referenceName": "StorageLinkedService",
          "type": "LinkedServiceReference"
        }
      },
      "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
  }

Properties

Machine Learning Studio (clássico) serviço associado

Cria-se um serviço ligado ao Machine Learning Studio (classic) para registar um endpoint de pontuação em lote do Machine Learning Studio (classic) numa fábrica de dados ou num espaço de trabalho Synapse.

Example

{
    "name": "AzureMLLinkedService",
    "properties": {
      "type": "AzureML",
      "typeProperties": {
        "mlEndpoint": "https://[batch scoring endpoint]/jobs",
        "apiKey": {
            "type": "SecureString",
            "value": "access key"
        }
     },
     "connectVia": {
        "referenceName": "<name of Integration Runtime>",
        "type": "IntegrationRuntimeReference"
      }
    }
}

Properties

Azure Machine Learning serviço vinculado

Cria um serviço ligado ao Azure Machine Learning para ligar um espaço de trabalho Azure Machine Learning a uma fábrica de dados ou a um espaço de trabalho Synapse.

Example

{
    "name": "AzureMLServiceLinkedService",
    "properties": {
        "type": "AzureMLService",
        "typeProperties": {
            "subscriptionId": "subscriptionId",
            "resourceGroupName": "resourceGroupName",
            "mlWorkspaceName": "mlWorkspaceName",
            "servicePrincipalId": "service principal id",
            "servicePrincipalKey": {
                "value": "service principal key",
                "type": "SecureString"
            },
            "tenant": "tenant ID"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime?",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Properties

Serviço vinculado do Azure Data Lake Analytics

Cria-se um serviço ligado Azure Data Lake Analytics para ligar um serviço de computação Azure Data Lake Analytics a uma fábrica de dados ou a um espaço de trabalho Synapse. A atividade U-SQL da Data Lake Analytics no pipeline refere-se a este serviço ligado.

Example

{
    "name": "AzureDataLakeAnalyticsLinkedService",
    "properties": {
        "type": "AzureDataLakeAnalytics",
        "typeProperties": {
            "accountName": "adftestaccount",
            "dataLakeAnalyticsUri": "azuredatalakeanalytics URI",
            "servicePrincipalId": "service principal id",
            "servicePrincipalKey": {
                "value": "service principal key",
                "type": "SecureString"
            },
            "tenant": "tenant ID",
            "subscriptionId": "<optional, subscription ID of ADLA>",
            "resourceGroupName": "<optional, resource group name of ADLA>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Properties

Serviço associado Azure Databricks

Podes criar Azure Databricks serviço ligado para registar o espaço de trabalho do Databricks que usas para executar as cargas de trabalho do Databricks (notebook, jar, python).

Exemplo - Usando novo cluster de trabalho no Databricks

{
    "name": "AzureDatabricks_LS",
    "properties": {
        "type": "AzureDatabricks",
        "typeProperties": {
            "domain": "https://eastus.azuredatabricks.net",
            "newClusterNodeType": "Standard_D3_v2",
            "newClusterNumOfWorker": "1:10",
            "newClusterVersion": "4.0.x-scala2.11",
            "accessToken": {
                "type": "SecureString",
                "value": "YourAccessToken"
            }
        }
    }
}

Exemplo - Usando cluster interativo existente no Databricks

{
    "name": " AzureDataBricksLinkedService",
    "properties": {
      "type": " AzureDatabricks",
      "typeProperties": {
        "domain": "https://westeurope.azuredatabricks.net",
        "accessToken": {
            "type": "SecureString", 
            "value": "YourAccessToken"
          },
        "existingClusterId": "{clusterId}"
        }
}

Properties

Base de Dados SQL do Azure serviço associado

Você cria um serviço vinculado do SQL do Azure e utiliza-o com a Stored Procedure Activity para invocar um procedimento armazenado a partir de um pipeline. Consulte o artigo SQL do Azure Connector para detalhes sobre este serviço ligado.

Serviço associado do Azure Synapse Analytics

Cria-se um serviço de ligação Azure Synapse Analytics que é utilizado com a Stored Procedure Activity para invocar um procedimento armazenado a partir de um pipeline. Consulte o artigo Azure Synapse Analytics Connector para detalhes sobre este serviço relacionado.

Serviço ligado ao SQL Server

Cria-se um serviço SQL Server ligado e usa-o com a Stored Procedure Activity para invocar um procedimento armazenado a partir de um pipeline. Consulte o artigo SQL Server connector para detalhes sobre este serviço ligado.

Azure Synapse Analytics (Artifacts) serviço vinculado

Cria-se um serviço vinculado ao Azure Synapse Analytics (Artefactos) e utiliza-se com a Atividade Synapse Notebook e a Atividade de Definição de Trabalho do Synapse Spark.

Example

{
    "name": "AzureSynapseArtifacts",
    "type": "Microsoft.DataFactory/factories/linkedservice",
    "properties": {
      "properties": {
        "a":{
          "type": "String"
        }
      },
        "annotations": [],
        "type": "AzureSynapseArtifacts",
        "typeProperties": {
            "endpoint": "@{linkedService().a}",
            "authentication": "MSI",
            "workspaceResourceId": ""
        },
        "ConnectVia":{
          "referenceName": "integrationRuntime1",
          "type": "IntegrationRuntimeReference"
        }
    }
}

Properties

Serviço ligado do Azure Function

Cria-se um serviço ligado ao Azure Function e utiliza-o com a atividade Azure Function para executar Funções do Azure num pipeline. O tipo de retorno da função Azure tem de ser válido JObject. (Tenha em mente que JArraynão é um JObject.) Qualquer tipo de retorno diferente de JObject irá falhar e gerará o erro do utilizador Conteúdo de resposta não é um JObject válido.

Conteúdo relacionado

Para obter uma lista das atividades de transformação suportadas, consulte Transformar dados.