Considerações de segurança para a movimentação de dados no Azure Data Factory

• Versão atual

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Este artigo descreve a infraestrutura de segurança básica que os serviços de movimentação de dados em Azure Data Factory usam para ajudar a proteger seus dados. Os recursos de gerenciamento do Data Factory são criados em Azure infraestrutura de segurança e usam todas as medidas de segurança possíveis oferecidas pelo Azure.

Em uma solução de Data Factory, você cria um ou mais pipelinesde dados. Um pipeline é um agrupamento lógico de atividades que juntas executam uma tarefa. Esses pipelines residem na região em que o Data Factory foi criado.

Mesmo que o Data Factory esteja disponível apenas em algumas regiões, o serviço de movimentação de dados é disponível globalmente para garantir a conformidade de dados, eficiência e redução dos custos de egressão de rede.

Azure Data Factory, incluindo o Azure Integration Runtime e o Integration Runtime auto-hospedado, não armazena dados temporários, dados de cache ou logs, exceto para credenciais de serviços vinculadas para armazenamentos de dados na nuvem, que são criptografadas usando certificados. Com o Data Factory, você cria fluxos de trabalho controlados por dados para orquestrar a movimentação de dados entre os armazenamentos de dados com suporte e o processamento de dados usando serviços de computação em outras regiões ou em um ambiente local. Você também pode monitorar e gerenciar fluxos de trabalho usando SDKs e Azure Monitor.

O Data Factory foi certificado para:

Se você estiver interessado na conformidade do Azure e em como o Azure protege sua própria infraestrutura, visite o Centro de Confiabilidade da Microsoft. Para obter a lista mais recente de todas as ofertas de Conformidade Azure, verifique https://aka.ms/AzureCompliance.

Neste artigo, examinamos as considerações sobre segurança nestes dois cenários de movimentação de dados:

• Cenário de nuvem: neste cenário, sua origem e destino são publicamente acessíveis por meio da Internet. Isso inclui serviços de armazenamento em nuvem gerenciado, como Armazenamento do Azure, Azure Synapse Analytics, Banco de Dados SQL do Azure, Azure Data Lake Store, Amazon S3, Amazon Redshift, serviços SaaS como Salesforce e protocolos Web, como FTP e OData. Localizar uma lista completa de fontes de dados com suporte em Armazenamentos de dados e formatos com suporte.
• Cenário híbrido: nesse cenário, sua origem ou destino está atrás de um firewall ou dentro de uma rede corporativa local. Ou, o armazenamento de dados está em uma rede particular ou rede virtual (mais frequentemente a fonte) e não está publicamente acessível. Os servidores de banco de dados hospedados em máquinas virtuais também se enquadram nesse cenário.

Cenários de nuvem

Protegendo as credenciais do armazenamento de dados

• Armazene credenciais criptografadas em um repositório gerenciado pelo Azure Data Factory. O Data Factory ajuda a proteger suas credenciais de armazenamento de dados criptografando-as com certificados gerenciados por Microsoft. Esses certificados são trocados a cada dois anos (que inclui a renovação do certificado e a migração de credenciais). Para obter mais informações sobre segurança Armazenamento do Azure, consulte Armazenamento do Azure visão geral de segurança.
• Armazene credenciais no Azure Key Vault Você também pode armazenar a credencial do repositório de dados em Azure Key Vault. O Data Factory recupera as credenciais durante a execução de uma atividade. Para obter mais informações, consulte Armazenar credencial no Azure Key Vault.

Centralizar o armazenamento de segredos do aplicativo em Azure Key Vault permite controlar a distribuição deles. Key Vault reduz muito as chances de que os segredos possam ter vazado acidentalmente. Em vez de armazenar o cadeia de conexão no código do aplicativo, você pode armazená-lo com segurança em Key Vault. Os aplicativos podem acessar com segurança as informações necessárias usando URIs. Esses URIs permitem que os aplicativos recuperem versões específicas de um segredo. Não é necessário escrever código personalizado para proteger nenhuma das informações secretas armazenadas em Key Vault.

Criptografia de dados em trânsito

Caso o armazenamento de dados em nuvem dê suporte a HTTPS ou TLS, todas as transferências de dados entre serviços de movimentação de dados no Data Factory e um armazenamento de dados em nuvem ocorrerão por meio de um canal seguro HTTPS ou TLS.

Criptografia de dados em repouso

Alguns armazenamentos de dados dão suporte à criptografia de dados em repouso. Recomendamos que você habilite o mecanismo de criptografia de dados nesses armazenamentos de dados.

Azure Synapse Analytics

Transparent Data Encryption (TDE) em Azure Synapse Analytics ajuda a proteger contra a ameaça de atividade mal-intencionada executando criptografia e descriptografia em tempo real de seus dados em repouso. Esse comportamento é transparente para o cliente. Para obter mais informações, consulte Secure um banco de dados em Azure Synapse Analytics.

Banco de Dados SQL do Azure

Banco de Dados SQL do Azure também dá suporte à TDE (transparent Data Encryption), que ajuda a proteger contra a ameaça de atividades mal-intencionadas executando criptografia e descriptografia em tempo real dos dados, sem a necessidade de alterações no aplicativo. Esse comportamento é transparente para o cliente. Para obter mais informações, consulte Transparent data encryption for SQL Database and Data Warehouse.

Repositório Azure Data Lake

Azure Data Lake Store também fornece criptografia para dados armazenados na conta. Quando habilitado, o Data Lake Store criptografa automaticamente os dados antes de persistir e descriptografar antes da recuperação, tornando-os transparentes para o cliente que acessa os dados. Para obter mais informações, consulte Security in Azure Data Lake Store.

Armazenamento Blob do Azure e Armazenamento de Tabelas do Azure

O armazenamento de Blobs do Azure e o armazenamento de Tabelas do Azure dão suporte à SSE (Criptografia do Serviço de Armazenamento), que criptografa os dados automaticamente antes de persisti-los no armazenamento e descriptografa-os antes da recuperação. Para obter mais informações, consulte Criptografia do Serviço de Armazenamento do Azure para Dados em Repouso.

Amazon S3

O Amazon S3 dá suporte à criptografia de cliente e de servidor de dados em repouso. Para obter mais informações, consulte Proteger dados usando a criptografia.

Amazon Redshift

O Amazon Redshift dá suporte à criptografia de cluster de dados em repouso. Para obter mais informações, consulte Criptografia de banco de dados do Amazon Redshift.

Salesforce

O Salesforce dá suporte à Shield Platform Encryption, que permite a criptografia de todos os arquivos, anexos e campos personalizados. Para obter mais informações, consulte Noções básicas sobre o fluxo de autenticação OAuth do Servidor Web.

Cenários híbridos

Cenários híbridos exigem que o runtime de integração auto-hospedada seja instalado em uma rede local, dentro de uma rede virtual (Azure) ou dentro de uma nuvem virtual privada (Amazon). O runtime de integração auto-hospedada deve ser capaz de acessar os armazenamentos de dados locais. Para obter mais informações sobre o runtime de integração auto-hospedada, consulte Como criar e configurar o runtime de integração auto-hospedada.

O canal de comando permite a comunicação entre os serviços de movimentação de dados no Data Factory e no runtime de integração auto-hospedada. A comunicação contém informações relacionadas à atividade. O canal de dados é usado para transferir dados entre armazenamentos de dados locais e armazenamentos de dados em nuvem.

Credenciais do armazenamento de dados local

As credenciais podem ser armazenadas no data factory ou referenciadas pelo data factory durante o runtime de Azure Key Vault. Se estiver armazenando credenciais no data factory, elas sempre serão armazenadas criptografadas no runtime de integração auto-hospedada.

• Armazenar credenciais localmente. Se você usar diretamente o cmdlet Set-AzDataFactoryV2LinkedService com as cadeias de conexão e credenciais embutidas no JSON, o serviço vinculado será criptografado e armazenado no runtime de integração auto-hospedada. Nesse caso, as credenciais fluem pelo serviço de back-end do Azure, que é extremamente seguro, para a máquina de integração auto-hospedada, onde são finalmente criptografadas e armazenadas. O runtime de integração auto-hospedada usa Windows DPAPI para criptografar os dados confidenciais e as informações de credencial.

• Armazene credenciais no Azure Key Vault. Você também pode armazenar a credencial do repositório de dados em Azure Key Vault. O Data Factory recupera as credenciais durante a execução de uma atividade. Para obter mais informações, consulte Armazenar credencial no Azure Key Vault.

• Armazene credenciais localmente sem transmitir as credenciais por meio do back-end do Azure para o Integration Runtime auto-hospedado. Se você quiser criptografar e armazenar credenciais localmente no runtime de integração auto-hospedada sem precisar transmitir as credenciais por meio do back-end do data factory, siga as etapas em Criptografar credenciais para armazenamentos de dados locais no Azure Data Factory. Todos os conectores oferecem suporte a essa opção. O runtime de integração auto-hospedada usa Windows DPAPI para criptografar os dados confidenciais e as informações de credencial.

• Utilize o cmdlet New-AzDataFactoryV2LinkedServiceEncryptedCredential para criptografar as credenciais do serviço vinculado e detalhes sensíveis no serviço vinculado. Em seguida, você pode usar o elemento JSON retornado (com o elemento EncryptedCredential no cadeia de conexão) para criar um serviço vinculado usando o cmdlet Set-AzDataFactoryV2LinkedService.

Portas usadas para criptografar o serviço vinculado no runtime de integração auto-hospedada

Por padrão, quando o acesso remoto pela intranet estiver habilitado, o PowerShell usa a porta 8060 no computador com o runtime de integração auto-hospedada para oferecer uma comunicação segura. Se necessário, essa porta pode ser alterada do Integration Runtime Gerenciador de Configurações na guia Configurações:

Criptografia em trânsito

Todas as transferências de dados são feitas por meio de um canal seguro HTTPS e TLS sobre TCP para evitar ataques de "man-in-the-middle" durante a comunicação com os serviços do Azure.

Você também pode usar IPsec VPN ou Azure ExpressRoute para proteger ainda mais o canal de comunicação entre sua rede local e Azure.

Rede Virtual do Azure é uma representação lógica da rede na nuvem. Você pode conectar uma rede local à rede virtual ao configurar a VPN IPsec (site a site) ou o ExpressRoute (emparelhamento privado).

A tabela a seguir resume as recomendações de configuração de rede e de tempo de execução de integração auto-hospedada de acordo com diferentes ambientes de origem e destino para a movimentação de dados híbridos.

As imagens a seguir mostram o uso do runtime de integração auto-hospedada para mover dados entre um banco de dados local e serviços Azure usando o ExpressRoute e a VPN IPsec (com Rede Virtual do Azure):

ExpressRoute

VPN do IPSec

Configurações de firewall e configuração de lista de permissões para endereços IP

Requisitos de firewall para a rede local/privada

Em uma empresa, um firewall corporativo é executado no roteador central da organização. Windows Firewall é executado como um daemon no computador local no qual o runtime de integração auto-hospedada está instalado.

A tabela a seguir fornece os requisitos de porta de saída e de domínio dos firewalls corporativos:

A tabela a seguir fornece requisitos de porta de entrada para Windows Firewall:

Configurações de IP e de lista de permissões em repositórios de dados

Alguns armazenamentos de dados na nuvem também exigem que você permita o endereço IP do computador que os acessa. Verifique se o endereço IP do computador do runtime de integração auto-hospedada está permitido ou configurado no firewall corretamente.

Os armazenamentos de dados na nuvem a seguir exigem que você permita o endereço IP do computador do runtime de integração auto-hospedada. Por padrão, alguns desses armazenamentos de dados poderão não exigir uma lista de permissões.

• Banco de Dados SQL do Azure
• Azure Synapse Analytics
• Azure Data Lake Store
• Azure Cosmos DB
• Amazon Redshift

Perguntas frequentes

O runtime de integração auto-hospedado pode ser compartilhado entre diferentes fábricas de dados?

Sim. Mais detalhes aqui.

Quais são os requisitos de porta para o funcionamento do runtime de integração auto-hospedada?

O runtime de integração auto-hospedada faz conexões com base em HTTP para acessar a internet. A porta de saída 443 deve ser habilitada para que o runtime de integração auto-hospedado possa fazer essa conexão. Abra a porta de entrada 8060 somente no nível do computador (não no nível de firewall corporativo) para o aplicativo gerenciador de credenciais. Se Banco de Dados SQL do Azure ou Azure Synapse Analytics for usado como origem ou destino, você também precisará abrir a porta 1433. Para obter mais informações, confira a seção Configurações de firewall e de lista de permitidos de endereços IP.

Conteúdo relacionado

Para obter informações sobre o desempenho da Atividade de Cópia do Azure Data Factory, consulte Guia de desempenho e ajuste da Atividade de Cópia.