Beveiligingsoverwegingen voor gegevensverplaatsing in Azure Data Factory

• Huidige versie

Van toepassing op: Azure Data Factory Azure Synapse Analytics

In dit artikel wordt de basisbeveiligingsinfrastructuur beschreven die services voor gegevensverplaatsing in Azure Data Factory gebruiken om uw gegevens te beveiligen. Data Factory-beheerbronnen zijn gebaseerd op Azure beveiligingsinfrastructuur en maken gebruik van alle mogelijke beveiligingsmaatregelen die worden aangeboden door Azure.

In een Data Factory-oplossing maakt u een of meer gegevenspijplijnen. Een pijplijn is een logische groep activiteiten die samen een taak uitvoeren. Deze pijplijnen bevinden zich in de regio waar de data factory is gecreëerd.

Hoewel Data Factory slechts in enkele regio's beschikbaar is, is de service voor gegevensverplaatsing wereldwijd beschikbaar om gegevenscompatibiliteit, efficiëntie en lagere kosten voor uitgaand netwerk te garanderen.

Azure Data Factory inclusief Azure Integration Runtime en zelf-gehoste Integration Runtime slaat geen tijdelijke gegevens, cachegegevens of logboeken op, met uitzondering van gekoppelde servicereferenties voor cloudgegevensarchieven, die via certificaten worden versleuteld. Met Data Factory maakt u gegevensgestuurde werkstromen om het verplaatsen van gegevens tussen ondersteunde gegevensarchieven en de verwerking van gegevens te organiseren met behulp van rekenservices in andere regio's of in een on-premises omgeving. U kunt ook werkstromen bewaken en beheren met behulp van SDK's en Azure Monitor.

Data Factory is gecertificeerd voor:

Als u geïnteresseerd bent in Azure naleving en hoe Azure zijn eigen infrastructuur beveiligt, gaat u naar het Microsoft Trust Center. Raadpleeg https://aka.ms/AzureCompliance voor de meest recente lijst met alle Azure complianceaanbiedingen.

In dit artikel bekijken we beveiligingsoverwegingen in de volgende twee scenario's voor gegevensverplaatsing:

• Cloudscenario: In dit scenario zijn zowel uw bron als uw bestemming openbaar toegankelijk via internet. Deze omvatten beheerde cloudopslagservices zoals Azure Storage, Azure Synapse Analytics, Azure SQL Database, Azure Data Lake Store, Amazon S3, Amazon Redshift, SaaS-services zoals Salesforce en webprotocollen zoals FTP en OData. Zoek een volledige lijst met ondersteunde gegevensbronnen in ondersteunde gegevensarchieven en -indelingen.
• Hybride scenario: In dit scenario bevindt uw bron of bestemming zich achter een firewall of in een on-premises bedrijfsnetwerk. Of het gegevensarchief bevindt zich in een particulier netwerk of virtueel netwerk (meestal de bron) en is niet openbaar toegankelijk. Databaseservers die worden gehost op virtuele machines vallen ook onder dit scenario.

Cloudscenario's

Beveiligen van inloggegevens voor datastore

• Versleutelde referenties opslaan in een door Azure Data Factory beheerde opslag. Data Factory maakt gebruik van uw gegevensopslagreferenties te beveiligen door ze te versleutelen met certificaten die worden beheerd door Microsoft. Deze certificaten worden elke twee jaar geroteerd (inclusief certificaatvernieuwing en de migratie van referenties). Zie Azure Storage beveiligingsoverzicht voor meer informatie over Azure Storage beveiliging.
• Referenties opslaan in Azure Key Vault. U kunt ook de referenties van het gegevensarchief opslaan in Azure Key Vault. Data Factory haalt de referentie op tijdens de uitvoering van een activiteit. Zie Store-referentie in Azure Key Vault voor meer informatie.

Door de opslag van toepassingsgeheimen in Azure Key Vault kunt u de distributie beheren. Key Vault vermindert de kans dat geheimen per ongeluk kunnen worden gelekt. In plaats van de connection string op te slaan in de code van de app, kunt u deze veilig opslaan in Key Vault. Met behulp van URI's hebben uw toepassingen veilig toegang tot de benodigde gegevens. Met deze URI's kunnen de toepassingen specifieke versies van een geheim ophalen. U hoeft geen aangepaste code te schrijven om de geheime gegevens te beveiligen die zijn opgeslagen in Key Vault.

Gegevensversleuteling tijdens overdracht

Als het cloudgegevensarchief HTTPS of TLS ondersteunt, worden alle gegevensoverdrachten tussen services voor gegevensverplaatsing in Data Factory en een cloudgegevensarchief uitgevoerd via een beveiligd kanaal met HTTPS of TLS.

Gegevensversleuteling in rust

Sommige gegevensarchieven ondersteunen versleuteling van gegevens in rust. U wordt aangeraden het mechanisme voor gegevensversleuteling in te schakelen voor deze gegevensarchieven.

Azure Synapse Analytics

Transparent Data Encryption (TDE) in Azure Synapse Analytics helpt beschermen tegen de bedreiging van kwaadaardige activiteiten door real-time versleuteling en ontsleuteling van uw gegevens in rusttoestand uit te voeren. Dit gedrag is transparant voor de client. Zie Secure a database in Azure Synapse Analytics voor meer informatie.

Azure SQL Database

Azure SQL Database biedt ook ondersteuning voor TDE (Transparent Data Encryption), waarmee u de bedreiging van schadelijke activiteiten kunt beschermen door realtime versleuteling en ontsleuteling van de gegevens uit te voeren, zonder dat er wijzigingen in de toepassing nodig zijn. Dit gedrag is transparant voor de client. Zie Versleuteling van transparente gegevens voor SQL Database en Data Warehouse voor meer informatie.

Azure Data Lake Store

Azure Data Lake Store biedt ook versleuteling voor gegevens die zijn opgeslagen in het account. Wanneer deze optie is ingeschakeld, versleutelt Data Lake Store automatisch gegevens voordat ze worden bewaard en ontsleuteld voordat ze worden opgehaald, zodat deze transparant is voor de client die toegang heeft tot de gegevens. Zie Security in Azure Data Lake Store voor meer informatie.

Azure Blob Storage en Azure Table Storage

Azure Blob Storage en Azure Table Storage ondersteunen Storage Service Encryption (SSE), waarmee uw gegevens automatisch worden versleuteld voordat ze worden opgeslagen en ontsleuteld voordat ze worden opgehaald. Zie Azure Storage Service Encryption for Data at Rest voor meer informatie.

Amazon S3

Amazon S3 ondersteunt zowel client- als server-side encryptie van gegevens in rust. Zie Gegevens beveiligen met behulp van versleuteling voor meer informatie.

Amazon Redshift

Amazon Redshift ondersteunt clusterversleuteling voor data-at-rest. Zie Amazon Redshift Database Encryption voor meer informatie.

Salesforce

Salesforce ondersteunt Shield Platform Encryption waarmee versleuteling van alle bestanden, bijlagen en aangepaste velden mogelijk is. Voor meer informatie, zie De OAuth-authenticatiestroom van de webserver begrijpen.

Hybride scenario's

Voor hybride scenario's moet zelf-hostende Integration Runtime worden geïnstalleerd in een on-premises netwerk, in een virtueel netwerk (Azure) of in een virtuele privécloud (Amazon). De zelf-hostende Integration Runtime moet toegang hebben tot de lokale gegevensarchieven. Voor meer informatie over zelf-hostende Integration Runtime, zie Hoe maak en configureer je een zelf-hostende Integration Runtime.

Het opdrachtkanaal maakt communicatie mogelijk tussen services voor gegevensverplaatsing in Data Factory en zelf-hostende Integration Runtime. De communicatie bevat informatie met betrekking tot de activiteit. Het gegevenskanaal wordt gebruikt voor het overdragen van gegevens tussen on-premises gegevensarchieven en cloudgegevensarchieven.

Referenties voor on-premises gegevensopslag

De referenties kunnen worden opgeslagen in data factory of worden verwezen door data factory tijdens runtime vanuit Azure Key Vault. Als u referenties opslaat in Data Factory, worden deze altijd versleuteld opgeslagen in de self-hosted Integration Runtime.

• Sla referenties lokaal op. Als u de cmdlet Set-AzDataFactoryV2LinkedService rechtstreeks gebruikt met de inline verbindingsreeksen en referenties in de JSON, wordt de gekoppelde service versleuteld en opgeslagen in de zelf-gehoste integratie-runtime. In dit geval gaan de referenties via de Azure back-end service, die zeer veilig is, naar de zelf-gehoste integratiemachine, waar ze uiteindelijk worden gecodeerd en opgeslagen. De zelf-hostende Integration Runtime maakt gebruik van Windows DPAPI om de gevoelige gegevens en referentiegegevens te versleutelen.

• Referenties opslaan in Azure Key Vault. U kunt ook de referenties van het gegevensarchief opslaan in Azure Key Vault. Data Factory haalt de referentie op tijdens de uitvoering van een activiteit. Zie Store-referentie in Azure Key Vault voor meer informatie.

• Bewaar referenties lokaal zonder dat de referenties via de Azure back-end naar de zelfgehoste integratieruntime stromen. Als u referenties lokaal wilt versleutelen en opslaan in de zelf-hostende Integration Runtime zonder dat u de referenties via de back-end van data factory hoeft te doorlopen, volgt u de stappen in Referenties versleutelen voor on-premises gegevensarchieven in Azure Data Factory. Alle connectors ondersteunen deze optie. De zelf-hostende Integration Runtime maakt gebruik van Windows DPAPI om de gevoelige gegevens en referentiegegevens te versleutelen.

• Gebruik de cmdlet New-AzDataFactoryV2LinkedServiceEncryptedCredential om gekoppelde servicereferenties en gevoelige details in de gekoppelde service te versleutelen. Vervolgens kunt u de geretourneerde JSON (met het EncryptedCredential element in de connection string) gebruiken om een gekoppelde service te maken met behulp van de cmdlet Set-AzDataFactoryV2LinkedService.

Poorten die worden gebruikt bij het versleutelen van de gekoppelde service op een zelfgehoste Integration Runtime

Wanneer externe toegang vanaf intranet is ingeschakeld, gebruikt PowerShell standaard poort 8060 op de computer met zelf-hostende Integration Runtime voor beveiligde communicatie. Indien nodig kan deze poort worden gewijzigd vanuit het Integration Runtime Configuration Manager op het tabblad Instellingen:

Versleuteling tijdens overdracht

Alle gegevensoverdrachten zijn via https en TLS via beveiligde kanalen via TCP om man-in-the-middle-aanvallen te voorkomen tijdens communicatie met Azure-services.

U kunt ook IPsec VPN of Azure ExpressRoute gebruiken om het communicatiekanaal tussen uw on-premises netwerk en Azure verder te beveiligen.

Azure Virtual Network is een logische weergave van uw netwerk in de cloud. U kunt een on-premises netwerk verbinden met uw virtuele netwerk door IPsec VPN (site-naar-site) of ExpressRoute (privépeering) in te stellen.

De volgende tabel bevat een overzicht van de aanbevelingen voor de configuratie van de netwerk- en zelf-hostende Integration Runtime op basis van verschillende combinaties van bron- en doellocaties voor hybride gegevensverplaatsing.

In de volgende afbeeldingen ziet u het gebruik van zelf-hostende Integration Runtime voor het verplaatsen van gegevens tussen een on-premises database en Azure-services met behulp van ExpressRoute en IPsec VPN (met Azure Virtual Network):

ExpressRoute

IPsec VPN

Firewallconfiguraties en acceptatielijst instellen voor IP-adressen

Firewallvereisten voor on-premises/particulier netwerk

In een onderneming wordt een bedrijfsfirewall uitgevoerd op de centrale router van de organisatie. Windows Firewall wordt uitgevoerd als een daemon op de lokale computer waarop de zelf-hostende Integration Runtime is geïnstalleerd.

De volgende tabel bevat uitgaande poort- en domeinvereisten voor bedrijfsfirewalls:

De volgende tabel bevat vereisten voor binnenkomende poorten voor Windows Firewall:

IP-configuraties en acceptatielijst instellen in gegevensarchieven

Voor sommige gegevensarchieven in de cloud is ook vereist dat u het IP-adres van de computer die toegang heeft tot het archief toestaat. Zorg ervoor dat het IP-adres van de zelf-gehoste Integration Runtime-machine in de firewall is toegestaan of geconfigureerd.

Voor de volgende cloudgegevensarchieven moet u het IP-adres van de zelf-hostende Integration Runtime-machine toestaan. Voor sommige van deze gegevensarchieven is standaard geen acceptatielijst vereist.

• Azure SQL Database
• Azure Synapse Analytics
• Azure Data Lake Store
• Azure Cosmos DB
• Amazon Redshift

Veelgestelde vragen

Kan de zelf-hostende Integration Runtime worden gedeeld in verschillende data factory's?

Ja. Hier vindt u meer informatie.

Wat zijn de poortvereisten voor de zelf-gehoste Integration Runtime om te werken?

De zelf-hostende Integration Runtime maakt HTTP-verbindingen voor toegang tot internet. De uitgaande poorten 443 moeten worden geopend voor de zelfgehoste Integration Runtime om deze verbinding te maken. Open binnenkomende poort 8060 alleen op computerniveau (niet op het niveau van de bedrijfsfirewall) voor de referentiebeheertoepassing. Als Azure SQL Database of Azure Synapse Analytics als bron of doel wordt gebruikt, moet u ook poort 1433 openen. Zie de firewallconfiguraties en de acceptatielijst voor de sectie IP-adressen voor meer informatie.

Gerelateerde inhoud

Zie Copy Activity Performance and Tuning Guide voor meer informatie over de prestaties van Azure Data Factory kopieeractiviteit.