Door de klant beheerde sleutels voor Unity Catalog

Met door de klant beheerde sleutels (CMK) voor Unity Catalog kunt u gegevens beveiligen die worden beheerd door Azure Databricks met uw eigen versleutelingssleutels. U kunt versleuteling op catalogusniveau configureren met behulp van een afzonderlijke sleutel voor elke catalogus op basis van vereisten voor gegevensgevoeligheid of naleving.

Zie klant beheerde sleutels voor versleuteling voor informatie over CMK voor beheerde services en werkruimteopslag.

tc

Wat is CMK voor Unity Catalog?

Met CMK voor Unity Catalog kunt u gegevens in Unity Catalog-catalogi beveiligen die standaard worden ondersteund door opslag met behulp van uw eigen versleutelingssleutels van Azure Key Vault.

Azure Databricks versleutelt standaard alle gegevens die op rust zijn met behulp van beheerde sleutels. Voor gedetailleerde controle kunt u met CMK een afzonderlijke door de klant beheerde sleutel configureren voor specifieke catalogi. Om toegang tot de gegevens te weigeren, verwijdert u de sleutel in Azure Key Vault.

Voordelen van CMK voor Unity Catalog

• Gedetailleerd versleutelingsbeheer: Versleuteling op catalogusniveau beheren, zodat verschillende catalogi verschillende versleutelingssleutels kunnen gebruiken op basis van vereisten voor gegevensgevoeligheid of naleving.
• Beveiliging met meerdere sleutels: CMK beveiligt uw gegevens tegen toegang op de opslaglaag. Gegevens kunnen alleen worden geopend op geautoriseerde werkruimten op basis van fijnmazige Unity Catalog-beleidsregels.
• Naleving en controle: Voldoe aan wettelijke vereisten voor door de klant beheerde versleutelingssleutels en onderhoud audittrails voor sleuteltoegang en -gebruik.
• Sleutelintrekking: De toegang tot de CMK in Azure Key Vault intrekken om het volledige eigendom van uw gegevens te behouden.
• Gecentraliseerd sleutelbeheer: Beheer alle versleutelingssleutels via Azure Key Vault, consistent met uw bestaande beveiligingsprocedures.

Hoe CMK voor Unity Catalog werkt

CMK voor Unity Catalog in Azure maakt gebruik van Azure Key Vault-sleutels en versleutelingsinstellingen op catalogusniveau om door de klant beheerde versleuteling af te dwingen. De volgende onderdelen zijn centraal in CMK voor Unity Catalog in Azure:

• Azure Key Vault-sleutels: U maakt en beheert versleutelingssleutels in Azure Key Vault. Deze sleutels maken deel uit van een versleutelingshiërarchie met meerdere sleutels die azure Databricks gebruikt om gegevens in Unity Catalog-catalogi te beveiligen.
• Directe-sleutelreferentie: U verwijst rechtstreeks naar uw Key Vault-sleutel in de catalogus met behulp van de sleutel-URI en tenant-id. Er is geen CMK-configuratieobject op accountniveau vereist.
• Azure-tenant-id: U moet uw Azure-tenant-id opgeven om Azure Databricks toegang te geven tot uw Key Vault-sleutel.
• Versleuteling op catalogusniveau: U configureert versleuteling rechtstreeks in afzonderlijke catalogi met Behulp van Catalog Explorer of de Unity Catalog-API. Wanneer u een catalogus met CMK-instellingen maakt of bijwerkt, versleutelt Azure Databricks alle gegevens die naar die catalogus worden geschreven met behulp van uw door de klant beheerde sleutel. Dit geldt alleen voor catalogi die worden ondersteund door de standaardopslag.
• Dynamische afdwinging: Wanneer gegevens naar een door CMK beveiligde catalogus worden geschreven, gebruikt Azure Databricks uw Key Vault-sleutel om de gegevens te versleutelen. Wanneer gegevens worden gelezen, vraagt Azure Databricks om ontsleuteling vanuit Azure Key Vault. Als u de toegang van Azure Databricks tot de sleutel intrekt, mislukt de ontsleuteling en worden de gegevens ontoegankelijk.

Beperkingen

• U kunt deze functie alleen configureren met behulp van de REST API. Terraform-ondersteuning is niet beschikbaar.
• Deze functie is alleen van toepassing op catalogi die door de standaardopslag worden ondersteund. Dit geldt niet voor catalogi met externe opslaglocaties.

Vereiste voorwaarden

Voordat u CMK configureert voor Unity Catalog in Azure, controleert u of u het volgende hebt:

• Azure Key Vault-sleutel: U moet een bestaande sleutel hebben in Azure Key Vault. Volg de Azure Key Vault-handleiding om indien nodig een sleutel te maken. Kopieer de sleutel-URI, die de indeling heeft: https://<vault-name>.vault.azure.net/keys/<key-name>/<key-version>.
• Azure-tenant-id: U hebt uw Azure-tenant-id nodig, die u kunt vinden in Azure Portal.
• Machtigingen voor Unity Catalog: Als u catalogi wilt maken of bijwerken met CMK, moet CREATE CATALOG u beschikken over en USE CATALOG bevoegdheden in Unity Catalog.

CMK configureren voor Unity Catalog

Volg deze stappen om door de klant beheerde sleutels te configureren voor Unity Catalog-catalogi in Azure.

Stap 1: Een nieuwe catalogus maken met CMK

Vereiste machtigingen:CREATE CATALOG in Unity Catalog

Als u een nieuwe catalogus met CMK-beveiliging wilt maken, gebruikt u de Unity Catalog-API:

curl -X POST \
  -H "Authorization: Bearer <api_token>" \
  -H "Content-Type: application/json" \
  https://<workspace_url>/api/2.1/unity-catalog/catalogs \
  -d '{
    "name": "<catalog_name>",
    "comment": "Catalog with customer-managed encryption",
    "storage_mode": "DEFAULT_STORAGE",
    "encryption_settings": {
      "azure_key_vault_key_id": "https://<vault-name>.vault.azure.net/keys/<key-name>/<key-version>",
      "azure_encryption_settings": {
        "azure_tenant_id": "<tenant-id>"
      }
    }
  }'

Vervang de volgende waarden:

• <workspace_url>: de URL van uw Azure Databricks-werkruimte
• <api_token>: uw persoonlijke toegangstoken van Azure Databricks
• <catalog_name>: De naam voor uw nieuwe catalogus (bijvoorbeeld finance_data of customer_pii)
• <vault-name>: Uw Azure Key Vault-naam
• <key-name>: Uw sleutelnaam in Azure Key Vault
• <key-version>: De specifieke versie van uw sleutel
• <tenant-id>: Uw Azure-tenant-ID

Stap 2: een bestaande catalogus bijwerken met CMK

Vereiste machtigingen:MANAGE op de catalogus of het eigendom van de catalogus

CMK-beveiliging toevoegen aan of wijzigen voor een bestaande catalogus die gebruikmaakt van standaardopslag:

1. Klik in Catalog Explorer op de naam van de catalogus.
2. Klik op het tabblad Details .
3. Klik onder Geavanceerd op Versleutelingsinstellingen.
4. Selecteer uw door de klant beheerde sleutel in het dialoogvenster.
5. Klik op Opslaan.

U kunt de sleutel die is gekoppeld aan een catalogus op elk gewenst moment wijzigen door deze stappen te herhalen. U kunt CMK niet uitschakelen nadat deze is ingeschakeld voor een catalogus.

CMK-configuratie controleren

Als u wilt controleren of uw catalogus is geconfigureerd met CMK, gebruikt u de Unity Catalog-API om de catalogusdetails op te halen:

curl -X GET \
  -H "Authorization: Bearer <api_token>" \
  -H "Content-Type: application/json" \
  "https://<workspace_url>/api/2.1/unity-catalog/catalogs/<catalog_name>"

Het antwoord bevat het encryption_settings veld voor catalogi die zijn geconfigureerd met CMK:

{
  "name": "<catalog_name>",
  "storage_mode": "DEFAULT_STORAGE",
  "encryption_settings": {
    "customer_managed_key_id": "<cmk-id>"
  }
}

Toegang tot versleutelde gegevens intrekken

Als u azure Databricks-toegang tot gegevens wilt weigeren die zijn versleuteld met uw door de klant beheerde sleutel, schakelt u uw sleutel uit in Azure Key Vault:

1. Ga in Azure Portal naar uw Key Vault.
2. Zoek uw sleutel en schakel deze uit.

Nadat u de sleutel hebt uitgeschakeld, kunnen azure Databricks geen gegevens meer ontsleutelen in catalogi met behulp van deze sleutel. Pogingen om gegevens uit deze catalogi te lezen mislukken met een ontsleutelingsfout.

Er kan een vertraging optreden tussen de tijd dat u de sleutel uitschakelt en wanneer de toegang tot gegevens wordt geweigerd.

Als u de toegang wilt herstellen, schakelt u de sleutel in Azure Key Vault opnieuw in.