Clés gérées par le client pour le catalogue Unity

Les clés gérées par le client (CMK) pour Unity Catalog vous permettent de protéger les données gérées par Azure Databricks avec vos propres clés de chiffrement. Vous pouvez configurer le chiffrement au niveau du catalogue à l’aide d’une clé distincte pour chaque catalogue en fonction des exigences de confidentialité ou de conformité des données.

Pour plus d’informations sur CMK pour les services managés et le stockage d’espace de travail, consultez clés gérées par le client pour le chiffrement.

tc

Qu’est-ce que CMK pour le catalogue Unity ?

CMK pour Unity Catalog vous permet de protéger les données dans les catalogues de catalogues Unity sauvegardés par défaut à l’aide de vos propres clés de chiffrement à partir d’Azure Key Vault.

Azure Databricks chiffre toutes les données au repos par défaut à l’aide de clés managées. Pour un contrôle granulaire, CMK vous permet de configurer une clé gérée par le client distincte pour des catalogues spécifiques. Pour refuser l’accès aux données, révoquez la clé dans Azure Key Vault.

Avantages de CMK pour le catalogue Unity

• Contrôle de chiffrement granulaire : Gérez le chiffrement au niveau du catalogue, ce qui permet à différents catalogues d’utiliser différentes clés de chiffrement en fonction de la sensibilité des données ou des exigences de conformité.
• Protection à plusieurs clés : CMK sécurise vos données par rapport à l’accès au niveau de la couche de stockage. Les données sont accessibles uniquement sur les espaces de travail autorisés en fonction des stratégies de catalogue Unity affinées.
• Conformité et audit : Respectez les exigences réglementaires pour les clés de chiffrement contrôlées par le client et gérez les pistes d’audit de l’accès et de l’utilisation des clés.
• Révocation de clé : Révoquez l’accès à la clé CMK dans Azure Key Vault pour conserver la propriété totale sur vos données.
• Gestion centralisée des clés : Gérez toutes les clés de chiffrement via Azure Key Vault, cohérentes avec vos pratiques de sécurité existantes.

Fonctionnement du catalogue CMK pour Unity

CMK pour Unity Catalog sur Azure utilise des clés Azure Key Vault et des paramètres de chiffrement au niveau du catalogue pour appliquer le chiffrement contrôlé par le client. Les composants suivants sont essentiels à CMK pour Unity Catalog sur Azure :

• Clés Azure Key Vault : Vous créez et gérez des clés de chiffrement dans Azure Key Vault. Ces clés font partie d’une hiérarchie de chiffrement à plusieurs clés utilisée par Azure Databricks pour protéger les données dans les catalogues de catalogues Unity Catalog.
• Référence de clé directe : Vous référencez votre clé Key Vault directement sur le catalogue à l’aide de l’URI de clé et de l’ID de locataire. Aucun objet de configuration CMK au niveau du compte n’est requis.
• ID de locataire Azure : Vous devez fournir votre ID de locataire Azure pour permettre à Azure Databricks d’accéder à votre clé Key Vault.
• Chiffrement au niveau du catalogue : Vous configurez le chiffrement directement sur des catalogues individuels à l’aide de l’Explorateur de catalogues ou de l’API catalogue Unity. Lorsque vous créez ou mettez à jour un catalogue avec des paramètres CMK, Azure Databricks chiffre toutes les données écrites dans ce catalogue à l’aide de votre clé gérée par le client. Cela s’applique uniquement aux catalogues soutenus par le stockage par défaut.
• Application dynamique : Lorsque les données sont écrites dans un catalogue protégé par CMK, Azure Databricks utilise votre clé Key Vault pour chiffrer les données. Lorsque les données sont lues, Azure Databricks demande le déchiffrement à partir d’Azure Key Vault. Si vous révoquez l’accès Azure Databricks à la clé, le déchiffrement échoue et les données sont inaccessibles.

Limites

• Vous ne pouvez configurer cette fonctionnalité qu’à l’aide de l’API REST. La prise en charge de Terraform n’est pas disponible.
• Cette fonctionnalité s’applique uniquement aux catalogues soutenus par le stockage par défaut. Elle ne s’applique pas aux catalogues avec des emplacements de stockage externes.

Prerequisites

Avant de configurer CMK pour Unity Catalog sur Azure, vérifiez que vous disposez des éléments suivants :

• Clé Azure Key Vault : Vous devez disposer d’une clé existante dans Azure Key Vault. Suivez le guide de démarrage rapide d’Azure Key Vault pour créer une clé si nécessaire. Copiez l’URI de clé, qui a le format : https://<vault-name>.vault.azure.net/keys/<key-name>/<key-version>.
• ID de locataire Azure : Vous avez besoin de votre ID de locataire Azure, que vous pouvez trouver dans le portail Azure.
• Autorisations du catalogue Unity : Pour créer ou mettre à jour des catalogues avec CMK, vous devez disposer CREATE CATALOG et USE CATALOG des privilèges dans le catalogue Unity.

Configurer CMK pour le catalogue Unity

Suivez ces étapes pour configurer des clés gérées par le client pour les catalogues de catalogues Unity sur Azure.

Étape 1 : Créer un catalogue avec CMK

Autorisations requises :CREATE CATALOG dans le catalogue Unity

Pour créer un catalogue avec la protection CMK, utilisez l’API catalogue Unity :

curl -X POST \
  -H "Authorization: Bearer <api_token>" \
  -H "Content-Type: application/json" \
  https://<workspace_url>/api/2.1/unity-catalog/catalogs \
  -d '{
    "name": "<catalog_name>",
    "comment": "Catalog with customer-managed encryption",
    "storage_mode": "DEFAULT_STORAGE",
    "encryption_settings": {
      "azure_key_vault_key_id": "https://<vault-name>.vault.azure.net/keys/<key-name>/<key-version>",
      "azure_encryption_settings": {
        "azure_tenant_id": "<tenant-id>"
      }
    }
  }'

Remplacez les valeurs suivantes :

• <workspace_url>: URL de votre espace de travail Azure Databricks
• <api_token>: Votre jeton d’accès personnel Azure Databricks
• <catalog_name>: nom de votre nouveau catalogue (par exemple, finance_data ou customer_pii)
• <vault-name>: Nom de votre coffre de clés Azure
• <key-name>: Nom de votre clé dans Azure Key Vault
• <key-version>: version spécifique de votre clé
• <tenant-id>: VOTRE ID de locataire Azure

Étape 2 : Mettre à jour un catalogue existant avec CMK

Autorisations requises :MANAGE sur le catalogue ou la propriété du catalogue

Pour ajouter ou modifier la protection CMK sur un catalogue existant qui utilise le stockage par défaut :

1. Dans l’Explorateur de catalogues, cliquez sur le nom du catalogue.
2. Cliquez sur l’onglet Détails .
3. Sous Avancé, cliquez sur Paramètres de chiffrement.
4. Dans la boîte de dialogue, sélectionnez votre clé gérée par le client.
5. Cliquez sur Enregistrer.

Vous pouvez modifier la clé associée à un catalogue à tout moment en répétant ces étapes. Vous ne pouvez pas désactiver CMK une fois qu’il est activé sur un catalogue.

Vérifier la configuration cmk

Pour vérifier que votre catalogue est configuré avec CMK, utilisez l’API catalogue Unity pour obtenir les détails du catalogue :

curl -X GET \
  -H "Authorization: Bearer <api_token>" \
  -H "Content-Type: application/json" \
  "https://<workspace_url>/api/2.1/unity-catalog/catalogs/<catalog_name>"

La réponse inclut le encryption_settings champ pour les catalogues configurés avec CMK :

{
  "name": "<catalog_name>",
  "storage_mode": "DEFAULT_STORAGE",
  "encryption_settings": {
    "customer_managed_key_id": "<cmk-id>"
  }
}

Révoquer l’accès aux données chiffrées

Pour refuser à Azure Databricks l’accès aux données chiffrées avec votre clé gérée par le client, désactivez votre clé dans Azure Key Vault :

1. Dans le portail Azure, accédez à votre coffre de clés.
2. Localisez votre clé et désactivez-la.

Après avoir désactivé la clé, Azure Databricks ne peut plus déchiffrer les données dans les catalogues à l’aide de cette clé. Toutes les tentatives de lecture des données de ces catalogues échouent avec une erreur de déchiffrement.

Il peut y avoir un délai entre le moment où vous désactivez la clé et lorsque l’accès aux données est refusé.

Pour restaurer l’accès, réactivez la clé dans Azure Key Vault.