Vom Kunden verwaltete Schlüssel für Unity-Katalog

Mit kundenverwalteten Schlüsseln (CMK) für Unity Catalog können Sie von Azure Databricks verwaltete Daten mit Ihren eigenen Verschlüsselungsschlüsseln schützen. Sie können die Verschlüsselung auf Katalogebene mithilfe eines separaten Schlüssels für jeden Katalog basierend auf Datenempfindlichkeits- oder Complianceanforderungen konfigurieren.

Informationen zu CMK für verwaltete Dienste und Arbeitsbereichsspeicher finden Sie unter vom Kunden verwaltete Schlüssel für die Verschlüsselung.

tc

Was ist CMK für Unity Catalog?

MIT CMK für Unity Catalog können Sie Daten in Unity-Katalogen schützen, die standardmäßig mit Ihren eigenen Verschlüsselungsschlüsseln aus Azure Key Vault gesichert werden.

Azure Databricks verschlüsselt standardmäßig alle ruhenden Daten mithilfe von verwalteten Schlüsseln. Für detaillierte Kontrolle können Sie mit CMK einen separaten, vom Kunden verwalteten Schlüssel für bestimmte Kataloge konfigurieren. Um den Datenzugriff zu verweigern, widerrufen Sie den Schlüssel im Azure Key Vault.

Vorteile von CMK für Unity-Katalog

• Granulare Verschlüsselungskontrolle: Verwalten Sie die Verschlüsselung auf Katalogebene, sodass unterschiedliche Kataloge unterschiedliche Verschlüsselungsschlüssel basierend auf Datenempfindlichkeits- oder Complianceanforderungen verwenden können.
• Mehrschlüsselschutz: CMK sichert Ihre Daten vor zugriff auf der Speicherebene. Daten können nur in autorisierten Arbeitsbereichen gemäß detaillierten Unity-Katalogrichtlinien abgerufen werden.
• Compliance und Audit: Erfüllen Sie die gesetzlichen Anforderungen für vom Kunden kontrollierte Verschlüsselungsschlüssel und pflegen Sie Prüfspuren für den Schlüsselzugriff und die Verwendung.
• Schlüsselsperrung: Widerrufen Sie den Zugriff auf cmK in Azure Key Vault, um den vollständigen Besitz über Ihre Daten beizubehalten.
• Zentrale Schlüsselverwaltung: Verwalten Sie alle Verschlüsselungsschlüssel über Azure Key Vault, die ihren vorhandenen Sicherheitspraktiken entsprechen.

Funktionsweise von CMK im Unity-Katalog

CMK für Unity-Katalog in Azure verwendet Azure Key Vault-Schlüssel und Verschlüsselungseinstellungen auf Katalogebene, um die vom Kunden kontrollierte Verschlüsselung zu erzwingen. Die folgenden Komponenten sind für CMK für Unity-Katalog in Azure zentral:

• Azure Key Vault-Schlüssel: Sie erstellen und verwalten Verschlüsselungsschlüssel in Azure Key Vault. Diese Schlüssel sind Teil einer Mehrschlüsselverschlüsselungshierarchie, die Azure Databricks zum Schutz von Daten in Unity-Katalogen verwendet.
• Direkter Schlüsselverweis: Sie verweisen auf Ihren Key Vault-Schlüssel direkt auf dem Katalog unter Verwendung des Schlüssel-URI und der Mandanten-ID. Es ist kein CMK-Konfigurationsobjekt auf Kontoebene erforderlich.
• Azure-Mandanten-ID: Sie müssen Ihre Azure-Mandanten-ID angeben, damit Azure Databricks auf Ihren Key Vault-Schlüssel zugreifen kann.
• Verschlüsselung auf Katalogebene: Sie konfigurieren die Verschlüsselung direkt auf einzelnen Katalogen mithilfe des Katalog-Explorers oder der Unity-Katalog-API. Wenn Sie einen Katalog mit CMK-Einstellungen erstellen oder aktualisieren, verschlüsselt Azure Databricks alle Daten, die mit Ihrem vom Kunden verwalteten Schlüssel in diesen Katalog geschrieben wurden. Dies gilt nur für Kataloge, die standardmäßig gesichert werden.
• Dynamische Erzwingung: Wenn Daten in einen CMK-geschützten Katalog geschrieben werden, verwendet Azure Databricks Ihren Key Vault-Schlüssel, um die Daten zu verschlüsseln. Wenn Daten gelesen werden, fordert Azure Databricks die Entschlüsselung von Azure Key Vault an. Wenn Sie den Zugriff von Azure Databricks auf den Schlüssel widerrufen, schlägt die Entschlüsselung fehl, und auf Daten kann nicht mehr zugegriffen werden.

Einschränkungen

• Sie können dieses Feature nur mithilfe der REST-API konfigurieren. Terraform-Unterstützung ist nicht verfügbar.
• Dieses Feature gilt nur für Kataloge, die standardmäßig gesichert werden. Sie gilt nicht für Kataloge mit externen Speicherorten.

Voraussetzungen

Bevor Sie CMK für Unity-Katalog in Azure konfigurieren, vergewissern Sie sich, dass Sie über Folgendes verfügen:

• Azure Key Vault-Schlüssel: Sie müssen über einen vorhandenen Schlüssel im Azure Key Vault verfügen. Folgen Sie dem Schnellstarthandbuch für Azure Key Vault , um bei Bedarf einen Schlüssel zu erstellen. Kopieren Sie den Schlüssel-URI mit dem Format: https://<vault-name>.vault.azure.net/keys/<key-name>/<key-version>.
• Azure-Mandanten-ID: Sie benötigen Ihre Azure-Mandanten-ID, die Sie im Azure-Portal finden können.
• Unity-Katalogberechtigungen: Um Kataloge mit CMK zu erstellen oder zu aktualisieren, müssen Sie über Berechtigungen im Unity-Katalog verfügenCREATE CATALOG.USE CATALOG

Konfigurieren von CMK für Unity-Katalog

Führen Sie die folgenden Schritte aus, um vom Kunden verwaltete Schlüssel für Unity-Kataloge in Azure zu konfigurieren.

Schritt 1: Erstellen eines neuen Katalogs mit CMK

Erforderliche Berechtigungen:CREATE CATALOG im Unity-Katalog

Verwenden Sie die Unity-Katalog-API, um einen neuen Katalog mit CMK-Schutz zu erstellen:

curl -X POST \
  -H "Authorization: Bearer <api_token>" \
  -H "Content-Type: application/json" \
  https://<workspace_url>/api/2.1/unity-catalog/catalogs \
  -d '{
    "name": "<catalog_name>",
    "comment": "Catalog with customer-managed encryption",
    "storage_mode": "DEFAULT_STORAGE",
    "encryption_settings": {
      "azure_key_vault_key_id": "https://<vault-name>.vault.azure.net/keys/<key-name>/<key-version>",
      "azure_encryption_settings": {
        "azure_tenant_id": "<tenant-id>"
      }
    }
  }'

Ersetzen Sie die folgenden Werte:

• <workspace_url>: Ihre Azure Databricks-Arbeitsbereichs-URL
• <api_token>: Ihr persönliches Azure Databricks-Zugriffstoken
• <catalog_name>: Der Name für ihren neuen Katalog (z. B finance_data . oder customer_pii)
• <vault-name>: Ihr Azure Key Vault-Name
• <key-name>: Ihr Schlüsselname im Azure Key Vault
• <key-version>: Die spezifische Version Ihres Schlüssels
• <tenant-id>: Ihre Azure-Mandanten-ID

Schritt 2: Aktualisieren eines vorhandenen Katalogs mit CMK

Erforderliche Berechtigungen:MANAGE für den Katalog oder dessen Besitzrechte

So fügen Sie CMK-Schutz zu einem vorhandenen Katalog hinzu oder ändern diesen, der Standardspeicher verwendet:

1. Klicken Sie im Katalog-Explorer auf den Katalognamen.
2. Klicken Sie auf die Registerkarte "Details ".
3. Klicken Sie unter "Erweitert" auf "Verschlüsselungseinstellungen".
4. Wählen Sie im Dialogfeld Ihren vom Kunden verwalteten Schlüssel aus.
5. Klicke auf Speichern.

Sie können den einem Katalog zugeordneten Schlüssel jederzeit ändern, indem Sie diese Schritte wiederholen. Sie können CMK nicht deaktivieren, nachdem sie in einem Katalog aktiviert wurde.

Überprüfen der CMK-Konfiguration

Um zu überprüfen, ob Ihr Katalog mit CMK konfiguriert ist, verwenden Sie die Unity-Katalog-API, um die Katalogdetails abzurufen:

curl -X GET \
  -H "Authorization: Bearer <api_token>" \
  -H "Content-Type: application/json" \
  "https://<workspace_url>/api/2.1/unity-catalog/catalogs/<catalog_name>"

Die Antwort enthält das encryption_settings Feld für Kataloge, die mit CMK konfiguriert sind.

{
  "name": "<catalog_name>",
  "storage_mode": "DEFAULT_STORAGE",
  "encryption_settings": {
    "customer_managed_key_id": "<cmk-id>"
  }
}

Widerrufen des Zugriffs auf verschlüsselte Daten

Um den Zugriff von Azure Databricks auf Mit Ihrem vom Kunden verwalteten Schlüssel verschlüsselte Daten zu verweigern, deaktivieren Sie Ihren Schlüssel in Azure Key Vault:

1. Wechseln Sie im Azure-Portal zu Ihrem Key Vault.
2. Suchen Sie Ihren Schlüssel, und deaktivieren Sie ihn.

Nachdem Sie den Schlüssel deaktiviert haben, können Azure Databricks Daten in Katalogen mit diesem Schlüssel nicht mehr entschlüsseln. Alle Versuche, Daten aus diesen Katalogen zu lesen, schlagen mit einem Entschlüsselungsfehler fehl.

Es kann zu einer Verzögerung zwischen dem Zeitpunkt kommen, zu dem Sie den Schlüssel deaktivieren, bis der Datenzugriff verweigert wird.

Um den Zugriff wiederherzustellen, aktivieren Sie den Schlüssel im Azure Key Vault erneut.