Claves administradas por el cliente para el catálogo de Unity

Las claves administradas por el cliente (CMK) para el catálogo de Unity le permiten proteger los datos administrados por Azure Databricks con sus propias claves de cifrado. Puede configurar el cifrado en el nivel de catálogo mediante una clave independiente para cada catálogo en función de los requisitos de cumplimiento o confidencialidad de los datos.

Para obtener información sobre CMK para servicios administrados y almacenamiento del área de trabajo, consulte Claves administradas por el cliente para el cifrado.

tc

¿Qué es CMK para el catálogo de Unity?

CMK para Unity Catalog le permite proteger los datos en los catálogos de Unity Catalog respaldados por el almacenamiento predeterminado utilizando sus propias claves de cifrado de Azure Key Vault.

Azure Databricks cifra todos los datos en reposo de forma predeterminada mediante claves administradas. Para el control pormenorizado, CMK le permite configurar una clave administrada por el cliente independiente para catálogos específicos. Para denegar el acceso a los datos, revoque la clave en Azure Key Vault.

Ventajas de CMK para el catálogo de Unity

• Control de cifrado pormenorizado: Administre el cifrado en el nivel de catálogo, lo que permite que los distintos catálogos usen claves de cifrado diferentes en función de los requisitos de cumplimiento o confidencialidad de los datos.
• Protección con varias claves: CMK protege los datos frente al acceso en la capa de almacenamiento. Solo se puede acceder a los datos en áreas de trabajo autorizadas basadas en directivas de catálogo de Unity específicas.
• Cumplimiento y auditoría: Cumpla los requisitos normativos para las claves de cifrado controladas por el cliente y mantenga los seguimientos de auditoría del acceso y el uso de claves.
• Revocación de claves: Revoque el acceso a CMK en Azure Key Vault para conservar la propiedad total sobre los datos.
• Administración centralizada de claves: Administre todas las claves de cifrado a través de Azure Key Vault, de forma coherente con las prácticas de seguridad existentes.

Funcionamiento de CMK para el catálogo de Unity

CMK para el catálogo de Unity en Azure usa claves de Azure Key Vault y la configuración de cifrado de nivel de catálogo para aplicar el cifrado controlado por el cliente. Los siguientes componentes son fundamentales para CMK para el catálogo de Unity en Azure:

• Claves de Azure Key Vault: Cree y administre claves de cifrado en Azure Key Vault. Estas claves forman parte de una jerarquía de cifrado de varias claves que Azure Databricks usa para proteger los datos en catálogos de Unity.
• Referencia de clave directa: Puede hacer referencia a la clave de Key Vault directamente en el catálogo mediante el URI de clave y el identificador de inquilino. No se requiere ningún objeto de configuración cmK de nivel de cuenta.
• Identificador de inquilino de Azure: Debe proporcionar el identificador de inquilino de Azure para permitir que Azure Databricks acceda a la clave de Key Vault.
• Cifrado de nivel de catálogo: El cifrado se configura directamente en catálogos individuales mediante el Explorador de catálogos o la API de catálogo de Unity. Al crear o actualizar un catálogo con la configuración de CMK, Azure Databricks cifra todos los datos escritos en ese catálogo mediante la clave administrada por el cliente. Esto solo se aplica a los catálogos respaldados por el almacenamiento predeterminado.
• Cumplimiento dinámico: Cuando los datos se escriben en un catálogo protegido por CMK, Azure Databricks usa la clave de Key Vault para cifrar los datos. Cuando se leen los datos, Azure Databricks solicita el descifrado desde Azure Key Vault. Si revoca el acceso de Azure Databricks a la clave, se produce un error en el descifrado y los datos se vuelven inaccesibles.

Limitaciones

• Solo puede configurar esta característica mediante la API REST. La compatibilidad con Terraform no está disponible.
• Esta característica solo se aplica a los catálogos respaldados por el almacenamiento predeterminado. No se aplica a catálogos con ubicaciones de almacenamiento externas.

Prerrequisitos

Antes de configurar CMK para Unity Catalog en Azure, compruebe que tiene lo siguiente:

• Clave de Azure Key Vault: Debe tener una clave existente en Azure Key Vault. Siga la guía de inicio rápido de Azure Key Vault para crear una clave si es necesario. Copie el URI de clave, que tiene el formato : https://<vault-name>.vault.azure.net/keys/<key-name>/<key-version>.
• Identificador de inquilino de Azure: Necesita el identificador de inquilino de Azure, que puede encontrar en Azure Portal.
• Permisos del catálogo de Unity: Para crear o actualizar catálogos con CMK, debe tener CREATE CATALOG privilegios y USE CATALOG en el catálogo de Unity.

Configuración de CMK para el catálogo de Unity

Siga estos pasos para configurar claves administradas por el cliente para catálogos de Unity en Azure.

Paso 1: Crear un nuevo catálogo con CMK

Permisos necesarios:CREATE CATALOG en el catálogo de Unity

Para crear un nuevo catálogo con la protección de CMK, use la API de catálogo de Unity:

curl -X POST \
  -H "Authorization: Bearer <api_token>" \
  -H "Content-Type: application/json" \
  https://<workspace_url>/api/2.1/unity-catalog/catalogs \
  -d '{
    "name": "<catalog_name>",
    "comment": "Catalog with customer-managed encryption",
    "storage_mode": "DEFAULT_STORAGE",
    "encryption_settings": {
      "azure_key_vault_key_id": "https://<vault-name>.vault.azure.net/keys/<key-name>/<key-version>",
      "azure_encryption_settings": {
        "azure_tenant_id": "<tenant-id>"
      }
    }
  }'

Reemplace los siguientes valores:

• <workspace_url>: dirección URL del área de trabajo de Azure Databricks
• <api_token>: token de acceso personal de Azure Databricks
• <catalog_name>: el nombre del nuevo catálogo (por ejemplo, finance_data o customer_pii)
• <vault-name>: tu nombre de Azure Key Vault
• <key-name>: tu nombre de clave en Azure Key Vault
• <key-version>: la versión específica de la clave.
• <tenant-id>: identificador de inquilino de Azure

Paso 2: Actualización de un catálogo existente con CMK

Permisos necesarios:MANAGE para el catálogo o la propiedad del catálogo

Para agregar o cambiar la protección de CMK en un catálogo existente que use el almacenamiento predeterminado:

1. En el Explorador de catálogos, haga clic en el nombre del catálogo.
2. Haga clic en la pestaña Detalles .
3. En Opciones avanzadas, haga clic en Configuración de cifrado.
4. En el cuadro de diálogo, seleccione la clave administrada por el cliente.
5. Haz clic en Guardar.

Puede cambiar la clave asociada a un catálogo en cualquier momento repitiendo estos pasos. No se puede deshabilitar CMK después de habilitarlo en un catálogo.

Comprobación de la configuración de CMK

Para comprobar que el catálogo está configurado con CMK, use la API de catálogo de Unity para obtener los detalles del catálogo:

curl -X GET \
  -H "Authorization: Bearer <api_token>" \
  -H "Content-Type: application/json" \
  "https://<workspace_url>/api/2.1/unity-catalog/catalogs/<catalog_name>"

La respuesta incluye el encryption_settings campo para los catálogos configurados con CMK:

{
  "name": "<catalog_name>",
  "storage_mode": "DEFAULT_STORAGE",
  "encryption_settings": {
    "customer_managed_key_id": "<cmk-id>"
  }
}

Revocar el acceso a los datos cifrados

Para denegar el acceso de Azure Databricks a los datos cifrados con la clave administrada por el cliente, deshabilite la clave en Azure Key Vault:

1. En Azure Portal, vaya a Key Vault.
2. Busque la clave y deshabilitela.

Después de deshabilitar la clave, Azure Databricks ya no puede descifrar datos en catálogos mediante esta clave. Los intentos de leer datos de estos catálogos producen un error de descifrado.

Es posible que haya un retraso entre el momento en que deshabilite la clave y cuando se deniegue el acceso a los datos.

Para restaurar el acceso, vuelva a habilitar la clave en Azure Key Vault.