Automatize a configuração do Unity Catalog usando o Terraform

Você pode automatizar a configuração do Unity Catalog usando o provedor Databricks Terraform. Este artigo fornece links para o guia de implantação do Unity Catalog do provedor Terraform e documentação de referência de recursos, juntamente com requisitos ("Antes de começar") e dicas de validação e implantação.

Antes de começar

Para automatizar a configuração do Unity Catalog usando o Terraform, você deve ter o seguinte:

• A sua conta Azure Databricks deve estar no plano Premium.
• No seu inquilino Azure, deve ter permissão para criar:
  • Uma conta de armazenamento para usar com o Azure Data Lake Storage. Veja Crie uma conta de armazenamento para usar com Azure Data Lake Storage.
  • Um novo recurso para manter uma identidade gerenciada atribuída ao sistema. Isso requer que tu sejas um Contributor ou Owner de um grupo de recursos em qualquer subscrição no locatário.

Para usar o provedor Databricks Terraform para configurar um metastore para o Unity Catalog, armazenamento para o metastore, qualquer armazenamento externo e todas as suas credenciais de acesso relacionadas, você deve ter o seguinte:

• Uma conta no Azure.
• Um utilizador administrador ao nível da conta na sua conta Azure.
• Na sua máquina de desenvolvimento local, precisa ter:

  • O Terraform CLI. Consulte Download Terraform no site Terraform.

  • O CLI do Azure, iniciou sessão através do comando az login com um utilizador que tem direitos Contributor ou Owner à sua subscrição. Veja Como instalar o CLI do Azure. Para iniciar sessão com uma conta de utilizador ou um principal de serviço, consulte Iniciar sessão com o CLI do Azure.

    Observação

    Quando autentica com ferramentas, sistemas, scripts e aplicações automatizados, é uma boa prática de segurança iniciar sessão através do comando az login com um princípio de serviço Microsoft Entra ID. Consulte Iniciar sessão com uma entidade de serviço e Autenticação com Entidade de Serviço do Azure.

Para usar o provedor Databricks Terraform para configurar todos os outros componentes de infraestrutura do Unity Catalog, você deve ter o seguinte:

• Um espaço de trabalho do Azure Databricks.
• Na sua máquina de desenvolvimento local, precisa ter:
  • O Terraform CLI. Consulte Download Terraform no site Terraform.
  • Um dos seguintes:

    • Interface de Linha de Comandos (CLI) Databricks versão 0.205 ou superior, configurada com o seu token de acesso pessoal do Azure Databricks executando databricks configure --host <workspace-url> --profile <some-unique-profile-name>. Consulte Instalar ou atualizar a CLI Databricks e a autenticação do token de acesso pessoal (legado).

      Observação

      Como prática recomendada de segurança, quando você se autentica com ferramentas, sistemas, scripts e aplicativos automatizados, o Databricks recomenda que você use tokens de acesso pessoal pertencentes a entidades de serviço em vez de usuários do espaço de trabalho. Para criar tokens para entidades de serviço, consulte Gerenciar tokens para uma entidade de serviço.

    • A CLI do Azure, autenticada através do comando az login. Veja Como instalar o CLI do Azure. Para iniciar sessão com uma conta de utilizador ou um principal de serviço, consulte Iniciar sessão com o CLI do Azure.

      Observação

      Quando se autenticar com ferramentas, sistemas, scripts e aplicações automatizados, é uma boa prática de segurança iniciar sessão através do comando az login com um principal de serviço Microsoft Entra ID. Consulte Iniciar sessão com um Principal de Serviço e Autenticar com um Principal de Serviço do Azure.

    • As seguintes duas variáveis de ambiente do Azure Databricks:

      • DATABRICKS_HOST, defina o valor da URL da instância do espaço de trabalho , por exemplo, https://dbc-1234567890123456.cloud.databricks.com
      • DATABRICKS_TOKEN, definido para o valor do seu token de acesso pessoal Azure Databricks ou token Microsoft Entra ID (anteriormente Azure Active Directory). Consulte também Monitorar e revogar tokens de acesso pessoal.

      Para definir essas variáveis de ambiente, consulte a documentação do seu sistema operacional.

      Observação

      Como prática recomendada de segurança, quando você se autentica com ferramentas, sistemas, scripts e aplicativos automatizados, o Databricks recomenda que você use tokens de acesso pessoal pertencentes a entidades de serviço em vez de usuários do espaço de trabalho. Para criar tokens para entidades de serviço, consulte Gerenciar tokens para uma entidade de serviço.

Guia de implantação do Unity Catalog do provedor Terraform e documentação de referência de recursos

Para saber como implantar todos os pré-requisitos e habilitar o Unity Catalog para um espaço de trabalho, consulte Implantando recursos de pré-requisito e habilitando o Unity Catalog na documentação do provedor Databricks Terraform.

Se você já tiver alguns componentes de infraestrutura do Unity Catalog instalados, poderá usar o Terraform para implantar componentes adicionais da infraestrutura do Unity Catalog conforme necessário. Consulte cada seção do guia mencionado no parágrafo anterior e a seção Catálogo Unity da documentação do provedor Databricks Terraform.

Validar, planejar, implantar ou destruir os recursos

• Para validar a sintaxe das configurações do Terraform sem implantá-las, execute o comando terraform validate.
• Para mostrar as ações que o Terraform tomaria para implantar as configurações, execute o comando terraform plan. Na verdade, esse comando não implanta as configurações.
• Para implantar as configurações, execute o comando terraform deploy.
• Para excluir os recursos implantados, execute o comando terraform destroy.