Usar tags para atribuir e rastrear o uso

Este artigo explica como usar tags para atribuir o uso de computação a espaços de trabalho, equipes, projetos ou usuários específicos para dar suporte ao controle de custos e orçamento.

Existem dois tipos de tags:

  • Tags padrão: aplicadas automaticamente pelo Databricks a recursos implantados na nuvem. Eles fornecem metadados básicos, como fornecedor, ID de cluster e criador.
  • Tags personalizadas: tags definidas pelo usuário que você pode adicionar a recursos de computação e cargas de trabalho sem servidor. Eles permitem o acompanhamento, a geração de relatórios e o orçamento granulares.

Aviso

Os dados da tag são armazenados como texto sem formatação e podem ser replicados globalmente. Não utilize nomes, valores ou descritores de etiquetas que possam comprometer a segurança dos seus recursos. Por exemplo, não use nomes de tags, valores ou descritores que contenham informações pessoais ou confidenciais.

Tags padrão

O Azure Databricks adiciona automaticamente etiquetas por defeito aos recursos de computação que implementa na sua conta na nuvem. Essas tags atribuem o uso ao Databricks e fornecem informações básicas sobre o recurso, como nome, ID e criador.

As etiquetas padrão propagam-se automaticamente para relatórios detalhados de análise de custos que pode aceder-lhes no portal do Azure.

Aqui está um relatório detalhado da análise de custos das faturas no portal Azure que detalha o custo por etiqueta clusterid ao longo de um período de um mês:

Análise de custos por ID de cluster

Chaves e valores de tag padrão

O Azure Databricks adiciona as seguintes etiquetas padrão aos recursos computados:

Chave de etiqueta Valor
Vendor Valor constante: Databricks
ClusterId ID interno do cluster do Azure Databricks
ClusterName Nome do Cluster
Creator Nome de usuário (endereço de e-mail) do usuário que criou o cluster
RunName Nome do trabalho (propaga-se apenas no cálculo de tarefas). Se você usar a API de trabalhos 2.0, isso será equivalente a run_name. Na API de Jobs 2.1, é o task_key.
JobId ID da tarefa (propaga-se apenas no processamento de tarefas)

A computação usada pela criação de perfil de dados inclui estas tags adicionais:

Chave de etiqueta Valor
LakehouseMonitoring verdadeiro
LakehouseMonitoringTableId ID da tabela monitorada
LakehouseMonitoringWorkspaceId ID do espaço de trabalho onde o monitor foi criado
LakehouseMonitoringMetastoreId ID do metastore onde a tabela monitorada existe

O Azure Databricks adiciona as seguintes etiquetas padrão aos pools e aos recursos de computação criados pelos pools.

Chave de etiqueta Valor
Vendor Valor constante: Databricks
DatabricksInstancePoolCreatorId ID interno do Azure Databricks do utilizador que criou o pool
DatabricksInstancePoolId Identificador interno do pool do Azure Databricks

Tags personalizadas

As tags personalizadas permitem atribuir o uso de computação a equipes, projetos ou centros de custo específicos com mais granularidade do que as tags padrão. Essas tags são aplicadas por usuários ou administradores e se propagam para os logs de uso da sua conta e para os recursos de nuvem aplicáveis. Estas etiquetas também são usadas para criar e monitorizar orçamentos na sua conta Azure Databricks.

Recursos suportados para tags personalizadas

Objeto Interface de marcação (UI) Interface de marcação (API)
Área de trabalho portal do Azure API de Recursos do Azure
Piscina Interface de Pools no espaço de trabalho do Azure Databricks API do conjunto de instâncias
Computação versátil e para tarefas Compute UI no espaço de trabalho do Azure Databricks API de Clusters
Armazém SQL Interface de SQL warehouse no espaço de trabalho do Azure Databricks API de Armazéns
Instância do banco de dados Interface de instância de base de dados na área de trabalho do Azure Databricks API de instâncias de banco de dados
Projeto Lakebase Autoscaling Lakebase App no espaço de trabalho Azure Databricks Postgres API

Aviso

Não atribua uma tag personalizada com a chave Name a um cluster. Cada cluster tem uma etiqueta Name cujo valor é definido por Azure Databricks. Se alterar o valor associado à chave Name, o cluster deixa de ser rastreado por Azure Databricks. Como consequência, o cluster pode não ser encerrado depois de ficar ocioso e continuará a incorrer em custos de uso.

Marcar cargas de trabalho de computação sem servidor

Importante

Este recurso está em Public Preview.

Para atribuir a utilização de computação sem servidor a utilizadores, grupos ou projetos, pode usar políticas de utilização sem servidor. Quando um utilizador recebe uma política de utilização serverless, a sua utilização serverless é automaticamente associada às tags personalizadas da política. As políticas de utilização serverless podem ser aplicadas a notebooks serverless, jobs, pipelines e endpoints de serviço de modelos.

Observação

O uso de computação sem servidor é registrado na tabela do sistema de uso faturável da sua conta. Os relatórios de utilização antigos da DBU não incluem tags de utilização serverless nem de política de utilização serverless.

Veja Utilização de atributos com políticas de uso serverless.

Propagação de etiquetas

As etiquetas de workspace, pool e cluster são agregadas por Azure Databricks e, para relatórios de análise de custos, propagadas para Azure VMs. Mas as tags de pool e cluster são propagadas de forma diferente uma da outra.

As tags de workspace e pool são agregadas e atribuídas como resource tags das VMs do Azure que alojam os pools.

As etiquetas de workspace e cluster são agregadas e atribuídas como etiquetas de recurso das VMs do Azure que alojam os clusters.

Quando os clusters são criados a partir de conjuntos, apenas as etiquetas da área de trabalho e as etiquetas de conjunto são propagadas para as VMs. As tags de cluster não são propagadas para preservar o desempenho de inicialização do cluster de pool.

Resolução de conflitos de etiquetas

Quando uma etiqueta personalizada (workspace, cluster ou pool) tem o mesmo nome de chave que uma etiqueta Azure Databricks padrão, a etiqueta personalizada é automaticamente prefixada com x_ durante a propagação. A etiqueta padrão Azure Databricks mantém o nome original da chave.

Por exemplo, Azure Databricks aplica um tag de cluster padrão vendor = Databricks a todos os clusters. Se adicionares uma etiqueta de espaço de trabalho personalizada vendor = Azure Databricks, isso entra em conflito com a etiqueta padrão vendor. Quando propagada para Azure, a etiqueta de espaço de trabalho personalizada torna-se x_vendor = Azure Databricks, enquanto a etiqueta Azure Databricks padrão mantém-se como vendor = Databricks.

Aviso

Tags personalizadas conflitantes adicionadas por meio de políticas de computação não são resolvidas, fazendo com que o cluster ou pool falhe com um erro de configurações inválidas. Certifique-se de que suas políticas de computação não adicionem nomes de tags conflitantes.

Implementação de tags

Para impor o uso de tags personalizadas específicas, você pode usar políticas de computação. Consulte a imposição de "tags" personalizadas em . Para aplicar etiquetas personalizadas em workloads computacionais serverless, utilize políticas de utilização serverless.

Limitações

  • Pode demorar até uma hora para que as tags personalizadas do workspace se propaguem para o Azure Databricks após qualquer alteração.
  • Não podem ser atribuídas mais de 50 etiquetas a um recurso Azure. Se a contagem geral de tags agregadas exceder esse limite, x_tags prefixadas serão avaliadas em ordem alfabética e as que excederem o limite serão ignoradas. Se todas as tags prefixadas x_forem ignoradas e a contagem estiver acima do limite, as tags restantes serão avaliadas em ordem alfabética e as que excederem o limite serão ignoradas.
  • As chaves e valores de tag só podem conter letras, espaços, números ou os caracteres +, -, =, ., _, :, /, @. As tags que contêm outros caracteres são inválidas. Estas restrições de carácter são definidas pelo Azure Resource Manager.
  • Se você alterar nomes ou valores de chaves de tag, essas alterações se aplicarão somente após a reinicialização do cluster ou a expansão do pool.
  • Se as tags personalizadas do cluster entrarem em conflito com as tags personalizadas de um pool, o cluster não poderá ser criado.
  • As tags de espaço de trabalho recém-adicionadas, modificadas ou excluídas não se propagam automaticamente para recursos de computação existentes. Para obter novas tags para propagar, abra a página de detalhes do recurso de computação, clique em Editar e, em seguida, em Confirmar e reiniciar.