タグを使用して使用状況の属性付けと追跡を行う

この記事では、タグを使用して、コンピューティング使用量を特定のワークスペース、チーム、プロジェクト、またはユーザーに属性付けして、コストの追跡と予算作成をサポートする方法について説明します。

タグには次の 2 種類があります。

  • 既定のタグ: Databricks によってクラウドにデプロイされたリソースに自動的に適用されます。 これらは、ベンダー、クラスター ID、作成者などの基本的なメタデータを提供します。
  • カスタム タグ: コンピューティング リソースとサーバーレス ワークロードに追加できるユーザー定義タグ。 これにより、詳細な追跡、レポート、予算作成が可能になります。

警告

タグ データはプレーン テキストとして格納され、グローバルにレプリケートされる場合があります。 リソースのセキュリティを損なう可能性のあるタグ名、値、または記述子は使用しないでください。 たとえば、個人または機密情報を含むタグ名、値、記述子は使用しないでください。

既定のタグ

Azure Databricksは、クラウド アカウントにデプロイするコンピューティング リソースに既定のタグを自動的に追加します。 これらのタグは、使用状況を Databricks に属性付けし、リソースに関する基本情報 (名前、ID、作成者など) を提供します。

既定のタグは、Azure ポータルでアクセスできる詳細な cost 分析レポートに自動的に反映されます。

Azure ポータルのコスト分析請求書の詳細レポートを次に示します。このレポートでは、1 か月間のコストを clusterid タグで詳細に示します。

クラスター ID 別のコスト分析

既定のタグ キーと値

Azure Databricksは、コンピューティング リソースに次の既定のタグを追加します。

タグ キー 価値
Vendor 定数値: Databricks
ClusterId Azure Databricks のクラスター内部 ID
ClusterName クラスターの名前
Creator クラスターを作成したユーザーのユーザー名 (メール アドレス)
RunName ジョブ名 (ジョブのコンピューティング時にのみ伝播されます)。 Jobs API 2.0 を使用する場合、これは run_nameと同じです。 Jobs API 2.1 では、これは task_keyです。
JobId ジョブ ID (ジョブ コンピューティングでのみ伝達)

データ プロファイルで使用されるコンピューティングには、次の追加タグが含まれます。

タグ キー 価値
LakehouseMonitoring 本当
LakehouseMonitoringTableId 監視対象テーブルの ID
LakehouseMonitoringWorkspaceId モニターが作成されたワークスペースの ID
LakehouseMonitoringMetastoreId 監視対象テーブルが存在するメタストアの ID

Azure Databricksは、プールとプールによって作成されたコンピューティング リソースに、次の既定のタグを追加します。

タグ キー 価値
Vendor 定数値: Databricks
DatabricksInstancePoolCreatorId Azure Databricks のプールを作成したユーザーの内部 ID
DatabricksInstancePoolId Azure Databricks プールの内部 ID

カスタム タグ

カスタム タグを使用すると、既定のタグよりも粒度の高い特定のチーム、プロジェクト、またはコスト センターにコンピューティング使用量を属性付けできます。 これらのタグは、ユーザーまたは管理者によって適用され、アカウントの使用状況ログと適用可能なクラウド リソースの両方に伝達されます。 これらのタグは、Azure Databricks アカウントで予算を作成および監視するためにも使用されます。

カスタム タグでサポートされているリソース

オブジェクト タグ付けインターフェイス (UI) タグ付けインターフェイス (API)
ワークスペース Azure portal Azure Resources API
プール Azure Databricks ワークスペース内のプールUI インスタンス プール API
汎用コンピューティングとジョブ計算 Azure Databricks ワークスペースのコンピューティング UI クラスター API
SQL ウェアハウス Azure Databricks ワークスペースの SQL Warehouse UI Warehouses API
データベース インスタンス Azure Databricks ワークスペースのデータベース インスタンス UI データベース インスタンス API
Lakebase 自動スケール プロジェクト Azure Databricks ワークスペースの Lakebase アプリ Postgres API

警告

キー Name を持つカスタム タグをクラスターに割り当てないでください。 すべてのクラスターには、Azure Databricksによって設定されるタグ Name があります。 キー Name に関連付けられている値を変更した場合、クラスターはAzure Databricksで追跡できなくなります。 その結果、アイドル状態になってもクラスターが終了されない可能性があり、使用コストが引き続き発生することになります。

サーバーレス コンピューティング ワークロードにタグを付けます

重要

この機能はパブリック プレビュー段階にあります。

サーバーレスコンピューティングの使用状況をユーザー、グループ、またはプロジェクトに属性付けするには、サーバーレス使用ポリシーを使用できます。 ユーザーにサーバーレス使用ポリシーが割り当てられると、サーバーレスの使用状況にポリシーのカスタム タグが自動的にタグ付けされます。 サーバーレス使用ポリシーは、サーバーレス ノートブック、ジョブ、パイプライン、およびモデル サービス エンドポイントに適用できます。

サーバーレス コンピューティングの使用状況は、アカウントの 課金対象の使用状況システム テーブルに記録されます。 従来の DBU 使用状況レポート には、サーバーレス使用状況またはサーバーレス使用状況ポリシー タグは含まれません。

サーバーレス使用ポリシーでの属性の使用に関する説明を参照してください。

タグの伝搬

ワークスペース、プール、クラスターのタグはAzure Databricksによって集計され、コスト分析レポートのAzure VM に伝達されます。 ただし、プールとクラスターのタグは相互に異なる方法で伝達されます。

ワークスペースタグとプールタグは集約され、プールをホストするAzure VM のリソース タグとして割り当てられます。

ワークスペースタグとクラスター タグは集約され、クラスターをホストするAzure VM のリソース タグとして割り当てられます。

クラスターがプールから作成される場合、ワークスペース タグとプール タグのみが VM に伝達されます。 プール クラスターの起動パフォーマンスを維持するために、クラスター タグは伝達されません。

タグ競合の解決

カスタム タグ (ワークスペース、クラスター、またはプール タグ) にAzure Databricksの既定のタグと同じキー名がある場合、伝達中にカスタム タグの前に x_ が自動的に付加されます。 既定のAzure Databricks タグは、元のキー名を保持します。

たとえば、Azure Databricksは、既定のクラスター タグ vendor = Databricks をすべてのクラスターに適用します。 カスタム ワークスペース タグ vendor = Azure Databricks を追加すると、既定の vendor タグと競合します。 Azureに反映されると、カスタム ワークスペース タグは x_vendor = Azure Databricks になり、既定のAzure Databricks タグは vendor = Databricks のままです。

警告

コンピューティング ポリシーによって追加されたカスタム タグの競合が解決されず、クラスターまたはプールが無効な設定エラーで失敗します。 コンピューティング ポリシーで競合するタグ名が追加されていないことを確認します。

タグの強制

特定のカスタム タグの使用を強制するには、コンピューティング ポリシーを使用できます。 「カスタム タグの適用」をご覧ください。 サーバーレス コンピューティング ワークロードにカスタム タグを適用するには、 サーバーレス使用ポリシーを使用します

制限事項

  • 変更後、カスタム ワークスペース タグがAzure Databricksに反映されるまでに最大 1 時間かかる場合があります。
  • Azure リソースに割り当てることができるタグは 50 個以下です。 集計されたタグの総数がこの制限個数を超えると、 x_ がプレフィックスとして付加されたタグはアルファベット順に評価され、制限個数を超えるタグは無視されます。 すべての x_ プレフィックス付きのタグを無視しても、タグの個数が制限を超えている場合、残りのタグがアルファベット順に評価され、制限個数を超えるタグは無視されます。
  • タグ キーと値には、文字、スペース、数字、または文字 +-=._:/@のみを含めることができます。 他の文字を含むタグが無効です。 これらの文字制限は、Azure Resource Managerによって設定されます。
  • タグ キー名または値を変更した場合、これらの変更は、クラスターの再起動またはプールの展開の後にのみ適用されます。
  • クラスターのカスタム タグがプールのカスタム タグと競合する場合、クラスターを作成できません。
  • 新しく追加、変更、または削除されたワークスペース タグは、既存のコンピューティング リソースに自動的に反映されません。 伝達する新しいタグを取得するには、コンピューティング リソースの詳細ページを開き、[ 編集] をクリックし、[ 確認して再起動] をクリックします。