ワークスペース ストレージ アカウントのファイアウォール サポートを有効にする

各Azure Databricks ワークスペースには、workspace ストレージ アカウントと呼ばれるマネージド リソース グループ内のAzure ストレージ アカウントが関連付けられています。 このアカウントには、ワークスペース システム データ (ジョブ出力、システム設定、ログ)、Databricks ファイル システム ルート、場合によっては Unity カタログ ワークスペース カタログが含まれます。 ワークスペース ストレージ アカウントへのアクセスは、Azure CLIまたは PowerShell を使用して、承認されたリソースとネットワークのみに制限できます。

ワークスペース ストレージ アカウントのファイアウォールサポートとは

既定では、ワークスペース ストレージ アカウントは、すべてのネットワークからの認証された接続を受け入れます。 ファイアウォールのサポートを有効にすると、Azure Databricksはパブリック ネットワーク アクセスをブロックし、承認されたリソースにのみアクセスを制限します。 ストレージ アカウントをプライベートにする必要があるAzure ポリシーが組織にある場合は、これを構成できます。

ファイアウォールのサポートが有効になっている場合、ワークスペース ストレージ アカウントにアクセスする必要があるAzure Databricks外のサービスでは、Private Linkでプライベート エンドポイントを使用する必要があります。 サーバーレス コンピューティングAzure Databricks、ワークスペース ストレージ アカウントにアクセスするには、サービス エンドポイントまたはプライベート エンドポイントを使用する必要があります。

Azure Databricksは、AzureマネージドIDを持つアクセスコネクタを作成して、ワークスペースストレージアカウントにアクセスします。

要件

• ワークスペースで、従来のコンピューティング プレーンからの接続に対して VNet インジェクションを有効にする必要があります。

• ワークスペースで、従来のコンピューティング プレーンからの接続に対して安全なクラスター接続 (パブリック IP/NPIP なし) を有効にする必要があります。

• ワークスペースは Premium プランに配置されている必要があります。

• ストレージ アカウントのプライベート エンドポイント用に個別のサブネットが必要です。 これは、基本的なAzure Databricks機能の主な 2 つのサブネットに加えて行われます。

  サブネットは、ワークスペースと同じ VNet 内、またはワークスペースがアクセスできる別の VNet 内にある必要があります。 最小サイズの /28 を CIDR 表記で使用します。

• Microsoft Fabric Power BI サービスで Cloud Fetch を使用している場合は、常にゲートウェイを使用してワークスペース ストレージ アカウントへのプライベート アクセスを行うか、Cloud Fetch を無効にする必要があります。 「手順 2 (推奨): Cloud Fetch クライアント VNet のプライベート エンドポイントを構成する」を参照してください。

• Azure CLIまたは PowerShell のデプロイ方法では、既定のワークスペース ストレージ ファイアウォールを有効にする前に、Azure Databricks アクセス コネクタを作成し、そのリソース ID を保存する必要があります。 これには、システム割り当てマネージド ID またはユーザー割り当てマネージド ID のいずれかを使用する必要があります。 「Access Connector for Databricks を参照してください。 マネージド リソース グループで Azure Databricks アクセス コネクタを使用することはできません。

ストレージ アカウントにAzure Databricks外のサービスを接続する

手順 1: ストレージ アカウントへのプライベート エンドポイントを作成する

ターゲット サブリソースの値 (dfs と blob) の VNet インジェクションに使用した VNet からワークスペース ストレージ アカウントへの 2 つのプライベート エンドポイントを作成します。

1. ワークスペースに移動します。

2. Essentials で、管理対象リソース グループの名前をクリックします。

3. [ リソース] で、ワークスペース ストレージ アカウントの名前を書き留めます。 通常、名前は dbstorage で始まります。

4. ポータルの上部にある検索ボックスに、「 プライベート エンドポイント」と入力して選択します。

5. をクリックしてを作成します。

6. [リソース グループ名] フィールドで、リソース グループを設定します。

   重要

   このリソース グループは、ワークスペース ストレージ アカウントが存在する管理対象リソース グループと同じにすることはできません。

7. [ 名前 ] フィールドに、このプライベート エンドポイントの一意の名前を入力します。

   • ソース ネットワークごとに作成する最初のプライベート エンドポイントに対して、DFS エンドポイントを作成します。 Azure Databricksでは、サフィックス -dfs-peを追加することをお勧めします。
   • ソース ネットワークごとに作成する 2 番目のプライベート エンドポイントに対して、BLOB エンドポイントを作成します。 Azure Databricksでは、サフィックス -blob-peを追加することをお勧めします。

   ネットワーク インターフェイス名フィールドが自動的に設定されます。

8. リージョン フィールドをワークスペースのリージョンに設定します。

9. [ 次へ: リソース] をクリックします。

10. 接続方法で、ディレクトリ内のAzure リソースに接続を選択します

11. [ サブスクリプション] で、ワークスペースが存在するサブスクリプションを選択します。

12. Resource type で、Microsoft.Storage/storageAccounts を選択します。

13. [リソース] で、ワークスペース ストレージ アカウントを選択します。

14. [ターゲット サブリソース] で、ターゲット リソースの種類を選択します。

    • ソース ネットワークごとに作成する最初のプライベート エンドポイントに対して、これを dfs に設定します。
    • ソース ネットワークごとに作成する 2 番目のプライベート エンドポイントに対して、これを BLOB に設定します。

15. [Next: Virtual Network をクリックします。

16. [仮想ネットワーク] フィールドで、VNet を選択します。

17. [サブネット] フィールドで、ストレージ アカウントのプライベート エンドポイントに対して持っている別のサブネットにサブネットを設定します。

    このフィールドにはプライベート エンドポイントのサブネットが自動的に設定される場合がありますが、明示的に設定する必要がある場合があります。 基本的なAzure Databricks ワークスペース機能には、2 つのワークスペース サブネットを使用しないでください。これは通常、private-subnet と public-subnet と呼ばれます。

18. 必要に応じて、 プライベート IP 構成 と アプリケーション セキュリティ グループ の既定値を変更します。

19. [ 次へ: DNS] をクリックします。 [DNS] タブには、以前に選択した適切なサブスクリプションとリソース グループが自動的に設定されます。 必要に応じて変更します。

    注

    ターゲット サブリソースの種類 (dfs または BLOB) のプライベート DNS ゾーンがワークスペース VNet にアタッチされていない場合、Azureは新しいプライベート DNS ゾーンを作成します。 そのサブリソースの種類のプライベート DNS ゾーンがワークスペース VNet に既に存在する場合は、Azure自動的に選択されます。 VNet は、サブリソースの種類ごとに 1 つのプライベート DNS ゾーンのみを持つことができます。

20. [ 次へ: タグ] をクリックし、必要に応じてタグを追加します。

21. [ 次へ: 確認と作成 ] をクリックし、フィールドを確認します。

22. Create をクリックしてください。

手順 2 (推奨): Cloud Fetch クライアント VNet のプライベート エンドポイントを構成する

クラウド フェッチは、ODBC と JDBC のメカニズムであり、クラウド ストレージを介してデータを並列にフェッチして、データをより迅速に BI ツールに配信します。 BI ツールから 100 MB を超えるクエリ結果をフェッチする場合は、Cloud Fetch を使用している可能性があります。

Cloud Fetch を使用する場合は、Cloud Fetch クライアントの VNet からワークスペース ストレージ アカウントへのプライベート エンドポイントを作成します。

Cloud Fetch クライアントのソースネットワークごとに、2 つの異なる ターゲット サブリソース 値：dfs と blob を使用する 2 つのプライベート エンドポイントを作成します。 詳細な手順については、「 手順 1: ストレージ アカウントへのプライベート エンドポイントを作成 する」を参照してください。 これらの手順では、プライベート エンドポイントの作成時に [仮想ネットワーク] フィールドに対して、クラウド フェッチ クライアントごとにソース VNet を指定してください。

手順 3: エンドポイントの承認を確認する

ストレージ アカウントに対するすべてのプライベート エンドポイントを作成した後、それらが承認されていることを確認します。 自動承認するか、ストレージ アカウントで承認が必要になる場合があります。

1. Azure ポータルでワークスペースに移動します。
2. Essentials で、管理対象リソース グループの名前をクリックします。
3. [リソース] で、名前がで始まるdbstorageの種類のリソースをクリックします。
4. サイドバーで [ネットワーク] をクリックします。
5. [プライベート エンドポイント接続] をクリックします。
6. 接続状態を確認して「承認済み」と表示されていることを確認するか、接続状態を選択して [承認] をクリックします。

サーバーレス コンピューティングからの接続

ファイアウォールのサポートを有効にすると、Azure Databricksは、AzureDatabricksServerless サービス タグを許可するネットワーク セキュリティ境界にワークスペース ストレージ アカウントを自動的にオンボードします。 これにより、サーバーレス コンピューティングAzure Databricksサービス エンドポイント経由で接続できます。 代わりにプライベート エンドポイント経由で接続するには、Azure Databricks アカウント チームにお問い合わせください。

独自のネットワーク セキュリティ境界を管理する場合は、Azure Databricksプロビジョニングされたネットワーク セキュリティ境界をデタッチし、独自のネットワーク セキュリティ境界をアタッチできます。 切り替えると、サービスが短時間一時停止します。 交換するネットワーク セキュリティ境界を事前に準備し、メンテナンス期間を計画します。

Azure CLIを使用したストレージ ファイアウォールのサポートを可能にします

• システム割り当て ID でアクセス コネクタを使用してファイアウォールのサポートを有効にするには、次Cloud Shell実行します。

  az databricks workspace update \
     --resource-group "<resource-group-name>" \
     --name "<workspace-name>" \
     --subscription "<subscription-id>" \
     --default-storage-firewall "Enabled" \
     --access-connector "{\"id\":\"/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.Databricks/accessConnectors/<access-connector-name>\", \"identity-type\":\"SystemAssigned\"}"
  

• ユーザー割り当て ID でアクセス コネクタを使用してファイアウォールのサポートを有効にするには、次Cloud Shell実行します。

  az databricks workspace update \
  --resource-group "<resource-group-name>" \
  --name "<workspace-name>" \
  --subscription "<subscription-id>" \
  --default-storage-firewall "Enabled" \
  --access-connector "{\"id\":\"/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.Databricks/accessConnectors/<access-connector-name>\", \"identity-type\":\"UserAssigned\", \"user-assigned-identity-id\":\"/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<managed-identity-name>\"}"
  

• アクセス コネクタを使用してファイアウォールのサポートを無効にするには、Cloud Shell実行します。

  az databricks workspace update \
     --name "<workspace-name>" \
     --subscription "<subscription-id>" \
     --resource-group "<resource-group-name>" \
     --default-storage-firewall "Disabled"
  

PowerShell を使用してストレージ ファイアウォールのサポートを有効にする

• システム割り当て ID でアクセス コネクタを使用してファイアウォールのサポートを有効にするには、次Cloud Shell実行します。

  Update-AzDatabricksWorkspace `
     -Name "<workspace-name>" `
     -ResourceGroupName "<resource-group-name>" `
     -SubscriptionId "<subscription-ID>" `
     -Sku "Premium" `
     -AccessConnectorId "/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.Databricks/accessConnectors/<access-connector-name>" `
     -AccessConnectorIdentityType "SystemAssigned" `
     -DefaultStorageFirewall "Enabled"
  

• ユーザー割り当て ID でアクセス コネクタを使用してファイアウォールのサポートを有効にするには、次Cloud Shell実行します。

  Update-AzDatabricksWorkspace `
     -Name "<workspace-name>" `
     -ResourceGroupName "<resource-group-name>" `
     -SubscriptionId "<subscription-ID>" `
     -Sku "Premium" `
     -AccessConnectorId "/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.Databricks/accessConnectors/<access-connector-name>" `
     -AccessConnectorIdentityType "UserAssigned" `
     -AccessConnectorUserAssignedIdentityId "/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<managed-identity-name>" `
     -DefaultStorageFirewall "Enabled"
  

• アクセス コネクタを使用してファイアウォールのサポートを無効にするには、Cloud Shell実行します。

  Update-AzDatabricksWorkspace `
     -Name "<workspace-name>" `
     -ResourceGroupName "<resource-group-name>" `
     -SubscriptionId "<subscription-ID>" `
     -DefaultStorageFirewall "Disabled"