これらの機能とAzure Databricks プラットフォームの機能強化は、2023 年 6 月にリリースされました。
注
リリースは段階的に行われます。 Azure Databricks ワークスペースは、最初のリリース日から 1 週間以上経過するまで更新されない場合があります。
Databricks Terraform プロバイダーがバージョン 1.20.0 に更新されました
2023 年 6 月 29 日
Databricks Terraform プロバイダー バージョン 1.20.0 では、Unity Catalog databricks_catalog_workspace_binding リソースのサポートが追加され、アカウント レベルでのユーザーとグループのエクスポートなどが向上します。 詳細については、バージョン 1.20.0 の変更ログを参照してください。
Databricks CLI がバージョン 0.200.1 (パブリック プレビュー) に更新されました
2023 年 6 月 28 日
Databricks CLI バージョン 0.200.1 では、fs ls コマンドと fs cp コマンドが更新され、fs コマンドの既定値としてローカル ファイルがサポートされ、repos create コマンドにプロバイダー検出が追加されます。 詳細については、バージョン 0.200.1 の変更ログを参照してください。
Databricks SDK for Go がバージョン 0.12.0 (ベータ版) に更新されました
2023 年 6 月 28 日
Databricks SDK for Go バージョン 0.12.0 では、ジョブ レベルのパラメーターとパラメーター定義、ジョブ タスクの条件付き実行、その他のサービスに対するいくつかのバグ修正のサポートが追加されています。 詳細については、バージョン 0.12.0 の変更ログを参照してください。
Databricks SDK for Go がバージョン 0.11.0 (ベータ版) に更新されました
2023 年 6 月 28 日
Databricks SDK for Go バージョン 0.11.0 では、多数の追加、名前変更、統合など、Go API にいくつかの破壊的変更が導入されています。 詳細については、バージョン 0.11.0 の変更ログを参照してください。
Databricks SDK for Python (ベータ)
2023 年 6 月 28 日
Databricks SDK for Pythonはベータ版として利用できるようになりました。 databricks SDK for Pythonを使用すると、Pythonコードを実行して、Azure Databricksアカウント、ワークスペース、リソースを自動化できます。
Python の
Databricks SDK for Go (ベータ版)
2023 年 6 月 28 日
Databricks SDK for Go がベータ版として利用できるようになりました。 Databricks SDK for Go を使用すると、Go コードを実行して、Azure Databricksアカウント、ワークスペース、リソースを自動化できます。
「Databricks SDK for Go」を参照します。
監査ログ、課金対象の使用状況、系列システム テーブルへのアクセス (パブリック プレビュー)
2023 年 6 月 28 日
アカウント管理者は、Azure Databricks アカウントのシステム テーブルへのアクセスを有効にできるようになりました。 システム テーブルは、アカウントの運用データのAzure Databricksホスト型分析ストアです。 システム テーブルを使用すると、アカウント全体の監視データに簡単にアクセスできます。
詳細については、「 システム テーブルリファレンス」を参照してください。
Unity Catalog のモデル (パブリック プレビュー)
2023 年 6 月 28 日
MLflow モデル レジストリ ワークフローをアップグレードして、Unity Catalog を通じてモデルを管理できるようになりました。 Unity Catalog は、一元化されたアクセス制御、監査、系列、ワークスペース間のモデル共有、および MLOps デプロイ ワークフローの改善を提供します。 Databricks では、今後非推奨となる既存のワークスペース モデル レジストリではなく、Unity Catalog でモデルを使用することをお勧めします。 詳しくは、｢Unity Catalog 内でモデル ライフサイクルを管理する」をご覧ください。
Databricks Marketplace が GA になりました
2023 年 6 月 27 日
Databricks Marketplace を使用して、上位プロバイダーから何百ものデータ製品とノートブックを検出し、アクセスし、AI と分析のワークフローにデプロイできるようになりました。 パブリックプレビューの開始以降、新規プロバイダー（Dun & Bradstreet、LexisNexis、Refinitiv（London Stock Exchange Group）、YipitData、ZoomInfo など）に加え、プライベートエクスチェンジの追加および
Databricks Marketplace の概要に関するページをご覧ください。
Databricks Runtime 13.2 (ベータ版)
2023 年 6 月 26 日
Databricks Runtime 13.2 と Databricks Runtime 13.2 ML をベータ版リリースとして使用できるようになりました。
Databricks Runtime 13.2 (EoS) および Databricks Runtime 13.2 for Machine Learning (EoS) を参照してください。
Visual Studio Code用 Databricks 拡張機能 (一般提供)
2023 年 6 月 26 日
Visual Studio Code用の Databricks 拡張機能が一般公開されました。 レイクハウスに接続し、対話型デバッグを実行し、IDE を離れることなく Jupyter ノートブックを実行します。 IDE のコード ナビゲーション、リファクタリング、完了、エラー識別を使用します。
Visual Studio Code の Databricks 拡張機能を参照してください。
テンプレートなしで Azure CLI と PowerShell を使用してカスタマー マネージド キーを有効にする
2023 年 6 月 23 日
テンプレートを使用せずに、Azure CLIと Powershell のいずれかを使用して、マネージド サービスとマネージド ディスクに対してカスタマー マネージド キーを有効にできるようになりました。 これは、DBFS のカスタマー マネージド キーで既に使用できました。 マネージド サービスのカスタマー マネージド キーの有効、 Azure マネージド ディスクのカスタマー マネージド キーの構成、および DBFS ルートの Customer マネージド キーを参照してください。
サーバーレス SQL ウェアハウスは、バックエンド Azure Private Linkを有効にして動作します
2023 年 6 月 22 日
バックエンド Azure Private Linkを有効にすると、サーバーレス SQL ウェアハウスの起動が妨がれなくなりました。 サーバーレス コンピューティング リソースが有効になっている場合、バックエンド Azure Private Link接続は使用されません。 サーバーレス SQL ウェアハウスのセットアップとAzure Private Linkの概念を参照してください。
Azure Databricks ジョブ UI で完了したジョブの実行の概要を視覚的に確認する
2023 年 6 月 22 日
拡張Azure Databricks ジョブ UI には、完了したジョブの実行の概要、実行の状態と時刻でフィルター可能、最も一般的なジョブ エラーの一覧が表示されます。 既定の時間フィルターは、過去 48 時間を対象としています。 「すべてのジョブでの最近のジョブの実行を表示する」をご覧ください。
Databricks CLI (パブリック プレビュー)
2023 年 6 月 21 日
Databricks コマンド ライン インターフェイス (Databricks CLI) が大幅に見直されました。 新しい CLI では、すべての Databricks REST API 操作が対象となり、すべてのAzure Databricks認証の種類がサポートされます。 macOS および Linux ユーザーは、Homebrew を使用して新しい CLI をインストールできます。 Windowsもサポートされています。
List all jobs および List job runs API 要求からの結果の改ページを改善
2023 年 6 月 14 日
page_token パラメーターを使用して、GET /api/2.1/jobs/list から返された結果や、GET /api/2.1/jobs/runs/list Jobs API 要求の結果をページングすることができるようになりました。 このトークンベースの改ページ位置により、非推奨の offset パラメーターと limit パラメーターが置き換えられ、これらの要求のサービスのスケーラビリティが向上します。
ページ全体のワークスペース ブラウザーには、Reposが含まれています
2023 年 6 月 14 日
ページ全体のワークスペース ブラウザー エクスペリエンスは、Repos まで拡張されました。 サイドバーで [Workspace をクリックすると、Databricks Reposのコンテンツをワークスペースのコンテンツと共に参照できます。 コンテキスト ブラウザーを使用して、ノートブック内からコンテンツを参照することもできます。 ページ全体のワークスペース ブラウザーの詳細については、「 ワークスペース UI と ワークスペース ブラウザー」を参照してください。
Databricks Terraform プロバイダーがバージョン 1.19.0 に更新されました
2023 年 6 月 14 日
Databricks Terraform プロバイダー 1.19.0 では、run_as に run_as_user_name と databricks_job を追加し、databricks_cluster_policy に他の属性を追加し、force_destroy を databricks_external_location に追加するなどします。 詳細については、バージョン 1.19.0 の変更ログを参照してください。
サービス プリンシパルとしてジョブを実行する (パブリック プレビュー)
2023 年 6 月 13 日
Azure Databricksユーザー、サービス プリンシパル、およびグループに、サービス プリンシパルを使用するアクセス許可を付与できるようになりました。 これにより、ユーザーは、ジョブ所有者の ID として実行するのではなく、サービス プリンシパルとしてジョブを実行して、ユーザーが組織を離れた場合やグループが変更された場合にジョブが失敗するのを防ぐことができます。
サービス プリンシパルを管理するためのロールと、ジョブの実行に対する実行ユーザーの構成を参照してください。
新しいサービス プリンシパル UI で、より優れた管理エクスペリエンスを提供
2023 年 6 月 13 日
新しいサービス プリンシパル UI を使用して、ワークスペース内のサービス プリンシパルを管理できるようになりました。 サービス プリンシパル UI を使用すると、ワークスペースにサービス プリンシパルを追加したり、エンタイトルメントを構成したり、サービス プリンシパルのアクセス許可を管理したりできます。 サービス プリンシパルを参照してください。
ユーザーがワークスペースに再追加された際にホーム フォルダーが復元される
2023 年 6 月 9 日
管理者がワークスペースからユーザーを削除してから再度追加すると、ユーザーのホーム フォルダーが復元されます。 以前は、ワークスペースに再追加されると、ユーザーは新しい空のホーム フォルダーを受け取ります。 古いホーム フォルダーはバックアップとして保持されていました。 ワークスペース フォルダーの詳細については、「 ワークスペース ブラウザー」を参照してください。
Databricks Marketplace: プライベート エクスチェンジが利用可能になりました
2023 年 6 月 7 日
プライベート交換を使用すると、データ プロバイダーは、招待されたコンシューマーの選択したグループとデータ製品を共有できます。 プライベート 登録情報は、招待されたコンシューマーの Marketplace のホーム ページに表示されますが、パブリック マーケットプレースには表示されません。 「Databricks Marketplace でのプライベート交換の作成と管理」を参照してください。
Databricks Marketplace: コンシューマーは UI を使用してデータ製品をアンインストールできます
2023 年 6 月 5 日
データ コンシューマーは、Marketplace の [要求] インターフェイスを使用して、任意のデータ製品をアンインストールできるようになりました。 「インストールされているデータ製品を削除する」を参照してください。
Databricks Marketplace: プロバイダーは独自のプロファイルを作成できます
2023 年 6 月 5 日
データ プロバイダーは、プロバイダー アプリケーションが承認されると、独自のプロファイルを作成および更新できるようになりました。 「Marketplace プロバイダー プロファイルを作成する」を参照してください。
Databricks Connect V2 は、Pythonの GA です
2023 年 6 月 2 日
Databricks Runtime 13.1 以降では、Databricks Connect がPythonで一般提供されるようになりました。 このリリースでは、構造化ストリーミング、すべての Delta 機能、Spark 上の Pandas のサポートが追加されました。 また、付属の Databricks SDK for Pythonに依存することで、OAuth (試験段階) のサポートも含まれています。
Databricks Terraform プロバイダーがバージョン 1.18.0 に更新されました
2023 年 6 月 2 日
Databricks Terraform プロバイダー 1.18.0 では、databricks_volume リソースや databricks_model_serving の databricks_permissions サポートなどが追加されています。 詳細については、バージョン 1.18.0 の変更ログを参照してください。
新しい Databricks Marketplace プロバイダー
2023 年 6 月 1 日
過去 1 か月間に、8 つの新しいプロバイダーが Databricks Marketplace に登録情報を公開しました。 これには以下が含まれます。
- IQVIA: 医療とライフ サイエンスのデータ。
- Morningstar: ESG リスク評価データなどのデータと調査分析情報を提供する投資。
- Vaisala: 気象と環境のデータ。
- Sucali: ヘッジ ファンドと投資家向けの不動産パフォーマンス メトリック。
- Veritas Data Research: 2010 年から現在までの米国の死亡率データの包括的なインデックス。
- コレクター データ ストア: 広告主と消費者向けのスポーツおよび取引カードデータ。
- Tego Cyber: サイバーセキュリティと脅威インテリジェンス データ
- Ribbon Health: 医療プロバイダーのデータ。
これらのプロバイダーまたは Marketplace について質問がある場合は、dataconsumers@databricks.com にお問い合わせください。 「Databricks Marketplace の概要」をご覧ください。
Databricks Runtime 13.1 の一般提供
2023 年 6 月 1 日
Databricks Runtime 13.1 および Databricks Runtime 13.1 ML が一般公開されました。
Databricks Runtime 13.1 (EoS) および Databricks Runtime 13.1 for Machine Learning (EoS) を参照してください。
統合スキーマ ブラウザーを使用してノートブック、SQL エディター、およびカタログ エクスプローラーからデータを表示する (パブリック プレビュー)
2023 年 6 月 1 日
新しい統合スキーマ ブラウザーを使用すると、ノートブックや SQL エディターを離れることなく、Unity Catalog メタストア内のすべてのデータを表示できます。 [ For you ] を選択すると、ビューを使用しているアクティブなデータとお気に入りに限定できます。
カタログ エクスプローラーの詳細については、「カタログ エクスプローラー」を参照してください。
ノートブックからのカタログ エクスプローラーへのアクセスについては、「データの参照」を参照してください。