これらの機能とAzure Databricksプラットフォームの機能強化は、2023 年 4 月にリリースされました。
注
リリースは段階的に行われます。 Azure Databricks アカウントは、最初のリリース日から 1 週間以上経過するまで更新されない場合があります。
Databricks Marketplace (パブリック プレビュー): データ、分析、AI 向けのオープン マーケットプレース
2023 年 4 月 27 日
Databricks Marketplace を使用して、何百ものデータ製品を検出し、アクセスし、AI と分析のワークフローにデプロイできるようになりました。 Databricks Marketplace では、Delta Sharing を利用して、クラウドまたはリージョン全体で無料データ製品と商用データ製品の安全でシームレスな共有を提供します。 Databricks Marketplace の概要に関するページをご覧ください。
Python フォーマッタを構成する
2023 年 4 月 25 日
Databricks Repos のファイルとノートブックの場合、Black 仕様に基づいて Python フォーマッタを構成できるようになりました。 Python ブラックフォーマッター ライブラリを参照してください。
ワークスペース ファイルが一般提供されました
2023 年 4 月 24 日
Azure Databricksでノートブック以外のファイルを操作できるようになりました。 ワークスペース ファイルは、すべてのワークスペースで既定で有効になっています。 「ワークスペース ファイルとは」を参照してください。
クラスター スコープの init スクリプトをワークスペース ファイルに格納できるようになりました
2023 年 4 月 24 日
コンピューティングで使用されている Databricks Runtime のバージョンに関係なく、クラスター スコープの init スクリプトをワークスペース ファイルに格納できるようになりました。 Databricks では、クラスター スコープのすべての init スクリプトをワークスペース ファイルに格納することが推奨されています。 「ワークスペース ファイルに init スクリプトを格納する」を参照してください。
サービス プリンシパルを使用してAzure Key Vaultに基づくシークレット スコープを作成する
2023 年 4 月 19 日
サービス プリンシパルを使用して、Azure Key Vaultに基づくシークレット スコープを作成できるようになりました。 Manage secret scopes を参照してください
新しい Delta Sharing の権限により、共有、受信者、およびプロバイダー管理タスクの委任が可能
2023 年 4 月 18 日
新しい特権 USE SHARE、USE RECIPIENT、USE PROVIDER および SET SHARE PERMISSION は、メタストア管理者ロールまたはオブジェクトの所有権を必要とする共有、受信者、およびプロバイダー管理タスクの委任を有効にします。 これらの特権を使用すると、強力なメタストア管理者ロールを持つユーザーの数を制限できます。
Delta Sharing または Databricks Marketplace にのみ適用される特権を参照してください。
Databricks Connect V2 (パブリック プレビュー)
2023 年 4 月 17 日
Databricks Runtime 13.0 以降では、Databricks Connect は Spark Connect に基づいて構築され、開発者は Databricks とその IDE の機能を使用して、任意のAzure Databricks ワークスペースでコードを対話形式で開発およびデバッグできます。
新しいクラスター メトリクスユーザーインターフェース
2023 年 4 月 14 日
Databricks Runtime 13.0 以降を使用するクラスターは、新しいクラスター メトリック UI にアクセスできます。 この機能は、Ganglia をクラスター メトリック監視ツールに置き換えます。 新しいクラスター メトリック UI には、クラスターのパフォーマンスのライブ ビューと、分単位のカスタム履歴ビューが含まれています。 詳細については、「コンピューティング メトリックの表示」を参照してください。
Databricks Runtime 13.0 が正式版になりました
2023 年 4 月 14 日
Databricks Runtime 13.0 および Databricks Runtime 13.0 ML が一般公開されました。
Databricks Runtime 13.0 (EoS) および Databricks Runtime 13.0 for Machine Learning (EoS) を参照してください。
IP アドレスの範囲によるアカウント コンソールへのアクセスの制御 (パブリック プレビュー)
2023 年 4 月 17 日
Azure Databricksアカウント コンソールでは、ワークスペースの既存の IP アクセス リストと同様に、IP アドレス範囲によってアカウント コンソールへのアクセスを制御するための IP アクセス リストがサポートされるようになりました。 アカウント コンソール UI または REST API を使用してアクセスを管理します。 「アカウント コンソール向けの IP アクセス リストを構成する」をご覧ください。
Azure Databricksが要求をブロックすると、Azure Databricksは、サービス accounts とイベント accountIpAclsValidationFailed を使用して、アカウント レベルの監査ログに新しいイベントを生成します。 「診断ログ リファレンス」を参照してください。
Databricks Terraform プロバイダーがバージョン 1.14.3 に更新されました
2023 年 4 月 14 日
バージョン 1.14.3 では、databricks_sql_alert の エクスポーターのサポートが追加され、databricks_pipeline で通知のサポートが追加されます。 詳細については、バージョン 1.14.3 の変更ログを参照してください。
ワークスペースの変更された管理者設定の診断ログ エントリ
2023 年 4 月 14 日
ワークスペース診断ログの一部の管理者設定に対する変更に関する監査ログ イベントが表示されるようになりました。
accounts サービス内では、新しいイベント アクション名は deleteSetting と setSetting です。 「診断ログ リファレンス」を参照してください。 すべての設定で監査可能なイベントが生成されるわけではありません。
マネージド ディスクの初期カスタマー マネージド キーの場合、Azure Databricksはコンピューティング リソースを終了するようになりました
2023 年 4 月 10 日
以前は、マネージド ディスク用にカスタマー マネージド キーを最初に追加すると、実行中のすべてのコンピューティング リソース (クラスター、プール) が再起動されていました。 コンピューティング リソースは再起動されずに終了するようになりました。つまり、更新が完了した後に手動で開始する必要があります。 Azure Databricksは、キーの追加中にクラスターが実行または開始されないようにします。 自動終了を回避するために、キーを追加する前にすべてのコンピューティング リソースが終了するようにダウンタイムを計画します。自動終了によって、一部の種類のワークロードで問題が発生する可能性があります。
マネージド ディスク用のカスタマー マネージド キーが既に存在するワークスペースの場合、キーをローテーションする場合は、コンピューティング リソースを終了する必要はありません。
Databricks Terraform プロバイダーがバージョン 1.14.1 および 1.14.2 に更新されました
2023 年 4 月 4 ～ 6 日
バージョン 1.14.1 では、Databricks SCIM サービスなどの負荷を軽減するための SCIM API リスト呼び出しのロールが除外されています。 バージョン 1.14.2 では、databricks_job リソースに SQL ファイル タスクが追加され、いくつかのバグが修正されたりなどします。 詳細については、バージョン 1.14.1 および 1.14.2 の変更ログを参照してください。
SQL ユーザー設定と全般的なユーザー設定を統合
2023 年 4 月 3 ～ 5 日
SQL ユーザー設定は、ワークスペース ユーザーの統合エクスペリエンスを作成するために、一般的なワークスペース ユーザー設定と組み合わされています。 [設定] からすべての SQL ユーザー設定にアクセスできるようになりました:
- [パスワード] タブは [アカウントおよびパスワード] タブに変更されました。
- [ クエリ スニペット ] タブは、Databricks SQL エンタイトルメントを持つユーザーに表示されます。
レガシ ノートブックの視覚化は非推奨となりました
2023 年 4 月 4 日
レガシ ノートブックの視覚化の作成と編集は非推奨となり、近日中に製品から削除される予定です。 既存のレガシ視覚化は引き続きレンダリングされます。 詳細は、製品内の通知に表示されます。
[ファイルのアップロードからテーブルを作成または変更する] ページで JSON ファイルのアップロードがサポートされています
2023 年 4 月 3 日
[ファイルのアップロードからテーブルを作成または変更する] ページで JSON ファイルのアップロードがサポートされるようになりました。 詳細については、「ファイルのアップロードを使用してテーブルを作成または変更する」を参照してください。