これらの機能とAzure Databricksプラットフォームの機能強化は、2023 年 8 月にリリースされました。
メモ
リリースは段階的に行われます。 Azure Databricks ワークスペースは、最初のリリース日から 1 週間以上経過するまで更新されない場合があります。
ナビゲーション検索でのテーブルの表示
2023 年 8 月 31 日
Unity Catalog に登録されているテーブルが、上部バーのナビゲーション検索に表示されるようになりました。 「ワークスペース オブジェクトを検索する」を参照してください。
Databricks CLI がバージョン 0.203.3 (パブリック プレビュー) に更新されました
2023 年 8 月 30 日
Databricks コマンド ライン インターフェイス (Databricks CLI) がバージョン 0.203.3 に更新されました。 詳細については、バージョン 0.203.3 の変更ログをご覧ください。
Databricks JDBC ドライバー 2.6.34
2023 年 8 月 30 日
Databricks JDBC ドライバーのバージョン 2.6.34 がリリースされました (ダウンロード)。 このリリースでは、サードパーティのライブラリをアップグレードすることで、さまざまな脆弱性の問題に対処します。 さらに、このリリースによって次の問題が修正されます。
- クエリがサーバーへの接続に失敗した場合のスレッド リーク。
- テーブル メタデータの
REMARKS列にコメントがありません。 - 結果セットのクロージャ操作でエラーが返された場合、コネクタはハートビート スレッドからの操作ハンドル エントリをクリーンアップしません。
また、このリリースでは、サーバーからの SQLState とエラー コードを受け入れ、サーバー プロトコルのバージョンを正しくチェックすることで、エラー メッセージの処理が改善されます。
Databricks SDK for Go がバージョン 0.18.0 (ベータ版) に更新されました
2023 年 8 月 29 日
Databricks SDK for Go バージョン 0.18.0 では、17 個の破壊的 API 変更が導入されており、30 個の API が追加され、約 1 ダースのフィールドが追加されています。 詳細については、バージョン 0.18.0 の変更ログをご覧ください。
Databricks SDK for Pythonバージョン 0.7.0 (ベータ) に更新されました
2023 年 8 月 29 日
Databricks SDK for Python バージョン 0.7.0 では、ファイル API の破壊的変更と 17 個の破壊的変更が導入されています。 このリリースでは、14 個のフィールドと 27 個のデータクラスも追加されています。 詳細については、バージョン 0.7.0の変更ログをご覧ください。
Databricks Terraform プロバイダーがバージョン 1.24.1 に更新されました
2023 年 8 月 29 日
Databricks Terraform プロバイダー バージョン 1.24.1 には、ワークスペース到達可能性検証の修正プログラムが含まれています。 詳細については、バージョン 1.24.1 の変更ログをご覧ください。
DBFS の有効期間終了に関する Init スクリプトが 2023 年 12 月 1 日に延長されました
2023 年 8 月 29 日
Databricks は以前、DBFS 上の init スクリプトが 2023 年 9 月 1 日に終了することを発表しました。 有効期限が 2023 年 12 月 1 日に延長されました。
Databricks Runtime 14.0 (ベータ版)
2023 年 8 月 29 日
Databricks Runtime 14.0 と Databricks Runtime 14.0 ML をベータ版リリースとして使用できるようになりました。
Databricks Runtime 14.0 (EoS) および Databricks Runtime 14.0 for Machine Learning (EoS) を参照してください。
統合ナビゲーション エクスペリエンスは GA です
2023 年 8 月 28 日
統合Azure Databricks ナビゲーション エクスペリエンスが一般公開されました。 ユーザーは従来のナビゲーション エクスペリエンスに戻すことができなくなります。 詳細については、「 ワークスペース UI」を参照してください。
Databricks Terraform プロバイダーがバージョン 1.24.0 に更新されました
2023 年 8 月 25 日
Databricks Terraform プロバイダー バージョン 1.24.0 には、Unity Catalog オブジェクトのアカウント レベルの API サポートが追加される、複数のデータ ソースに acl_principal_id が追加されるなどの更新があります。 詳細については、バージョン 1.24.0 の変更ログをご覧ください。
ワークスペース管理設定ページから Databricks Runtime for Genomics 設定が削除されました
2023 年 8 月 25 日
ワークスペース管理者は、ワークスペース管理者設定ページまたはワークスペース構成 API から Databricks Runtime for Genomics を有効または無効にすることができなくなります。 Databricks Genomics ランタイムは非推奨になり、Databricks Runtime for Genomics のサポートは 2022 年 9 月 24 日に削除されました。
Databricks Genomics ランタイムは非推奨になりました。 同等open sourceについては、genomics-pipelines および Glow のリポジトリを参照してください。
Databricks Runtime の非推奨ポリシーとスケジュールの詳細については、サポートされているすべての Databricks Runtime LTS リリース を参照してください。
ワークスペース管理設定ページから Container Services 設定が削除されました
2023 年 8 月 25 日
ワークスペース管理者は、ワークスペース管理者設定ページから Container Services を有効または無効にすることができなくなります。 Container Services を使用すると、クラスターで顧客コンテナーを使用できます。 これは、すべての新しいワークスペースで既定で有効になっています。 Container Services は、ワークスペース構成 API を使用して引き続き有効または無効にすることができます。 詳細については、「Container Services を有効にする」を参照してください。
Databricks CLI がバージョン 0.203.2 (パブリック プレビュー) に更新されました
2023 年 8 月 24 日
Databricks コマンド ライン インターフェイス (Databricks CLI) がバージョン 0.203.2 に更新されました。 詳細については、バージョン 0.203.2 の変更ログをご覧ください。
Python ノートブックの関数と変数の定義に移動する
2023 年 8 月 24 日
Databricks Runtime 12.2 LTS 以降では、Python ノートブックがクラスターにアタッチされている場合、そのノートブックで定義されている変数または関数の定義に自動的に移動できます。 詳細については、「定義に移動する」を参照してください。
Databricks Runtime 13.3 LTS は GA です
2023 年 8 月 22 日
Databricks Runtime 13.3 LTS と Databricks Runtime 13.3 LTS ML が一般提供されるようになりました。
Databricks Runtime 13.3 LTS および Databricks Runtime 13.3 LTS for Machine Learning を参照してください。
Unity Catalog を使用したタグの導入
2023 年 8 月 22 日
Unity Catalog でセキュリティ保護可能なオブジェクトにタグを適用できるようになりました。 タグは、セキュリティ保護可能なオブジェクトを整理し、データ資産の検索と検出を簡素化するのに役立ちます。 「Unity Catalog のセキュリティ保護可能なオブジェクトにタグを適用する」をご覧ください。
Unity Catalog 共有クラスターでの init スクリプト、JAR、Maven 座標の許可リストはパブリック プレビュー段階です
2023 年 8 月 23 日
Unity Catalog allowlist を使用して、Databricks Runtime 13.3 以降を実行する共有アクセス モードを使用して、コンピューティングでの init スクリプト、JAR、Maven 座標のインストールを制御できるようになりました。 「標準アクセス モード (以前の共有アクセス モード) を使用したコンピューティング上の許可リスト ライブラリと init スクリプト」をご覧ください。
init スクリプトと JAR のボリュームのサポートはパブリック プレビュー段階です
2023 年 8 月 23 日
Unity Catalog ボリュームを使用して、Databricks Runtime 13.3 以降を実行する割り当てまたは共有アクセス モードを使用して、init スクリプトと JAR をコンピューティングに格納できるようになりました。 コンピュートスコープのライブラリとボリュームからライブラリをインストールする方法を参照してください。
Databricks Repos の .ipynb ファイル出力を簡単にコミットできます。
2023 年 8 月 21 日
Databricks Reposには、.ipynb ファイルの出力コミットを制御して確認しやすくする機能が追加されました。
- Reposは、「commit_output」構成ファイルを作成できます。
- UI の通知では、出力コミットの状態を把握できます。
- [ファイル] メニューから、ノートブック出力をコミットするかどうかを制御できます。
「.ipynb ノートブック出力のコミットを制御する」を参照してください。
Databricks Repos での IPYNB ノートブックのサポートは GA です
2023 年 8 月 21 日
Databricks Repos での IPYNB ノートブック ファイルのサポートは GA です。 Reposの詳細については、以下を参照してください。
Databricks SDK for Go がバージョン 0.17.0 (ベータ版) に更新されました
2023 年 8 月 18 日
Databricks SDK for Go バージョン 0.17.0 では、30 個を超える API が追加されており、約 10 個の API の名前が変更されています。 詳細については、バージョン 0.17.0 の変更ログをご覧ください。
Databricks SDK for Pythonバージョン 0.6.0 (ベータ) に更新されました
2023 年 8 月 18 日
Databricks SDK for Python バージョン 0.6.0 では、約 20 個のデータクラスが追加され、約 10 個の API が追加され、約 20 個の名前変更が含まれています。 詳細については、バージョン 0.6.0 の変更ログをご覧ください。
Databricks CLI がバージョン 0.203.1 (パブリック プレビュー) に更新されました
2023 年 8 月 16 日
Databricks コマンド ライン インターフェイス (Databricks CLI) がバージョン 0.203.1 に更新されました。 詳細については、バージョン 0.203.1 の変更ログを参照してください。
統合スキーマ ブラウザーが一般提供になった
2023 年 8 月 16 日
次に紹介する新機能など、ノートブック、SQL エディター、カタログ エクスプローラーでデータを移動する統合された方法を使用できるようになりました。
- ツリーの圧縮バージョン。
- フィルター処理時のスキーマ レベルでの Unity Catalog オブジェクト数の表示。
- メニューを右クリックしてアクションを表示します。
スクリプトまたはテンプレートで ID をエンコードすると、サーバーレス サブネットの変更が影響を受ける可能性があります
2023 年 8 月 15 日
Azure Storageファイアウォールを使用する場合、8 月末まで一部のサブネット ID が変更されます。 ほとんどのお客様には影響しません。Azureが既存のストレージ ファイアウォール規則の中でサブネットIDを自動的に移行するためです。 この移行は、既存のワークロードには影響しません。
Azure ストレージ ファイアウォール規則を更新するテンプレートまたはスクリプトでサーバーレス サブネットの一覧をエンコードする場合は、規則を更新する前に、サブネット ID の最新の一覧を取得する必要があります。 各リージョンの最新の ID については、Azure Databricks リージョンを参照してください。
Databricks SDK for Go がバージョン 0.16.0 (ベータ版) に更新されました
2023 年 8 月 14 日
Databricks SDK for Go バージョン 0.16.0 では、約 1 ダースのフィールドが追加されており、約半ダースのフィールドが削除され、約半ダースの API のシグネチャが変更されています。 詳細については、バージョン 0.16.0 の変更ログをご覧ください。
Partner Connect では Census がサポートされます
2023 年 8 月 14 日
パートナー接続を使用して、Azure Databricks ワークスペースを Census に接続できるようになりました。 詳細については、「Census への接続」を参照してください。
Azure Key Vaultマネージド HSM キーがカスタマー マネージド キーでサポートされるようになりました
2023 年 8 月 14 日
一部のAzure Databricks サービスとデータでは、暗号化されたデータへのアクセスを保護および制御するために、カスタマー マネージド キーの追加がサポートされています。 Azure Databricksには、さまざまな種類のデータと場所を含む 3 つのカスタマー マネージド キー機能があります。 これらの 3 つの機能はすべて、Azure Key Vault コンテナーと共に、Azure Key Vault Managed HSM (ハードウェア セキュリティ モジュール) からのカスタマー マネージド キーをサポートするようになりました。 「暗号化用のカスタマー マネージド キー」を参照してください。
Databricks SDK for Pythonバージョン 0.5.0 (ベータ) に更新されました
2023 年 8 月 11 日
Databricks SDK for Python バージョン 0.5.0 では、500 個の API の署名が変更され、12 個のフィールドが追加され、500 個のフィールドが削除され、いくつかのデータクラスが追加されます。 詳細については、バージョン 0.5.0 の変更ログをご覧ください。
プログラムによるワークスペース ファイルの書き込みのサポート
2023 年 8 月 11 日
Databricks Runtime 11.2 以降を使用するクラスターでは、ワークスペース ファイルへの書き込みがサポートされています。 ワークスペース内のファイルとディレクトリをプログラムで作成、更新、削除できます。
Databricks CLI がバージョン 0.203.0 (パブリック プレビュー) に更新されました
2023 年 8 月 10 日
Databricks コマンド ライン インターフェイス (Databricks CLI) バージョン 0.203.0 では、auth login コマンドなどの機能が改善されます。 詳細については、バージョン 0.203.0 の変更ログを参照してください。
Databricks Terraform プロバイダーがバージョン 1.23.0 に更新されました
2023 年 8 月 9 日
Databricks Terraform プロバイダー バージョン 1.23.0 には、RunJobTask でサポートされるフィールドが増え、databricks_job が拡張された、databricks_model_serving のエクスポーター サポートが追加されたなどの更新があります。 詳細については、バージョン 1.23.0 の変更ログをご覧ください。
グループの名前を変更できるようになりました
2023 年 8 月 8 日
既存のアカウント グループとワークスペースローカル グループの名前を変更できるようになりました。 「グループの名前を変更する」を参照してください。
Databricks SDK for Go がバージョン 0.15.0 (ベータ版) に更新されました
2023 年 8 月 7 日
Databricks SDK for Go バージョン 0.15.0 では、アクセス許可に関連する API をリファクタリングして、理解しやすく使いやすくものにします。 詳細については、バージョン 0.15.0 の変更ログを参照してください。
Databricks SDK for Pythonバージョン 0.4.0 (ベータ) に更新されました
2023 年 8 月 7 日
Databricks SDK for Python バージョン 0.4.0 では、アクセス許可に関連する API がリファクタリングされ、理解しやすく、使いやすくなりました。 詳細については、バージョン 0.4.0 の変更ログを参照してください。
サード パーティ製 iFraming 防止の構成設定が削除されました
2023 年 8 月 7 日
Azure Databricksは、適切な HTTP ヘッダーを追加することで、iFraming Azure Databricks からサードパーティ ドメインのリスクを軽減します。 サードパーティの iFraming 防止は既定で引き続き有効になっていますが、Azure Databricksワークスペースの管理者設定を削除して無効にします。 以前ワークスペースのサードパーティの iFraming を無効にしたことがある場合、そのワークスペースの機能は引き続き無効になります。 サードパーティの iFraming を再度有効にするには、Azure Databricks アカウント チームにお問い合わせください。
Visual Studio Codeバージョン 1.1.1 に更新された Databricks 拡張機能
2023 年 8 月 4 日
Visual Studio Code バージョン 1.1.1 の
13.1 以降で利用可能な LangChain
2023 年 8 月 4 日
LangChainは、LangChainのお客様がAzure Databricks環境から直接MLflowの堅牢なツールと実験追跡機能を活用することを可能にする実験的なMLflowフレーバーとして利用できます。
LangChain は、大規模言語モデル (LLM) を利用し、それらを外部データと組み合わせて LLM のトレーニング コンテキストを増やすアプリケーションを作成するのに役立つように設計されたソフトウェア フレームワークです。
Databricks Runtime for Machine Learning には、Databricks Runtime 13.1 ML 以降の langchain が含まれています。
Unity Catalog の特徴量エンジニアリングは、パブリック プレビュー段階です
2023 年 8 月 3 日
Unity Catalog の機能エンジニアリングを使用すると、Unity Catalog が機能ストアになります。 モデル トレーニングまたは推論の特徴テーブルとして、主キーを持つ任意の Delta テーブルを使用できます。 Unity Catalog には、機能の検出とガバナンスが用意されています。
継続的なジョブの失敗の繰り返しに対するエラー処理の改善
2023 年 8 月 3 日
連続する失敗のしきい値を超える連続ジョブでは、エクスポネンシャル バックオフ スキームを使用して、ジョブの実行を効率的に再試行し、ジョブが一時的な問題から復旧できるようになりました。 以前は、失敗のしきい値を超える連続ジョブは一時停止され、再試行されませんでした。
サーバーレス SQL ウェアハウスを追加のリージョンで使用できるようになりました
2023 年 8 月 3 日
追加のリージョンで使用できるサーバーレス SQL ウェアハウス: オーストラリア東部、カナダ中部、米国西部 2、米国中南部、東南アジア。 Azure Databricksリージョンを参照してください。
Azure Storage ファイアウォールを使用する場合は、サーバーレス SQL ウェアハウス サブネットからのアクセスを許可するようにファイアウォールを構成します。 Azure Databricksリージョンを参照してください。
Delta Sharing を使用してスキーマを共有する (パブリック プレビュー)
2023 年 8 月 2 日
Delta Sharing を使用してスキーマ全体を共有できるようになりました。これにより、共有した時点で、将来スキーマに追加されるすべてのテーブルとビューに合わせてスキーマ内のすべてのテーブルとビューに受信者がアクセスできるようになります。 SQL コマンドを使用して共有にスキーマを追加するには、SQL ウェアハウス、または Databricks Runtime 13.2 以降を実行しているクラスターが必要です。 カタログ エクスプローラーを使用して同じことを行う場合にはコンピューティング要件はありません。 「共有にスキーマを追加する」を参照してください。
Azure Databricks ジョブでタスクを条件付きで実行する
2023 年 8 月 2 日
新しい Run if 条件を使用すると、タスクの依存関係の状態に基づいてジョブ タスクを実行できるため、Azure Databricks ジョブを使用してワークフローを実装する際の柔軟性が向上します。 たとえば、 Run if 条件を使用して、タスクの依存関係の一部または全部が失敗したときにタスクを実行できます。 「タスクの依存関係を設定する」を参照してください。
Databricks Terraform プロバイダーがバージョン 1.22.0 に更新されました
2023 年 8 月 1 日
Databricks Terraform プロバイダー バージョン 1.22.0 では、databricks_access_control_rule_set リソースの追加、databricks_metastore の追加、databricks_metastore データ ソースの追加などが行われます。 詳細については、バージョン 1.22.0 の変更ログを参照してください。
強化されたセキュリティとコンプライアンス機能
2023 年 8 月 1 日
コンプライアンス セキュリティ プロファイルを有効にして、ワークスペースで追加の監視、強化されたコンピューティング イメージ、およびその他の機能を提供できます。 コンプライアンス セキュリティ プロファイルは、PCI-DSS によって規制されているデータを処理するためにAzure Databricksを使用する必要がありますが、そのようなデータを処理していない場合は、プロファイルを有効にすることもできます。 適用されるすべての法律と規制に対する独自のコンプライアンスの確保については、お客様のみの責任で行っていただきます。
または、追加の監視とコンピューティング イメージのセキュリティ強化を提供するセキュリティ監視の強化を個別に有効にすることもできます。
どちらの機能も、新しいアドオンの強化されたセキュリティとコンプライアンスの一部として使用できます。 ワークスペースでこれらの機能のいずれかを有効にすると、価格ページで説明されているように、新しいアドオンに対して課金されます。 どちらの機能にも Premium 価格レベルが必要です。
レイクハウス監視はパブリック プレビュー段階です
2023 年 8 月 1 日
Databricks レイクハウス監視は、データとモデルの品質の監視を Databricks プラットフォームに統合します。 要約統計情報、時系列の分布の変化、公平性や偏見を含むモデルのパフォーマンスなど、すぐに使える品質メトリックが提供されます。 レイクハウス監視では、時間の経過に伴うデータ品質の視覚化に役立つ概要ダッシュボードが自動的に生成されます。 データに基づいてアラートを設定することもできます。
Databricks Runtime 13.3 LTS (ベータ版)
2023 年 8 月 1 日
Databricks Runtime 13.3 LTS と Databricks Runtime 13.3 LTS ML をベータ版リリースとして使用できるようになりました。
Databricks Runtime 13.3 LTS および Databricks Runtime 13.3 LTS for Machine Learning を参照してください。
新しい Git 操作の一般提供: マージのブランチ、リベース、および競合解決を使用したプル
2023 年 8 月 1 日
Databricks Reposでは、次の Git 操作が一般提供されるようになりました。
- マージとリベース: Git merge または rebase 2 つの分岐をAzure Databricksで直接実行できるようになりました。 これにより、ブランチを組み合わせるプロセスが簡略化され、操作中に発生する競合を解決する機能が提供されます。
- 競合の解決によるプル: Databricks Reposを使用して、Azure Databricksを使用してリモート Git リポジトリからプルするときに発生する競合を管理および解決できるようになりました。
これらの強力な新しい競合解決ツールを使用すると、Databricks Reposを使用してコードで共同作業を行う作業がさらに合理化され、効率的になります。