これらの機能とAzure Databricks プラットフォームの機能強化は、2022 年 8 月にリリースされました。
注
リリースは段階的に行われます。 Azure Databricks アカウントは、最初のリリース日から 1 週間以上経過するまで更新されない場合があります。
アカウント ユーザーはアカウント コンソールにアクセスできます
2021 年 8 月 1～31 日
アカウント ユーザーは、Azure Databricks account コンソールにアクセスして、ワークスペースの一覧を表示できます。 アカウント ユーザーは、アクセス権が付与されているワークスペースのみを表示できます。 Azure Databricks アカウントの管理を参照してください。
ワークスペースのユーザーは、アカウント ユーザーとして自動的に同期されます。 既存のすべてのワークスペース ユーザーとサービス プリンシパルは、アカウント レベルのユーザーとサービス プリンシパルとしてアカウントに自動的に同期されます。 ID プロバイダーから ID を同期する方法をご覧ください。
Databricks ODBC ドライバー 2.6.26
2022 年 8 月 29 日
Databricks ODBC ドライバーのバージョン 2.6.26 がリリースされました (ダウンロード)。 このリリースでは、クエリのサポートが更新されます。 API 要求時に HTTP 接続に対するクエリを非同期的にキャンセルできるようになりました。
このリリースでは、次の問題も解決されます:
- Spotfire でカスタム クエリを使用すると、コネクタが応答しなくなります。
Databricks JDBC ドライバー 2.6.29
2022 年 8 月 29 日
Databricks JDBC ドライバーのバージョン 2.6.29 がリリースされました (ダウンロード)。 このリリースでは、次の問題が決されます:
- Cloud Fetch を有効にして HTTP プロキシを使用する場合、コネクタは大きなデータ セットの結果を返しません。
- Databricks ライセンス テキストの軽微な問題。 ドキュメントのリンクが見つかりませんでした。
- JAR ファイル名が正しくありませんでした。 SparkJDBC41.jar の代わりに、DatabricksJDBC41.jar である必要がありました。 SparkJDBC42.jar の代わりに、DatabricksJDBC42.jar である必要がありました。
Databricks Feature Store クライアントが PyPI で使用可能になりました
2022 年 8 月 26 日
Feature Store クライアントが PyPI で使用可能になりました。 このクライアントには Databricks Runtime 9.1 LTS 以上が必要であり、以下を使用してインストールできます。
%pip install databricks-feature-store
クライアントは、Machine Learning 9.1 LTS 以降の Databricks Runtime と共に既にパッケージ化されています。
このクライアントを Databricks の外部で実行することはできません。ただし、単体テストや追加の IDE サポート (オートコンプリートなど) に役立てるために、ローカルにインストールできます。 詳細については、「
Unity Catalog が一般提供
2022 年 8 月 25 日
Unity Catalog は一般提供されています。 機能のお知らせと制限事項の詳細については、「Unity Catalog GA リリース ノート」を参照してください。
Delta Sharing が GA
2022 年 8 月 25 日
Delta Sharing は、Databricks Runtime 11.1 以降で一般提供になりました。 詳細については、「Delta Sharing とは」を参照してください。
- Databricks から Databricks への Delta Sharing は、トークンを交換する必要のない、フル マネージドです。
- 使いやすい UI を使用して、プロバイダー、受信者、共有を作成および管理します。
- CLI と Terraform のフル サポートにより、SQL API および REST API を使用してプロバイダー、受信者、共有を作成および管理します。
- データの変更に関するクエリを実行するか、変更データ フィードを使用して増分バージョンを共有します。
- IP アクセス リストとリージョンの制限を使用して、資格情報ファイルのダウンロードやデータのクエリを行う受信者のアクセスを制限します。
- デルタ共有を使用して同じAzure Databricks アカウント内のデータを共有することは、既定で有効になっています。
- Delta Sharing の管理を管理者以外に委任して、職務の分離を強制します。
Databricks Runtime 11.2 (ベータ版)
2022 年 8 月 23 日
Databricks Runtime 11.2、11.2 Photon、11.2 ML をベータ リリースとして使用できるようになりました。
Databricks Runtime 11.2 (EoS) および Databricks Runtime 11.2 for Machine Learning (EoS)> の完全なリリース ノートを参照してください。
連続パイプラインの DLT UI でのメッセージ 量の削減
2022 年 8 月 22 日から 29 日: バージョン 3.79
このリリースでは、DLT 連続パイプライン内のライブ テーブルの状態遷移は、テーブルが実行中の状態になるまでのみ UI に表示されます。 テーブルの再計算の成功に関連する遷移は UI には表示されませんが、METRICS レベルの DLT イベント ログで使用できます。 エラー状態への遷移は、UI に引き続き表示されます。 以前は、ライブ テーブルの UI にすべての状態遷移が表示されていました。 この変更により、UI に表示されるパイプライン イベントの量が減り、パイプラインの重要なメッセージを簡単に見つけることができます。 イベント ログのクエリの詳細については、「 パイプライン イベント ログ」を参照してください。
DLT パイプラインのクラスター構成の簡略化
2022 年 8 月 22 日から 29 日: バージョン 3.79
パイプラインを作成するときに、DLT UI でクラスター モード (自動スケールまたは固定サイズ) を直接選択できるようになりました。 以前は、自動スケール クラスターを構成するには、パイプラインの JSON 設定を変更する必要があります。 パイプラインの作成と新しい クラスター モード 設定の詳細については、「 パイプラインの更新を実行する」を参照してください。
Databricks ワークフローでの dbt タスクの調整 (パブリック プレビュー)
2022 年 8 月 22 日から 29 日: バージョン 3.79
新しい dbt タスクを使用して、Azure Databricks ジョブで dbt コア プロジェクトをタスクとして実行し、データ処理ワークフローに dbt 変換を含めることができます。 たとえば、ワークフローが自動ローダーを使用してデータを取り込み、dbt を使用してデータを変換し、ノートブック タスクを使用してデータを分析できます。 例を含む dbt タスクの詳細については、「 Lakeflow ジョブで dbt 変換を使用する」を参照してください。 dbt タスクを含むワークフローの作成、実行、スケジュールの詳細については、「 Lakeflow ジョブ」を参照してください。
ID フェデレーションが GA です
2022 年 8 月 25 日
ID フェデレーションを使用すると、アカウント レベルのユーザー、サービス プリンシパル、およびグループを ID フェデレーション ワークスペースに割り当てることで、Azure Databricks管理が簡素化されます。 各ワークスペースで個別に構成を繰り返すのではなく、アカウント コンソールですべてのユーザー、サービス プリンシパル、グループを 1 回で構成して管理できるようになりました。 ID フェデレーションの詳細については、「 ワークスペースへの ID の割り当て」を参照してください。 開始するには、「 ID フェデレーション」を参照してください。
Partner Connect では Stardog への接続がサポートされます
2022 年 8 月 24 日
パートナー接続を使用して、Stardog と Azure Databricks ワークスペースの間の接続を簡単に作成できるようになりました。 Stardog では、データ サイロ間で複雑なクエリに応答するためのナレッジ グラフ プラットフォームが提供されます。
Databricks Feature Store とサーバーレス リアルタイム推論の統合
2022 年 8 月 22 日から 29 日: バージョン 3.79
Databricks Feature Store で、サーバーレス リアルタイム推論での特徴の自動検索がサポートされるようになりました。 詳細については、「 自動機能検索を使用したモデル サービス」を参照してください。
Databricks Feature Store の特徴の自動検索での追加のデータ型のサポート
2022 年 8 月 22 日から 29 日: バージョン 3.79
Databricks Feature Store では、特徴の自動検索で BooleanType がサポートされるようになりました。
自動機能参照を使用したモデルの提供を参照してください。
独自のキーを持ち込む: Git 資格情報を暗号化する
2022 年 8 月 23-29 日
Databricks Repos の Git 資格情報には暗号化キーを使用できます。
「 Git 資格情報の暗号化」を参照してください。
クラスター UI がプレビューになり、セキュリティ モードがアクセス モードによって置き換えられる
2022 年 8 月 19 日
新しい クラスターの作成 UI はプレビューです。 「コンピューティング構成リファレンス」を参照してください。
Unity Catalog の制限事項 (パブリック プレビュー)
2022 年 8 月 16 日
- Machine Learning ランタイムを使用する Scala、R、ワークロードは、シングル ユーザー アクセス モードを使用するクラスターでのみサポートされます。 これらの言語のワークロードでは、行レベルまたは列レベルのセキュリティのための動的ビューの使用はサポートされていません。
- Unity Catalog をクローンのソースまたはターゲットとして使用する場合、シャロー クローンはサポートされません。
- Unity Catalog テーブルではバケットはサポートされていません。 Unity Catalog でバケットテーブルを作成しようとするコマンドは、例外をスローします。
- Unity Catalog へのデータフレーム書き込み操作での上書きモードがサポートされているのは、Delta テーブルに対してのみであり、他のファイル形式は含まれません。 ユーザーは親スキーマに対する
CREATE特権を持っている必要があり、既存オブジェクトの所有者である必要があります。 - 現在、ストリーミングには、次のような制限があります。
- 共有アクセス モードを使用するクラスターではサポートされていません。 ストリーミング ワークロードの場合は、シングル ユーザー アクセス モードを使用する必要があります。
- 非同期チェックポイント処理はまだサポートされていません。
- すべての汎用またはジョブ クラスターにおいて、30日を超えるストリーミングクエリを実行すると、例外がスローされます。 実行時間の長いストリーミング クエリについては、ジョブの自動再試行を構成してください。
- DLT パイプラインからの Unity カタログ テーブルの参照は現在サポートされていません。
- ワークスペースで以前に作成されたグループは、Unity Catalog の GRANT ステートメントでは使用できません。 これは、複数のワークスペースにまたがる可能性のあるグループのビューについて一貫性を確保するためです。 GRANT ステートメントでグループを使用するには、アカウント コンソールでグループを作成し、ワークスペース エンドポイントではなくアカウント エンドポイントを参照するようにプリンシパルまたはグループ管理 (SCIM、Okta、Microsoft Entra ID コネクタ、Terraform など) の自動化を更新します。
Unity Catalog は、次のリージョンで使用できます。
canadacentralcentralusfrancecentralgermanywestcentraljapaneastnorwayeastsouthafricanorthswedencentralswitzerlandnorthswitzerlandwestuaenorthwestcentraluswestus3australiaeastbrazilsouthcentralindiaeastuseastus2koreacentralnorthcentralusnortheuropesoutheastasiaukwestwesteuropewestus
別のリージョンで Unity Catalog を使用するには、アカウント チームにお問い合わせください。
パブリック プレビューでのサーバーレス リアルタイム推論
2022 年 8 月 16 日
サーバーレス リアルタイム推論は、MLflow を使用して機械学習モデルを処理し、それを REST API エンドポイントとして公開するものです。 この機能では、Serverless compute を使用します。つまり、エンドポイントと関連するコンピューティング リソースは、Azure Databricks クラウド アカウントで管理および実行されます。 現在、発生した使用量とストレージのコストは無料ですが、Azure Databricksは課金が開始されたときに通知します。
この機能を使用するには、ワークスペース管理者が、ワークスペースでサーバーレス リアルタイム推論を有効にする必要があります。
サーバーレス Real-Time 推論パブリック プレビューに参加するには、Azure Databricks アカウント チームにお問い合わせください。
ワークスペース検索の改善が GA になりました
2022 年 8 月 9 日
ノートブック、ライブラリ、フォルダー、ファイル、リポジトリを名前で検索できるようになりました。 ノートブック内のコンテンツを検索し、一致するコンテンツのプレビューを表示することもできます。 検索結果は種類でフィルター処理できます。 「ワークスペース オブジェクトを検索する」を参照してください。
DLT データセットの作成時に生成された列を使用する
2022 年 8 月 8 日から 15 日: バージョン 3.78
DLT パイプラインでテーブルを定義するときに 、生成された列 を使用できるようになりました。 生成される列は、DLT Python および SQL インターフェイスでサポートされます。
モナコベースのエディターを使用したノートブックの編集の改善 (試験段階)
2022 年 8 月 8 日から 15 日
Pythonノートブックには、新しいモナコベースのコード エディターが用意されています。 これを有効にするには、[ユーザー設定] ページの [エディターの設定] タブにある [Turn on the new notebook editor] (新しいノートブック エディターを有効にする) オプションをオンにします。
新しいエディターには、パラメータータイプのヒント、ホバーによるオブジェクトの検査、コードの折りたたみ、複数カーソルのサポート、列（ボックス）選択、およびノートブックバージョン履歴での差分を横に並べて表示する機能が含まれています。
Databricks Runtime 10.3 シリーズのサポート終了
2022 年 8 月 2 日
Machine Learningの Databricks Runtime 10.3 と Databricks Runtime 10.3 のサポートは、8 月 2 日に終了しました。 Databricks サポート ライフサイクルをご覧ください。
Azure Private Linkでプライベート接続を有効にする (パブリック プレビュー)
2022 年 8 月 2 日
Azure Databricksでは、ユーザーとそのAzure Databricks ワークスペース間、およびコンピューティング プレーン上のクラスターと Databricks ワークスペース インフラストラクチャ内のコントロール プレーン上のコア サービス間のプライベート接続に対して、Azure Private Link 接続を有効にできるようになりました。 Azure Private Linkは、トラフィックをパブリック ネットワークに公開することなく、サービスに直接接続します。 この機能は、パブリック プレビューで使用できます。 Azure Private Linkの概念を参照してください。
ワークスペースのサーバーレス SQL ウェアハウスを有効にする (パブリック プレビュー)
2022 年 8 月 2 日
サーバーレス SQL ウェアハウスは、Public Preview としてAzure Databricks上のアカウントとワークスペースで使用できるようになりました。 この機能には Premium 価格レベルが必要です。 サーバーレス SQL ウェアハウスを作成する前に、管理者はワークスペースに対してそれを有効にする必要があります。
DLT で、パイプラインの更新で選択したテーブルのみの更新がサポートされるようになりました
2022 年 8 月 2-24 日
DLT パイプライン内の選択したテーブルに対してのみ更新を開始できるようになりました。 この機能を使用すると、選択されたテーブルのみを更新するパイプライン更新を開始できるため、パイプラインのテストとエラーの解決が高速化されます。 選択したテーブルのみの更新を開始する方法については、「パイプライン更新 の実行」を参照してください。
ジョブの実行がクラスター ライブラリのインストール完了を待機するようになりました
2022 年 8 月 1 日
クラスターが起動すると、Databricks ジョブは、クラスター ライブラリのインストールが完了するまで待機してから実行するようになりました。 ジョブの実行は、以前はそのジョブの依存ライブラリとして指定されている場合にのみ、汎用クラスターへのライブラリのインストールを待機していました。 タスクの依存ライブラリの構成の詳細については、「 Lakeflow ジョブでのタスクの構成と編集」を参照してください。