次の方法で共有

2023 年 11 月

これらの機能とAzure Databricks プラットフォームの機能強化は、2023 年 11 月にリリースされました。

注

リリースは段階的に行われます。 Azure Databricks ワークスペースは、最初のリリース日から 1 週間以上経過するまで更新されない場合があります。

Mosaic AI ベクトル検索はパブリック プレビューです

2023 年 11 月 30 日

モザイク AI ベクター検索は、メタデータを含むデータのベクター表現をベクター インデックスに格納できるサーバーレス類似検索エンジンです。 この機能の一部として、Unity Catalog のデータから自動更新ベクトル検索インデックスを作成し、単純な API を使用してそれらのクエリを実行し、RAG ワークフローの一部として類似性の最も高いベクトルを返すことができます。 「Mosaic AI ベクトル検索」を参照してください。

アクセス制御リストを無効にできなくなりました

2023 年 11 月 29 日

次の設定はすべての Premium プラン ワークスペース上で有効になっており、ワークスペース管理者設定ページまたは Workspace Conf API から無効にすることはできなくなります。

  • ワークスペースのアクセス制御: ユーザーが、ワークスペース オブジェクトに対するアクセス許可を構成することができるようにします。
  • クラスター、プール、ジョブのアクセス制御: ユーザーが、クラスター、プール、ジョブに対するアクセス許可を構成することができるようにします。
  • クラスターの可視性の制御: クラスターに対するアクセス許可がないユーザーに対して、クラスターが表示されないようにします。
  • ジョブの可視性の制御: ジョブに対するアクセス許可がないユーザーに対して、ジョブが表示されないようにします。
  • ワークスペースの可視性の制御設定: ノートブックとフォルダーに対するアクセス許可がないユーザーに対して、ノートブックとフォルダーが表示されないようにします。

2018 年 3 月以降、新しいワークスペース上でアクセスの制御設定が既定で有効になり、2020 年 12 月以降、可視性の制御設定が既定で有効になっています。

詳細については、「アクセス制御リスト」をご覧ください。

Catalog Explorer でのボリュームに関する新しい動作とアクション

2023 年 11 月 22 日

[ボリュームへのアップロード] UI に何も存在しない場合に、ターゲット スキーマに新しいボリュームを作成できるようになりました。 Unity カタログ ボリューム内のファイルの操作を参照してください。

ファイルの削除やファイルのダウンロードなどのアクションが、ボリューム内のファイル用の Cataolog Explorer に追加されました。

Databricks Runtime 14.2 が 一般公開

2023 年 11 月 22 日

Databricks Runtime 14.2 および Databricks Runtime 14.2 ML が一般提供されるようになりました。

Databricks Runtime 14.2 (EoS) および Databricks Runtime 14.2 for Machine Learning (EoS)を参照してください。

Python バージョン 3.0.0 用 Databricks SQL コネクタ

2023 年 11 月 17 日

pip install databricks-sql-connector==3.0.0 を実行できるようになります。

このリリースの場合:

  • Python 3.7 のサポートを削除します
  • ネイティブ パラメーター化された SQL クエリのサポートを追加します。 Databricks Runtime 14.2 以降が必要です。 詳細については、databricks-sql-python GitHub リポジトリの「ネイティブ パラメーターの使用」を参照してください。
  • 完全に改訂された SQLAlchemy ダイアレクトを含んでいます。
    • SQLAlchemy >= 2.0 のサポートを追加し、SQLAlchemy 1.x のサポートを削除します
    • サポートされているすべての機能に対するエンドツーエンドの完全な試験範囲
    • 使用方法に関する詳しい注意事項については、こちらをご覧ください
    • 以下のサポートを追加します。
      • 新しい型: TIME、TIMESTAMP、TIMESTAMP_NTZ、TINYINT
      • Numeric 型の精度とスケール (Numeric(10,2) など)
      • PrimaryKeyConstraint と ForeignKeyConstraint の読み取りと書き込み
      • 複合キーの読み取りと書き込み
      • ビューの読み取りと書き込み
      • テーブルへの Identity の書き込み (主キーの自動インクリメント)
      • 結果をページングするための LIMIT と OFFSET
      • メタデータ呼び出しのキャッシュ
  • クラウド フェッチを既定で有効にします。 無効にするには、use_cloud_fetch=False をビルドするときに databricks.sql.client を設定します。
  • Azure Databricks Unity カタログ ボリューム インジェスト クエリの統合テストを追加する
  • 再試行:
    • _retry_max_redirects 構成を追加します
    • _enable_v3_retries=True を設定し、ユーザーがそれをオーバーライドしたら警告します。
  • セキュリティ: pyarrow の最小バージョンを 14.0.1 に上げます (CVE-2023-47248)

分離のない共有クラスターでサポートされているワークスペース ファイル内のライブラリ

2023 年 11 月 15 日

Databricks Runtime 14.1 以上で分離なし共有アクセス モードで構成されたコンピューティングに、ワークスペース ファイルとして格納されたライブラリをインストールできるようになりました。

ワークスペース ライブラリの廃止

2023 年 11 月 15 日

ワークスペース ライブラリは非推奨になり、新しいワークスペース ライブラリの作成は無効になりました。 既存のワークスペース ライブラリは引き続き機能します。 ライブラリをワークスペース ファイルとして保存することは、ワークスペース ライブラリとは異なり、引き続き完全にサポートされていることに注意してください。 ワークスペース ファイルとして保存されているライブラリは、コンピューティングまたはジョブ タスクに直接インストールできます。 「 ライブラリのインストール」を参照してください。

Azure コンフィデンシャル コンピューティング VM の種類のサポートが一般提供になりました

2023 年 11 月 15 日

Azure Databricks の Azure コンフィデンシャル コンピューティング VM タイプのサポートが一般提供されるようになりました。 Azureコンフィデンシャル コンピューティングは、使用中のデータを保護し、クラウド プロバイダーが機密データにアクセスできないようにするのに役立ちます。 Azure コンフィデンシャル コンピューティング仮想マシン を参照してください。

2023 年 11 月 13 日

Azure Databricks ワークスペース UI のグローバル検索バーを使用して、Databricks Marketplace でデータ セット、AI モデル、Databricks ソリューション アクセラレータを検索できるようになりました。 「Databricks Marketplace の概要」と「ワークスペース オブジェクトの検索」をご参照ください。

外部プラットフォームを使用して Databricks Marketplace でデータ製品を使用

2023 年 11 月 10 日

Unity カタログ対応のAzure Databricks ワークスペースを持たないコンシューマーは、Databricks Marketplace のデータ製品にアクセスできるようになりました。 Delta Sharing オープン共有コネクタを使用すると、Microsoft Power BI、Microsoft Excel、pandas、Apache Spark、Unity 以外のカタログ Databricks ワークスペースなど、いくつかの一般的なプラットフォームを使用して Marketplace データにアクセスできます。 外部プラットフォームで使用できるのは、表形式のデータ セットのみです (たとえば、Databricks ノートブックやモデルでは使用できません)。 外部プラットフォームを使用して Databricks Marketplace でデータ製品にアクセスする方法に関するページを参照してください。

複数のAzureリージョンに対して追加されたサーバーレス SQL ウェアハウスのサポート

2023 年 11 月 9 日

次のAzureリージョンでは、サーバーレス SQL ウェアハウスがサポートされるようになりました。

  • ブラジル南部 (brazilsouth)
  • インド中部 (centralindia)
  • ジャパンイースト (japaneast)
  • 米国中北部 (northcentralus)
  • 英国南部 (uksouth)

Azure Databricksリージョンおよびサーバーレス SQL ウェアハウスのセットアップを参照してください。

Unity Catalog を新しいワークスペースで自動的に有効化する

2023 年 11 月 9 日

Databricks では、新しいワークスペースに対する Unity Catalog の自動的な有効化を開始しました。 自動有効化により、ワークスペースの作成後にアカウント管理者が Unity Catalog を構成する必要はなくなります。 ロールアウトは、アカウント全体に徐々に進めていきます。 「Unity Catalog の自動有効化」を参照してください。

Databricks Runtime 14.2 (ベータ版)

2023 年 11 月 8 日

Databricks Runtime 14.2 と Databricks Runtime 14.2 ML がベータ版リリースとして使用できるようになりました。

Databricks Runtime 14.2 (EoS) および Databricks Runtime 14.2 for Machine Learning (EoS)を参照してください。

Databricks Marketplace には、Databricks ソリューション アクセラレータが含まれています

2023 年 11 月 7 日

Databricks Marketplace では、Databricks ソリューション アクセラレータ、完全に機能するノートブック、ベスト プラクティスのガイダンス、サンプル データを提供する専用ガイドにアクセスできるようになり、Azure Databricksで多くの一般的なユース ケースをすばやくセットアップできるようになりました。 「Databricks ソリューション アクセラレータにアクセスする」をご参照ください。

Lakehouse Federation は Google BigQuery のサポートを追加します

2023 年 11 月 3 日

BigQuery コネクタの種類を使用してフェデレーション クエリを実行するように Lakehouse フェデレーションを構成できるようになりました。 新しい BigQuery コネクタは、Pro およびサーバーレス SQL ウェアハウスと Databricks Runtime 13.3 LTS 以降でサポートされています。 「Google BigQuery でフェデレーション クエリを実行する」をご覧ください。

  • Last updated on