2024 年 12 月

これらの機能とAzure Databricksプラットフォームの機能強化は、2024 年 12 月にリリースされました。

Databricks Runtime 16.1 は GA です

2024 年 12 月 20 日

Databricks Runtime 16.1 と Databricks Runtime 16.1 ML が一般公開されました。

Databricks Runtime 16.1 (EoS) および Databricks Runtime 16.1 for Machine Learning (EoS) を参照してください。

新しいノートブックの既定の形式が IPYNB (Jupyter) 形式になりました

2024 年 12 月 20 日

Azure Databricks ワークスペースに作成する新しいノートブックの既定の形式は IPYNB (.ipynb) になりました。 以前は、ノートブックの既定の形式は Source (.py, .sql, .scala, .r)されていました。 既定の形式を変更するには、ワークスペースのユーザー設定の [Developer] ウィンドウで、ノートブック の [既定のファイル形式] 使用します。 「ノートブックの形式」を参照してください。

Databricks Assistant 用の Databricks でホストされるモデルは、パブリック プレビュー段階です

2024 年 12 月 19 日

Azure Databricksホスト型モデルを使用して、Azure Databricksで Databricks Assistant に電力を供給できるようになりました。 この機能はパブリック プレビュー段階にあります。

「Databricks Assistant 用の Databricks でホストされるモデルを使用する」を参照してください。

AI エージェント用のコード実行プログラムのPython (パブリック プレビュー)

2024 年 12 月 19 日

これで、AI エージェントにPythonコードを実行する機能をすばやく提供できるようになりました。 Databricks では、AI エージェントが言語生成を超えて機能を拡張するためのツールとして使用できる事前構築済みの Unity カタログ関数が提供されるようになりました。

Unity カタログ関数を使用した AI エージェント ツールの作成を参照してください。

databricks-agents SDK 0.13.0 リリース

2024 年 12 月 18 日

databricks-agents SDK のバージョン 0.13.0 が PyPI にリリースされました。このバージョンには、次の変更が含まれています。

• agents.deploy() やその他の databricks.agents API を呼び出すときは、現在アクティブな Databricks CLI プロファイルと MLflow モデル レジストリ URI を使用します。 特に、DATABRICKS_CONFIG_PROFILE=my-profile を呼び出してエージェントのデプロイとアクセスに使用する Databricks CLI プロファイルを指定する前に、MLFLOW_REGISTRY_URI=databricks-uc://my-profile と agents.deploy() の組み合わせを指定できるようになりました。
• mlflow.evaluate()では、取得とガイドラインのコンテキストが存在する場合にのみ、取得とガイドラインのメトリックを実行します。
• mlflow.evaluate()のクライアントにシークレット ベースの認証を追加します。

外部グループにラベルが付けられ、変更できないようになりました

2024 年 12 月 18 日

外部グループは、Microsoft Entra IDからAzure Databricksで作成されるグループです。 これらのグループは SCIM プロビジョニング コネクタを使用して作成され、Microsoft Entra IDとの同期を維持します。 外部グループは明示的に External としてラベル付けされ、既定では、Azure Databricks アカウント コンソールまたはワークスペース管理者設定ページから更新できなくなります。 アカウント管理者は、Azure Databricks UI から外部グループ メンバーシップを更新するために、アカウント コンソールのプレビュー ページで Immutable 外部グループ を無効にすることができます。

グループ ソースを参照してください。

vector_search でベクター埋め込み入力がサポートされるようになりました

2024 年 12 月 17 日

AI 関数 vector_search では、ベクター埋め込み入力がサポートされるようになりました。 query_text または query_vector パラメーターを使用して、ベクター インデックス内の特定のテキストまたはベクター埋め込みを検索できるようになりました。 vector_search 関数を参照してください。

ai_query の応答形式を指定する

2024 年 12 月 17 日

ai_query では、構造化された出力の responseFormat フィールドがサポートされるようになりました。 responseFormat 要求で ai_query を使用して、クエリ対象のモデルが従う応答形式を指定します。 ai_query 関数を参照してください。

同じメタストア内のコラボレーターを使用してクリーン ルームをテストする

2024 年 12 月 17 日

同じメタストア内からコラボレーターを追加することで、完全なデプロイの前にクリーン ルームをテストできるようになりました。 「クリーン ルームを作成する」を参照してください。

コンピューティング リソースをグループに割り当てる (パブリック プレビュー)

2024 年 12 月 17 日

新しい 専用 アクセス モード (以前は単一ユーザー ) を使用すると、専用の汎用コンピューティングをグループまたは単一ユーザーに割り当てることができます。 専用コンピューティング グループアクセスを参照してください。

このパブリック プレビューでは、ワークスペースに新しい簡略化されたコンピューティング UI へのアクセス権も付与されます。 「単純なフォームを使用してコンピューティングを管理する」を参照してください。

ワークスペース管理者は、このプレビューを有効にする必要があります。 Manage Azure Databricks プレビューを参照してください。

Unity カタログでストレージ資格情報を作成する機能をサービス プリンシパルに委任する

2024 年 12 月 17 日

CREATE STORAGE CREDENTIAL 特権を使用して Unity カタログ メタストアにストレージ資格情報を作成するためのアクセス許可をサービス プリンシパルに付与できるようになりました。 「CREATE STORAGE CREDENTIAL」を参照してください。

Jobs API のバージョン 2.2 がリリースされました

2024 年 12 月 16 日

Jobs API のバージョンが 2.1 から 2.2 に更新されます。 Jobs API のバージョン 2.2 の更新には、新しいジョブまたは更新されたジョブの既定のキュー、および多数の値を持つフィールドを含むジョブおよびジョブ実行応答のページングが強化されています。 このバージョンの更新プログラムの詳細については、「Jobs API 2.1 から 2.2 への更新」を参照してください。 ジョブ API 2.2 の完全なドキュメントについては、ジョブ (最新) を参照してください。 Databricks では、ジョブ API のバージョン 2.2 を使用することをお勧めしますが、バージョン 2.1 と 2.0 には引き続きアクセスできます。 ジョブ (2.1) および Jobs API 2.0を参照してください。

Unity カタログの MANAGE 特権 (パブリック プレビュー)

2024 年 12 月 14 日

Unity カタログのセキュリティ保護可能なオブジェクトに対する MANAGE 権限をユーザーに付与できるようになりました。 MANAGE 権限を使用すると、ユーザーは Unity Catalog オブジェクトに対して次のような主要なアクションを実行できます。

• 特権の管理
• オブジェクトの削除
• オブジェクトの名前を変更する
• 所有権の譲渡

「管理」を参照してください。

Meta Llama 3.3 は、プロビジョニングされたスループット ワークロードで使用できるようになりました

2024 年 12 月 13 日

Meta Llama 3.3 は、Meta によって構築およびトレーニングされたモデル アーキテクチャであり、Foundation Model API プロビジョニングスループットで提供できるようになりました。

ジョブ実行のストリーミング ワークロード メトリックを表示する (パブリック プレビュー)

** 2024 年 12 月 12 日**

Databricks ジョブ UI でジョブの実行を表示すると、Apache Kafka、Amazon Kinesis、自動ローダーなど、Spark Structured Streaming でサポートされているソースのバックログ秒、バックログ バイト、バックログ レコード、バックログ ファイルなどのメトリックを表示できるようになりました。 ストリーミング タスク のメトリックの表示を参照してください。

DLT パイプラインの更新のストリーミング ワークロード メトリックを表示する (パブリック プレビュー)

** 2024 年 12 月 12 日**

DLT UI でパイプラインの更新を表示すると、パイプライン内の各ストリーミング フローのバックログ秒、バックログ バイト、バックログ レコード、バックログ ファイルなどのメトリックを表示できるようになりました。 ストリーミング メトリックは、Apache Kafka、Amazon Kinesis、自動ローダーなどの Spark 構造化ストリーミング ソースでサポートされています。 を参照して、ストリーミング メトリックを表示してください。

Lakehouse フェデレーションで Oracle がサポートされる (パブリック プレビュー)

2024 年 12 月 12 日

Oracle によって管理されるデータに対してフェデレーション クエリを実行できるようになりました。 「Oracleでフェデレーション クエリを実行する」を参照してください。

Databricks Runtime 16.1 (ベータ)

2024 年 12 月 11 日

Databricks Runtime 16.1 と Databricks Runtime 16.1 ML がベータ リリースとして利用できるようになりました。

Databricks Runtime 16.1 (EoS) および Databricks Runtime 16.1 for Machine Learning (EoS)

サーバーレス エグレス制御を使用してサーバーレス送信ネットワーク接続を管理する

2024年12月11日

サーバーレスエグレス制御を使用すると、指定されたインターネット宛先への送信アクセスを制限できます。 サーバーレス エグレス制御 を参照してください。.

ネットワーク アクセス イベントのシステム テーブルが利用可能になりました (パブリック プレビュー)

2024 年 12 月 11 日

Azure Databricksシステム テーブルにネットワーク アクセス テーブルが含まれるようになりました。 この表では、アカウントからのインターネット アクセスが拒否されるたびにイベントをログに記録します。 テーブルにアクセスするには、管理者が access システム スキーマを有効にする必要があります。 ネットワーク アクセス イベント システム テーブルリファレンスを参照してください。

アカウントの個人用アクセス トークンの監視と取り消し (プライベート プレビュー)

2024 年 12 月 11 日

アカウント管理者はトークン レポートを表示して、アカウント コンソールで個人用アクセス トークン (AT) を監視および取り消すようになりました。 Databricks では、セキュリティと利便性を高める目的で、PAT の代わりに OAuth アクセス トークンを使用することをお勧めします。 このプレビューに参加するには、Azure Databricks アカウント チームにお問い合わせください。 アカウント の個人用アクセス トークンの監視と取り消しを参照してください。

Unity カタログは Hive メタストアにフェデレーションできます

2024 年 12 月 11 日

Unity カタログを使用して、Hive メタストアに登録されているデータにアクセスして管理できるようになりました。 これには、外部で管理される Hive メタストアと、従来の内部 Databricks Hive Hive メタストアの両方が含まれます。

Hive メタストア フェデレーション :Hive メタストアに登録されているテーブルを Unity カタログで管理できるようにする方法に関する説明を参照してください。

メタストア レベルのストレージを削除してカタログ レベルのストレージ分離を適用する

2024 年 12 月 11 日

マネージド テーブルとボリュームのメタストア レベルのストレージ (メタストア ストレージ ルートとも呼ばれます) があるが、カタログレベルまたはスキーマ レベルでデータ ストレージの分離を適用する場合は、既存のワークロードを中断することなく、そのメタストア レベルのストレージを削除できるようになりました。 メタストア レベルのストレージ の削除を参照してください。

Meta Llama 3.3 70B Instruct がモデル サービスで利用可能になりました

2024 年 12 月 11 日

Mosaic AI Model Serving では、Meta によって構築およびトレーニングされた最先端の大規模言語モデルである Meta Llama 3.3 70B Instruct がサポートされるようになりました。 Llama 3.3 70B Instruct は、ファウンデーションモデルAPI のトークン毎支払いの一部として利用可能です。 この可用性には、関数呼び出しのサポートも含まれます。

2024 年 12 月 11 日より、Meta-Llama-3.1-70B-Instruct は、Foundation Model API のトークンごとの支払いエンドポイントでの Meta-Llama-3-70B-Instruct のサポートを置き換えます。

bamboolib は非推奨になりました

2024 年 12 月 10 日

bamboolib は廃止されました。 ユーザーは引き続き Bamboolib にアクセスしてノートブック内で低コードのデータ分析を実行できますが、Databricks はこのツールを積極的に開発したりサポートしたりしなくなりました。 コード生成については、Databricks Assistantを使用してください。

合成評価セットを使用して AI エージェントの評価を効率化する

2024 年 12 月 9 日

ドキュメントから代表的な評価セットを生成して、AI エージェントを評価します。 合成生成 API は Agent Evaluation と緊密に統合されているため、人によるラベル付けのコストのかかるプロセスを経ることなく、エージェントの応答の品質をすばやく評価および改善できます。 「合成」評価セットを参照してください。

Databricks-to-DatabricksのDelta Sharingテーブルの読み取りパフォーマンスを履歴共有によって向上させる (パブリックプレビュー)

2024 年 12 月 5 日

履歴共有を有効にして、Databricks から Databricks のテーブル共有のパフォーマンスを向上させます。 履歴共有を使用してテーブルの読み取りパフォーマンスを向上させる方法についての情報は、を参照してください。

個人用アクセス トークンの最長有効期間 730 日 (2 年間)

2024 年 12 月 5 日

新しく作成された Databricks によって発行された個人アクセス トークンの既定の最大有効期間は、730 日 (2 年) に設定されるようになりました。 以前は、既定では有効期限なしで個人用アクセス トークンを作成できました。 この更新プログラムでは、ユーザーは有効期間が 730 日を超える新しいトークンを生成できず、指定した有効期間なしで作成されたトークンは 730 日の期間に設定されます。 ワークスペースの最大トークン有効期間を 730 日未満に構成した場合、構成は変更されません。 個人用アクセス トークンの監視と取り消しおよびAzure Databricks 個人用アクセス トークン（レガシ）での認証を参照してください。

モザイク AI モデル トレーニング - サーバーレス予測 (パブリック プレビュー)

2024 年 12 月 5 日

モザイク AI モデル トレーニング - 予測により、マネージド サーバーレス コンピューティング、Unity カタログのサポート、ディープ ラーニング アルゴリズムへのアクセス、アップグレードされたインターフェイスを使用した既存の AutoML 予測エクスペリエンスが向上します。 AutoML を使用した予測 (サーバーレス) を参照してください。

サーバーレス予算ポリシーをモデル サービス エンドポイントに追加する

2024 年 12 月 4 日

サーバーレス予算ポリシー が、エンドポイントを提供するモデルでサポートされるようになりました。 「エンドポイントを提供するモデルの管理」を参照してください。