Azure Databricksで Spark 構成プロパティを設定する

Spark 構成プロパティ (Spark confs) を設定して、コンピューティング環境の設定をカスタマイズできます。

通常、Databricks では、Spark のほとんどのプロパティを構成することをお勧めします。 特に、オープンソースの Apache Spark から移行する場合、または Databricks Runtime のバージョンをアップグレードする場合、従来の Spark 構成が、ワークロードを最適化する新しい既定の動作をオーバーライドする可能性があります。

Spark プロパティによって制御される多くの動作の場合、Azure Databricksには、テーブル レベルで動作を有効にするか、書き込み操作の一部としてカスタム動作を構成するオプションも用意されています。 たとえば、スキーマの進化は以前は Spark プロパティによって制御されていましたが、SQL、Python、Scala で対象範囲を持つようになりました。 「マージ用のスキーマ進化構文」を参照してください。

ノートブックとジョブの Spark プロパティを構成する

ノートブックとジョブの Spark プロパティを設定できます。 構成のスコープは、設定方法によって異なります。

コンピューティング レベルで Spark プロパティを構成する手順については、「Spark の構成」を参照してください。

ノートブックで Spark プロパティを設定するには、次の構文を使用します。

SQL

SET spark.sql.ansi.enabled = true

Python

spark.conf.set("spark.sql.ansi.enabled", "true")

スカラ (プログラミング言語)

spark.conf.set("spark.sql.ansi.enabled", "true")

Databricks SQL で Spark プロパティを構成する

Databricks SQL を使用すると、管理者はワークスペース設定メニューでデータ アクセス用の Spark プロパティを構成できます。 データ アクセスの構成を参照してください

Databricks SQL では、データ アクセス構成以外の一部の Spark conf のみが許可されます。これらは、簡略にするために短い名前のエイリアスが付いています。 「構成パラメーターを設定する」を参照してください。

サポートされているほとんどの SQL 構成では、現在のセッションのグローバル動作をオーバーライドできます。 次の例では、ANSI モードをオフにします。

SET ANSI_MODE = false

Lakeflow Spark 宣言パイプラインの Spark プロパティを構成する

Lakeflow Spark 宣言型パイプラインを使用すると、パイプライン、パイプライン用に構成された 1 つのコンピューティング リソース、または個々のフロー、具体化されたビュー、またはストリーミング テーブルに対して Spark プロパティを構成できます。

パイプラインとコンピューティング Spark のプロパティは、UI または JSON を使用して設定できます。 「 パイプラインの構成」を参照してください。

Lakeflow Spark 宣言パイプラインデコレーター関数の spark_conf オプションを使用して、フロー、ビュー、またはテーブルの Spark プロパティを構成します。 Lakeflow Spark 宣言型パイプライン Python言語リファレンスを参照してください。

サーバーレス ノートブックとジョブの Spark プロパティを構成する

サーバーレス コンピューティングでは、ノートブックまたはジョブのほとんどの Spark プロパティの設定はサポートされていません。 構成できるプロパティを次に示します。

サポートされていない Spark プロパティ

次の Spark 構成プロパティは、Azure Databricksではサポートされていません。 サポートされていない Spark プロパティは、Azure Databricksによって無視されるか、Azure Databricks機能と同時に使用すると競合やエラーが発生する可能性があります。 ワークロードをAzure Databricksに移行する場合は、サポートされていないプロパティを推奨される代替手段に置き換えます。

Spark 構成の現在の設定を取得する

Spark 構成の現在の設定を確認するには、次の構文を使用します。

spark.conf.get("configuration_name")