次の方法で共有

Data Engineering 用 Livy API の概要

対象:✅ ファブリックデータエンジニアリングおよびデータサイエンス

Microsoft Fabric Livy API を使用すると、ユーザーは、Fabric Lakehouse に関連付けられた Spark コンピューティング内で Spark コードを送信して実行できるため、ノートブックまたは Spark ジョブ定義成果物を作成する必要がなくなります。 レイクハウスとのこの統合により、OneLake に格納されているデータに簡単にアクセスできます。

特徴

Fabric Livy API では、次のジョブの種類がサポートされています。

  • セッション ジョブ — Livy セッション ジョブは、Livy API との対話を通じてアクティブなままの Spark セッションを確立します。 セッションは、対話型ワークロードに役立ちます。 セッションは、ジョブが送信されたときに開始され、ユーザーがジョブを終了するか、システムが非アクティブ状態の 20 分後に終了するまで続きます。 セッション内で複数のジョブを実行し、実行間で状態とキャッシュされたデータを共有できます。
  • バッチ ジョブ — Livy バッチ ジョブは、1 回のジョブ実行のために Spark アプリケーションを送信します。 セッション ジョブとは異なり、バッチ ジョブは継続的な Spark セッションを維持しません。 各ジョブは、ジョブの終了時に終了する新しい Spark セッションを開始します。これは、以前の計算に依存しないタスクや状態の維持が必要なタスクに適しています。
  • 高コンカレンシー セッション — 高コンカレンシー (HC) セッションでは、クライアントが複数の独立した実行コンテキストを取得できるようにすることで、Spark の同時実行を同時に実行できます。 各 HC セッションは、共有の基になる Livy セッション内の Spark REPL (読み取りEval-Print ループ) にマップされ、並列実行、予測可能なリソース使用量、同時要求間の分離がサポートされます。 詳細については、Fabric Livy API の高度なコンカレンシーのサポートを参照してください。

注

コンカレンシーの高いサポートは追加的であり、既存の Livy API コントラクトは変更されません。 既存の Livy セッションとバッチ ワークロードは、変更なしで引き続き機能します。

Livy API を使い始める

関連するコンテンツ

  • Last updated on