Facturering automatisch schalen voor Spark in Microsoft Fabric

Autoscale Facturering voor Spark is een model waarbij per gebruik wordt betaald voor Apache Spark-workloads in Microsoft Fabric. Wanneer deze functie is ingeschakeld, verbruiken Spark-taken geen rekenkracht meer van uw Fabric-capaciteit. In plaats daarvan maken taken gebruik van toegewezen serverloze resources die onafhankelijk van elkaar worden gefactureerd.

Dit model vormt een aanvulling op het standaardcapaciteitsmodel, zodat u de beste optie per workload kunt kiezen.

Kiezen tussen facturering en capaciteitsmodel voor automatische schaalaanpassing

Eigenschap Capaciteitsmodel Automatisch schalende facturering voor Spark
Facturatie Vaste kosten per capaciteitslaag Betalen per gebruik voor Spark-jobs
Schaalbaarheid Capaciteit gedeeld tussen workloads Spark schaalt onafhankelijk
Resourceconflicten Het is mogelijk tussen workloads Toegewezen rekenlimieten voor Spark
Beste gebruikssituatie Voorspelbare workloads Dynamische of piekende Spark-taken

U kunt beide modellen combineren om kosten en prestaties te verdelen. Voer bijvoorbeeld stabiele terugkerende workloads uit op capaciteit en verplaats workloads die plotseling in intensiteit variëren, zoals ad-hoc Spark-workloads, naar een omgeving waar de facturering automatisch wordt geschaald.

Belangrijkste voordelen

  • Kostenefficiëntie: betaal alleen voor Spark-taakruntime.
  • Onafhankelijk schalen: Spark-workloads worden uitgevoerd zonder dat dit van invloed is op andere bewerkingen op basis van capaciteit.
  • Enterprise-ready: kan worden geïntegreerd met Azure Quotabeheer voor flexibiliteit.

Hoe werkt facturering bij automatische schaling

Wanneer autoschaalfacturering is ingeschakeld:

  • Spark-taken worden uitbesteed vanuit de Fabric-capaciteit en verbruiken geen CU van die capaciteit.
  • U stelt een maximale CU-limiet in voor Spark-workloads (een quotumachtige limiet).
  • Facturering blijft gebaseerd op het Spark-gebruikstarief (0.5 CU hour) en is alleen van toepassing op actieve taak berekenen.
  • Wanneer de CU-limiet is bereikt, worden interactieve processen vertraagd en worden batchprocessen in de wachtrij geplaatst.
  • Spark-gebruik en -kosten worden afzonderlijk weergegeven in de app Fabric Capacity Metrics en Azure Cost Analysis.

Belangrijk

Facturering voor automatische schaalaanpassing is opt-in per capaciteit en overschrijdt niet en valt niet terug op de Fabric capaciteit. Het is een afzonderlijk serverloos model met betaling naar gebruik.

Gelijktijdigheid van taken en wachtrijgedrag

Wanneer facturering voor automatische schaalaanpassing is geactiveerd, wordt Spark-gelijktijdigheid bepaald door de limiet voor maximale capaciteitseenheid (CU) die is geconfigureerd door de capaciteitbeheerder van Fabric. In tegenstelling tot standaardcapaciteit maakt facturering voor automatische schaalaanpassing geen gebruik van bursting of smoothing.

  • Interactieve Spark-taken (bijvoorbeeld Lakehouse-bewerkingen, tabelvoorbeeld, laden in tabel of interactieve notebookquery's) worden gelimiteerd als de beschikbare CU's volledig worden gebruikt.
  • Achtergrond-Spark-taken (geactiveerd door pijplijnen, scheduler, API-uitvoeringen, Spark-taakdefinities of tabelonderhoud) worden in de wachtrij geplaatst.

De wachtrijgrootte is gekoppeld aan de CU-limiet.

Opmerking

Als de maximale CU-limiet 2048 is, kan de Spark-wachtrij maximaal 2048 taken bevatten.

Dit gedrag houdt de toewijzing voorspelbaar en controleerbaar, terwijl Spark-workloads van hoge volumes worden ondersteund.

Aanvullende quota aanvragen

Als uw Data Engineering- of Data Science-workloads een hoger quotum vereisen dan uw huidige maximale CU-limiet, vraagt u een verhoging aan van Azure Quota:

  1. Navigeer naar de Azure portal en meld u aan.
  2. Typ en selecteer Azure Quota in de zoekbalk.
  3. Kies Microsoft Fabric in de lijst met beschikbare services.
  4. Selecteer het abonnement dat is gekoppeld aan uw Fabric-capaciteit.
  5. Bewerk de quotumlimiet door de nieuwe CU-limiet in te voeren die u wilt verkrijgen.
  6. Dien uw quotumaanvraag in.

Diagram met instellingen voor automatisch schalen in capaciteitsinstellingen, inclusief een wisselknop en schuifregelaar voor maximale capaciteitseenheden.

Na goedkeuring wordt de bijgewerkte CU-limiet toegepast op uw Fabric-capaciteit.