Del via

Konfigurér ressourceprofilkonfigurationer i Microsoft Fabric

Ressourceprofiler i Microsoft Fabric lader dig anvende foruddefinerede Spark-konfigurationssæt til almindelige arbejdsbelastningsmønstre som læsetung og skrivetung behandling.

Profiler reducerer manuel Spark-tuning og giver en hurtigere vej til forudsigelig ydeevne.

Fordele ved ressourceprofiler

  • Ydeevne som standard: Anvend testede Spark-indstillinger for almindelige mønstre.
  • Fleksibilitet: Vælg en foruddefineret profil eller brug brugerdefinerede indstillinger.
  • Sænk tuning-overhead: Reducer trial-and-error konfigurationsændringer.

Seddel

  • Nye Fabric-arbejdsområder bruger som standard profilen writeHeavy .
  • I writeHeavy, er VOrder deaktiveret som standard og skal aktiveres manuelt, når det er nødvendigt.

Tilgængelige ressourceprofiler

Profil Brugsscenarie Konfigurationsegenskab
readHeavyForSpark Optimeret til Spark-arbejdsbelastninger med hyppige læsninger spark.fabric.resourceProfile = readHeavyForSpark
readHeavyForPBI Optimeret til Power BI-forespørgsler på Delta-tabeller spark.fabric.resourceProfile = readHeavyForPBI
writeHeavy Optimeret til højfrekvent indlæsning og skrivning spark.fabric.resourceProfile = writeHeavy
custom Fuldt brugerdefineret profil spark.fabric.resourceProfile = custom

Standardkonfigurationsværdier efter profil

Ressourceprofil Konfigurationer
writeHeavy {"spark.sql.parquet.vorder.default": "false", "spark.databricks.delta.optimizeWrite.enabled": "null", "spark.databricks.delta.optimizeWrite.binSize": "128", "spark.databricks.delta.optimizeWrite.partitioned.enabled": "true"}
readHeavyForPBI {"spark.sql.parquet.vorder.default": "true", "spark.databricks.delta.optimizeWrite.enabled": "true", "spark.databricks.delta.optimizeWrite.binSize": "1g"}
readHeavyForSpark {"spark.databricks.delta.optimizeWrite.enabled": "true", "spark.databricks.delta.optimizeWrite.partitioned.enabled": "true", "spark.databricks.delta.optimizeWrite.binSize": "128"}
custom (eksempel: fastIngestProfile) Brugerdefinerede indstillinger, for eksempel {"spark.sql.shuffle.partitions": "800", "spark.sql.adaptive.enabled": "true", "spark.serializer": "org.apache.spark.serializer.KryoSerializer"}

Tips

Brug beskrivende brugerdefinerede profilnavne såsom fastIngestProfile eller lowLatencyAnalytics.

Konfigurer ressourceprofiler

Du kan konfigurere profiler på miljøniveau eller under kørsel.

Konfigurer profiler i et miljø

Sæt standardprofilen for alle Spark-jobs i et miljø, medmindre de overskrives under kørsel.

  1. Gå til dit Fabric-arbejdsområde.
  2. Opret et nyt miljø eller rediger et eksisterende.
  3. I Spark-konfigurationer sættesspark.fabric.resourceProfile til en af følgende værdier:
    • writeHeavy
    • readHeavyForPBI
    • readHeavyForSpark
    • Et brugerdefineret profilnavn
  4. Red miljøet.

Du kan også starte fra en eksisterende profil og ændre specifikke egenskaber efter behov.

Konfigurér profiler under runtime med spark.conf.set

Du kan overskrive profilen under udførelsen af notebook- eller Spark-job:

spark.conf.set("spark.fabric.resourceProfile", "readHeavyForSpark")

Runtime-konfiguration er nyttig, når forskellige dele af en arbejdsbelastning kræver forskellig adfærd.

Seddel

Hvis både miljø- og runtime-konfigurationer er sat, har runtime-konfiguration forrang.

Standardfunktionsmåde

Alle nyoprettede Fabric-arbejdsområder er som standard .writeHeavy Denne standard er optimeret til workloads med tung indlæsning, herunder ETL og streaming.

Hvis din arbejdsbyrde er læseoptimeret (for eksempel interaktive forespørgsler eller Power BI scenarier), skift til readHeavyForSpark eller readHeavyForPBI, eller tilpas profilindstillinger.

Vigtigt!

I nye Fabric-arbejdsområder er deaktiveret VOrder som standard (spark.sql.parquet.vorder.default=false) for at optimere skrivetung behandling.

Relateret indhold

  • Last updated on