Moderne evaluator for Dataflow Gen2 med CI/CD

Modern Query Evaluation Engine (også kendt som "Modern Evaluator") indeholder et nyt program til udførelse af forespørgsler, der kører på .NET core version 8, hvilket kan forbedre ydeevnen af dataflowkørsler betydeligt i nogle scenarier.

Dataflow, der kører den moderne evaluator, kan potentielt se nogle af disse vigtige fordele:

• Hurtigere udførelse af dataflow: Det moderne program kan reducere evalueringstiden for forespørgsler betydeligt. Mange dataflow kører mærkbart hurtigere, så du kan opdatere data oftere eller opfylde stramme opdateringsvinduer.

• Mere effektiv behandling: Motoren er optimeret til effektivitet ved hjælp af forbedrede algoritmer og en moderne runtime. Det betyder, at den kan håndtere komplekse transformationer med mindre overhead, hvilket hjælper med at opretholde ydeevnen, efterhånden som din datamængde vokser.

• Skalerbarhed og pålidelighed: Ved at fremskynde udførelsen og reducere flaskehalse hjælper Modern Evaluator dataflow med at skalere til større mængder med større stabilitet. Kunderne kan forvente mere ensartede opdateringsvarigheder og færre timeoutproblemer på store dataflow, når de bruger det nye program.

Sådan aktiverer eller deaktiverer du Modern Evaluator

Følg disse trin for at aktivere det moderne forespørgselsevalueringsprogram for et dataflow:

1. Åbn dit dataflow til redigering: I Fabric Data Factory skal du navigere til dit CI/CD-element (Dataflow Gen2) og åbne det i Power Query-editoren.

2. Gå til Indstillinger (Skaleringsindstillinger): Vælg menuen Indstillinger i datafloweditoren. I Indstillinger-dialogen skal du vælge fanen Skala.

3. Aktiver den moderne evaluator: Find indstillingen til moderne forespørgselsevalueringsmotor. Tjek at denne mulighed er aktiveret.

   

4. Gem og kør: Gem indstillingerne for dataflow. Næste gang du kører dataflowet, bruger det Modern Evaluator til understøttede connectorer.

Ydelsesovervejelser

Når du bruger moderne evalueringsmotorer, bør du observere hurtigere opdateringstider, især for dataintensive flows. Datatransformationer, der tidligere tog en time, kan f.eks. fuldføres på ca. halvdelen af tiden med Modern Evaluator aktiveret (de faktiske resultater varierer afhængigt af dine scenarier). Denne forbedring af ydeevnen hjælper i scenarier som:

• Store datamængder: Når du håndterer millioner af rækker eller store filer, kan den nye motors optimeringer forkorte behandlingstiden og reducere hukommelsesforbruget.

• Komplekse transformationer: Dataflow med mange transformationstrin eller tunge handlinger (f.eks. joinforbindelser på tværs af store tabeller) drager fordel af programmets forbedrede udførelsesplan, hvilket fører til problemfri og hurtigere fuldførelse.

• Hyppige kørselsplaner: Hvis dine dataflow kører flere gange om dagen, akkumuleres tidsbesparelserne pr. opdatering, så du hurtigere kan levere up-todatodata til brugerne.

Benchmarks

Dette afsnit bruger et stort, virkeligt datasæt til at illustrere, hvordan arkitektoniske ændringer på tværs af Dataflow-generationer og introduktionen af Modern Query Evaluation Engine påvirker eksekveringstiden.

Sammenligning på tværs af produkter

Denne benchmark sammenligner Dataflow Gen1, Dataflow Gen2 og Dataflow Gen2 (CI/CD) ved hjælp af et identisk indtagelses- og transformationsscenarie.

scenarie

• Kilde: NYC Taxi-datasæt lagret i Azure Blob Storage
• Datavolumen: ~110 millioner rækker
• Transformation: Række-for-række transformation under indtagelse
• Destination:
  • Gen1: CSV
  • Gen2 / Gen2 (CI/CD): Lakehouse (standardoutput)

Resultater

Observationer

• Dataflow Gen1 og Dataflow Gen2 viser sammenlignelige eksekveringstider for dette række-for-række-transformationsscenarie.
• Dataflow Gen2 (CI/CD) udfører den samme arbejdsbyrde på cirka halvdelen af tiden.
• Ydelsesforbedringen drives af Modern Query Evaluation Engine, som reducerer overhead pr. række og optimerer udførelsen for store indlæsningsarbejdsbyrder.

Legacy vs. Modern evaluator

Denne benchmark sammenligner den ældre evalueringsmotor og Modern Query Evaluation Engine inden for Dataflow Gen2 (CI/CD) under to almindelige forespørgselsmønstre.

scenarie

• Datakilde: NYC Taxi-datasæt gemt i SQL
• Datavolumen: ~110 millioner rækker
• Destination: Fabric Lakehouse

Resultater

Observationer

Den moderne forespørgselsevalueringsmotor giver betydelige ydelsesforbedringer på grund af en mere effektiv kørselstid og reduceret eksekveringsoverhead, uanset om forespørgslen foldes eller ej.

Understøttede stik

Modern Query Evaluation Engine understøtter en række dataforbindelser. Sørg for, at dataflowets datakilder er blandt de understøttede typer for at drage fordel af det nye program. Nuværende understøttede stik inkluderer.

Hvis et dataflow bruger connectorer, der ikke findes på denne liste, fortsætter disse forespørgsler med at køre med standardprogrammet (ældre).