Transformeringsfunktioner i Power Query för dataomvandling

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

Med dataomvandling i Azure Data Factory kan du utföra kodfri agil dataförberedelse och dataomvandling i molnskala genom att översätta Power Query M-skript till Data Flow skript. ADF integreras med Power Query Online och gör Power Query M funktioner tillgängliga för dataomvandling via Spark-körning med hjälp av Spark-infrastrukturen för dataflödet.

För närvarande stöds inte alla Power Query M-funktioner för dataomvandling trots att de är tillgängliga under redigeringen. När du skapar kombinationsprogram uppmanas du med följande felmeddelande om en funktion inte stöds:

UserQuery : Expression.Error: The transformation logic is not supported as it requires dynamic access to rows of data, which cannot be scaled out.

Nedan visas en lista över funktioner som stöds Power Query M.

Kolumnhantering

• Markering: Table.SelectColumns
• Borttagning: Table.RemoveColumns
• Byt namn: Table.RenameColumns, Table.PrefixColumns, Table.TransformColumnNames
• Ordna om: Table.ReorderColumns

Radfiltrering

Använd M-funktionen Table.SelectRows för att filtrera efter följande villkor:

• Jämlikhet och ojämlikhet
• Numeriska jämförelser, text och datum (men inte DateTime)
• Numerisk information som /
• Text-inneslutning med text.contains, text.startsWith eller text.EndsWith
• Datumintervall inklusive alla "IsIn" -datumfunktioner)
• Kombinationer av dessa med eller eller inte villkor

Lägga till och transformera kolumner

Följande M-funktioner lägger till eller transformerar kolumner: Table.AddColumn, Table.TransformColumns, Table.ReplaceValue, Table.DuplicateColumn. Nedan visas de transformeringsfunktioner som stöds.

• Numerisk aritmetik
• Textsammanfogning
• Datum- och tidsaritmetik (Aritmetiska operatorer, Date.AddDays, Date.AddMonths, Date.AddQuarters, Date.AddWeeks, Date.AddYears)
• Varaktigheter kan användas för datum- och tidsaritmetik, men måste omvandlas till en annan typ innan de skrivs till en mottagare (Aritmetiska operatorer, #duration, Duration.Days, Duration.Hours, Duration.Minutes, Duration.Seconds, Duration.TotalDays, Duration.TotalHours, Duration.TotalMinutes, Duration.TotalSeconds)
• De flesta numeriska standardfunktioner, vetenskapliga och trigonometriska funktioner (alla funktioner under Åtgärder, avrundning och trigonometriförutom Number.Factorial, Number.Permutations och Number.Combinations)
• Ersättning (Replacer.ReplaceText, Replacer.ReplaceValue, Text.Replace, Text.Remove)
• Extrahering av positionstext (Text.PositionOf, Text.Length, Text.Start, Text.End, Text.Middle, Text.ReplaceRange, Text.RemoveRange)
• Grundläggande textformatering (Text.Lower, Text.Upper, Text.Trim/Start/End, Text.PadStart/End, Text.Reverse)
• Date/Time Functions (Date.Day, Date.Month, Date.YearTime.Hour, Time.Minute, Time.Second, Date.DayOfWeek, Date.DayOfYear, Date.DaysInMonth)
• Om uttryck (men grenar måste ha matchande typer)
• Radfilter som en logisk kolumn
• Tal-, text-, logiska, datum- och datetime-konstanter

Sammanslagning/sammanfogning av tabeller

• Power Query genererar en kapslad koppling (Table.NestedJoin; användare kan också skriva Table.AddJoinColumn). Användarna måste sedan expandera den kapslade kopplingskolumnen till en icke-kapslad koppling (Table.ExpandTableColumn, stöds inte i någon annan kontext).
• M-funktionen Table.Join kan skrivas direkt för att undvika behovet av ytterligare ett expansionssteg, men användaren måste se till att det inte finns några duplicerade kolumnnamn bland de anslutna tabellerna
• Anslutningstyper som stöds: Inre, LeftOuter, RightOuter, FullOuter
• Både Value.Equals och Value.NullableEquals stöds som viktiga likhetsjämförelsejämförare

Gruppera efter

Använd Table.Group för att aggregera värden.

• Måste användas med en aggregeringsfunktion
• Sammansättningsfunktioner som stöds: List.Sum, List.Count, List.Average, List.Min, List.Max, List.StandardDeviation, List.First, List.Last

Sortering

Använd Table.Sort för att sortera värden.

Minska rader

Behåll och ta bort överkant, behåll intervall (motsvarande M-funktioner, endast stödantal, inte villkor: Table.FirstN, Table.Skip, Table.RemoveFirstN, Table.Range, Table.MinN, Table.MaxN)

Kända funktioner som inte stöds

Lösningar för M-skript

SplitColumn

En alternativ för delning efter längd och position visas nedan

• Table.AddColumn(Source, "First characters", each Text.Start([Email], 7), type text)
• Table.AddColumn(#"Inserted first characters", "Text range", each Text.Middle([Email], 4, 9), type text)

Det här alternativet är tillgängligt från alternativet Extrahera i menyfliksområdet

Table.CombineColumns

• Table.AddColumn(RemoveEmailColumn, "Name", each [FirstName] & " " & [LastName])

Lutar

• Välj Pivottransformeringen från PQ-redigeraren och välj pivotkolumnen

• Välj sedan värdekolumnen och aggregeringsfunktionen

• När du klickar på OK visas data i redigeraren uppdaterade med de pivoterade värdena
• Du ser också ett varningsmeddelande om att omvandlingen kanske inte stöds
• Om du vill åtgärda den här varningen expanderar du den pivoterade listan manuellt med hjälp av PQ-redigeraren
• Välj Advanced Editor alternativ i menyfliksområdet
• Expandera listan över pivoterade värden manuellt
• Ersätt List.Distinct() med listan med värden som den här:

#"Pivoted column" = Table.Pivot(Table.TransformColumnTypes(#"Changed column type 1", {{"genres", type text}}), {"Drama", "Horror", "Comedy", "Musical", "Documentary"}, "genres", "Rating", List.Average)
in
  #"Pivoted column"

Formatera datum/tid-kolumner

Om du vill ange datum/tid-format när du använder Power Query ADF följer du dessa uppsättningar för att ange formatet.

1. Välj kolumnen i användargränssnittet för Power Query och välj Ändra typ > datum/tid
2. Du ser ett varningsmeddelande
3. Öppna Advanced Editor och ändra TransformColumnTypes till TransformColumns. Ange format och kultur baserat på indata.

#"Changed column type 1" = Table.TransformColumns(#"Duplicated column", {{"start - Copy", each DateTime.FromText(_, [Format = "yyyy-MM-dd HH:mm:ss", Culture = "en-us"]), type datetime}})

Relaterat innehåll

Lär dig hur du skapa en dataomvandling Power Query i ADF.