Lägg till parametrar till komponenter i datafabriken
Parametrisera länkade tjänster i Azure Data Factory
Inom Azure Data Factory är det möjligt att parametrisera en länkad tjänst där du kan överföra dynamiska värden under körningen. Ett användningsfall för det här scenariot är att ansluta till flera olika databaser som finns på samma SQL-server, där du kanske tänker på att parameterisera databasnamnet i den länkade tjänstdefinitionen. Fördelen med att göra detta är att du inte behöver skapa en enda länkad tjänst för varje databas som finns på samma SQL Server.
Det går också att parametrisera andra egenskaper för den länkade tjänsten som ett användarnamn.
Om du väljer att parametrisera länkade tjänster i Azure Data Factory kan du göra detta i Användargränssnittet för Azure Data Factory, Azure Portal eller ett programmeringsgränssnitt som du föredrar.
Om du väljer att skapa den länkade tjänsten via användargränssnittet, tillhandahåller Data Factory inbyggd parameterisering för över 50 anslutningstyper, inklusive vanliga anslutningskomponenter såsom:
- Azure SQL Database
- Hanterad instans i Azure SQL
- Azure Blob Storage-lagringstjänst
- Azure Data Lake Storage Gen2
- Azure Cosmos DB för NoSQL
- Azure Databricks
- SQL Server
- Salesforce
- Snowflake
- Allmän HTTP och allmän REST
Den fullständiga listan över nativt stödda kopplingar finns i Parameterize linked services in Azure Data Factory.
Om du går till bladet skapa/redigera för den länkade tjänsten hittar du alternativen för parameterisering.
Om anslutningsappen du använder inte finns med i listan med internt stöd kan du fortfarande parametrisera den genom att redigera JSON via användargränssnittet.
I fönstret Skapa/redigera länkad tjänst expanderar du Avancerat längst ned i fönstret, markerar kryssrutan Ange dynamiskt innehåll i JSON-format och anger den länkade JSON-nyttolasten för tjänsten.
När du har skapat en länkad tjänst utan parameterisering går du till hanteringshubben och väljer Länkade tjänster och letar reda på den specifika länkade tjänsten. Välj {} sedan (kodknappen) för att redigera JSON.
Globala parametrar i Azure Data Factory
Om du anger globala parametrar i en Azure Data Factory-pipeline kan du använda dessa konstanter för förbrukning i pipelineuttryck. Ett användningsfall för att ange globala parametrar är när du har flera pipelines där parametrarnas namn och värden är identiska.
Om du använder distributionsprocessen för kontinuerlig integrering och kontinuerlig (CI/CD) med Azure Data Factory kan de globala parametrarna åsidosättas, om du vill, för varje miljö som du har skapat.
Skapa globala parametrar i Azure Data Factory
Om du vill skapa en global parameter går du till fliken Globala parametrar i avsnittet Hantera . Välj Ny för att öppna menyfönstret på skapandesidan.
I sidomenyn anger du ett namn, väljer en datatyp och anger värdet för parametern.
När en global parameter har skapats kan du redigera den genom att välja parameterns namn. Om du vill ändra flera parametrar tillsammans väljer du Redigera alla.
Använd globala parametrar i en pipeline
När du använder globala parametrar i en pipeline i Azure Data Factory refereras den främst i pipelineuttryck. Om en pipeline till exempel refererar till en resurs som en datamängd eller ett dataflöde kan du skicka det globala parametervärdet via resursparametern. Kommandot eller referensen för globala parametrar i Azure Data Factory beskrivs enligt följande: pipeline().globalParameters.<parameterName>.
Globala parametrar i CI/CD
När du integrerar globala parametrar i en pipeline med CI/CD med Azure Data Factory kan du göra det på två sätt:
- Inkludera globala parametrar i Azure Resource Manager-mallen
- Distribuera globala parametrar via ett PowerShell-skript
I de flesta CI/CD-metoder är det fördelaktigt att inkludera globala parametrar i Azure Resource Manager-mallen. Det rekommenderas på grund av deras interna integrering med CI/CD, där globala parametrar läggs till som en Azure Resource Manager-mallparameter. Detta beror på ändringar i flera miljöer som bearbetas i.
Om du vill aktivera globala parametrar i en Azure Resource Manager-mall går du till hanteringshubben . Tänk på att när du har lagt till globala parametrar i en Azure Resource Manager-mall lägger den till en azure Data Factory-nivåinställning som kan åsidosätta andra inställningar som git-konfigurationer.
Användningsfallet för att distribuera globala parametrar via ett PowerShell-skript kan bero på att du kan ha de tidigare beskrivna inställningarna aktiverade i en upphöjd miljö, till exempel UAT eller PROD.
Parametrisera mappningsdataflöden
I Azure Data Factory kan du använda mappning av dataflöden, vilket gör att du kan använda parametrar. Om du anger parametrar i en dataflödesdefinition kan du använda parametrarna i uttryck. Parametervärdena anges av den anropande pipelinen via aktiviteten Kör Dataflöde.
Det finns tre alternativ för att ange värdena i dataflödesaktivitetsuttrycken:
- Använd uttrycksspråket för pipelinekontrollflöde för att ange ett dynamiskt värde.
- Använd dataflödesuttrycksspråket för att ange ett dynamiskt värde.
- Använd något av uttrycksspråken för att ange ett statiskt literalvärde.
Anledningen till att parameterisera mappningsdataflöden är att se till att dina dataflöden är generaliserade, flexibla och återanvändbara.
Skapa parametrar i dataflödet
Om du vill lägga till parametrar i dataflödet väljer du den tomma delen av dataflödesarbetsytan för att se de allmänna egenskaperna.
I fönstret Inställningar visas fliken Parameter .
Välj Ny för att generera en ny parameter. För varje parameter måste du tilldela ett namn, välja en typ och eventuellt ange ett standardvärde.
Tilldela parametrar från en pipeline i mappning av dataflöde
Om du har skapat ett dataflöde där du har angett parametrar kan du köra det från en pipeline med hjälp av Kör Dataflöde-aktivitet.
När du har lagt till aktiviteten på pipelinearbetsytan hittar du dataflödesparametrarna på fliken Parametrar för aktiviteten.
Genom att tilldela parametervärden kan du använda dessa i ett uttrycksspråk för pipeline eller dataflöden baserat på Spark-typer. Du kan också kombinera de två, det vill säga parametrarna för pipeline och dataflödesuttryck.