Hur fungerar Azure Data Factory Orchestration Manager för arbetsflöden?

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

Workflow Orchestration Manager i Azure Data Factory använder Python-baserade dirigerade acykliska grafer (DAGs) för att köra dina orkestreringsarbetsflöden. Om du vill använda den här funktionen måste du ange dina DAG:er och plugin-program i Azure Blob Storage. Du kan starta Airflow-användargränssnittet från ADF med hjälp av ett kommandoradsgränssnitt (CLI) eller ett programutvecklingspaket (SDK) för att hantera dina DAG:er.

Skapa en Arbetsflödesorkestreringshanterare-miljö

Följande steg konfigurerar arbetsflödesorkestreringshanterarens miljö.

Förutsättningar

Azure prenumeration: Om du inte har en Azure prenumeration skapar du ett free-konto innan du börjar. Skapa eller välj en befintlig Data Factory i den region där förhandsversionen av Workflow Orchestration Manager stöds.

Steg för att skapa miljön

1. Skapa en ny Arbetsflödesorkestreringshanterare-miljö. Gå till Hantera hubb ->Airflow (förhandsversion) ->+Nytt för att skapa en ny Airflow-miljö

   

2. Ange information (Airflow-konfiguration)

   

   Viktigt!

   När du använder Grundläggande autentisering ska du komma ihåg användarnamnet och lösenordet som anges på den här skärmen. Du måste senare logga in i användargränssnittet för Workflow Orchestration Manager. Standardalternativet är Microsoft Entra ID och kräver inte att du skapar användarnamn/lösenord för din Airflow-miljö, utan i stället använder den inloggade användarens autentiseringsuppgifter för att Azure Data Factory för att logga in/övervaka DAG:er.

3. Miljövariabler ett enkelt nyckelvärdelager i Airflow för att lagra och hämta godtyckligt innehåll eller inställningar.

4. Krav kan användas för att förinstallera Python-bibliotek. Du kan även uppdatera dessa senare.

Importera DAG:er

Följande steg beskriver hur du importerar DAG:er till Workflow Orchestration Manager.

Förutsättningar

Du måste ladda upp en exempel-DAG till ett tillgängligt lagringskonto (bör finnas under mappen dags).

Exempel på Apache Airflow v2.x DAG. Exempel på Apache Airflow v1.10 DAG.

Steg för import

1. Kopiera och klistra in innehållet (antingen v2.x eller v1.10 baserat på airflow-miljön som du har konfigurerat) i en ny fil med namnet tutorial.py.

   Ladda upp tutorial.py till en bloblagring. (Hur man laddar upp en fil till en blob)

   Kommentar

   Du måste välja en katalogsökväg från ett bloblagringskonto som innehåller mappar med namnet dags och plugin-program för att importera dem till Airflow-miljön. Plugin-program är inte obligatoriska. Du kan också ha en container med namnet dags och ladda upp alla Airflow-filer i den.

2. Välj på Airflow (förhandsversion) under Hantera nav. Hovra sedan över den tidigare skapade Airflow-miljön och välj importera filer för att importera alla DAG:er och beroenden till Airflow-miljön.

   

3. Skapa en ny länkad tjänst till det tillgängliga lagringskontot som anges i förutsättningen (eller använd en befintlig om du redan har egna DAG:er).

   

4. Använd lagringskontot där du laddade upp DAG (kontrollera förutsättningen). Testa anslutningen och välj sedan Skapa.

   

5. Bläddra och välj luftflöde om du använder SAS-exempel-URL:en eller väljer mappen som innehåller mappen dags med DAG-filer.

   Kommentar

   Du kan importera DAG:er och deras beroenden via det här gränssnittet. Du måste välja en katalogsökväg från ett bloblagringskonto som innehåller mappar med namnet dags och plugin-program för att importera dem till Airflow-miljön. Plugin-program är inte obligatoriska.

   

   

   

   

Felsöka problem med import-DAG

• Problem: DAG-importen tar över 5 minuter: Minska storleken på de importerade DAG:erna med en enda import. Ett sätt att uppnå detta är genom att skapa flera DAG-mappar med mindre DAG:er i flera containrar.

• Problem: Importerade DAG:er visas inte när du loggar in i Airflow-användargränssnittet. Åtgärd: Logga in i airflow-användargränssnittet och se om det finns några DAG-parsningsfel. Detta kan inträffa om DAG-filerna innehåller någon inkompatibel kod. Du hittar de exakta radnumren och filerna, som har problemet via Airflow-användargränssnittet.

  

Övervaka DAG-körningar

Om du vill övervaka Airflow DAG:er loggar du in i Airflow-användargränssnittet med det tidigare skapade användarnamnet och lösenordet.

1. Välj den skapade Airflow-miljön.

   

2. Logga in med det användarnamn och lösenord som angavs när Airflow Integration Runtime skapas. (Du kan återställa användarnamnet eller lösenordet genom att redigera Airflow Integration-körningen om det behövs)

   

Ta bort DAG:er från airflow-miljön

Om du använder Airflow version 1.x, tar bort DAG:er som distribueras i valfri Airflow-miljö (IR) måste du ta bort DAG:erna på två olika platser.

1. Ta bort DAG från Airflow-användargränssnittet
2. Ta bort DAG i ADF-användargränssnittet

Relaterat innehåll

• Köra en befintlig pipeline med Workflow Orchestration Manager
• Prissättning för Arbetsflödesorkestreringshanteraren
• Så här ändrar du lösenordet för arbetsflödesorkestreringshanterarens miljö