Module 3: Organiseren en automatiseren met een pijplijn

U kunt deze module over ongeveer 15 minuten voltooien. In dit laatste deel van de zelfstudie maakt u een pijplijn waarmee de kopieertaak wordt georganiseerd en (optioneel) de gegevensstroom die u hebt gemaakt in Modules 1 en 2, een e-mailmelding verzenden wanneer alle taken zijn voltooid en de pijplijn plannen om automatisch te worden uitgevoerd.

Vereiste voorwaarden

Een pijplijn maken

Maak eerst een pipeline om de kopieertaak te orkestreren die u al hebt gemaakt.

  1. Selecteer + Nieuw item in uw werkruimte en zoek en kies Pijplijn.

    Schermopname van de startpagina van Data Factory met de knop om een nieuw item en gegevenspijplijn te maken geselecteerd.

  2. Geef een pijplijnnaam op. Klik vervolgens op Maken.

Uw kopieertaakactiviteit toevoegen

  1. Selecteer op het pijplijncanvas het tabblad Activiteiten , Gegevens kopiëren en voeg de activiteit kopieertaak toe.

    Schermopname van het Data Factory-pijplijncanvas, met het activiteitenpaneel geopend en de kopieertaak toegevoegd.

  2. Selecteer de kopieertaakactiviteit op het pijplijncanvas en selecteer vervolgens het tabblad Instellingen onder het canvas.

    Schermopname van het pijplijncanvas met de kopieertaakactiviteit gemarkeerd en het tabblad Instellingen gemarkeerd.

  3. Selecteer de vervolgkeuzelijst Verbinding en selecteer Alles doorbladeren.

    Schermopname van de lijst met instellingen voor de kopieertaak, met 'alles doorbladeren' gemarkeerd.

  4. Selecteer De taak Kopiëren onder Nieuwe bronnen.

  5. Op de pagina Verbinding maken met gegevensbron selecteer Aanmelden om de verbinding te authenticeren.

    Schermopname van de pagina voor het ophalen van gegevensverbindingsreferenties, waarbij de optie Aanmelden is gemarkeerd.

  6. Volg de aanwijzingen om u aan te melden bij uw organisatieaccount.

  7. Selecteer Verbinding maken om de verbinding te voltooien.

  8. Selecteer voor Werkruimte de werkruimte waarin u de kopieertaak hebt gemaakt voor module 1.

  9. Selecteer voor de kopieertaak de kopieertaak die u in module 1 hebt gemaakt.

Een Office 365 Outlook-activiteit toevoegen

  1. Selecteer het tabblad Activiteiten in de pijplijneditor en zoek de Office 365 e-mailactiviteit.

    Schermafbeelding met de selectie van de Office 365 Outlook activiteit op de werkbalk Activiteiten in het menu Pijplijneditor.

  2. Selecteer de nieuwe Office 365 E-mailactiviteit en selecteer het tabblad Settings.

  3. Selecteer de vervolgkeuzelijst Verbinding en kies vervolgens Alles doorbladeren.

  4. Selecteer Office 365 E-mail.

  5. Selecteer Aantekenen om uw Office 365 account te verbinden.

    Schermopname van het dialoogvenster 'Een account kiezen'.

    Notitie

    De service biedt momenteel geen ondersteuning voor persoonlijke e-mail. U moet een zakelijk e-mailadres gebruiken.

  6. Selecteer Maak verbinding met.

  7. Selecteer en sleep het pad Bij succes (een groen vinkje rechtsboven in de activiteit in het pijplijncanvas) van uw Kopiëren-activiteit naar uw nieuwe Office 365 E-mail-activiteit.

    Schermafbeelding met de verbinding van de success-uitvoer van de kopieertaak met de nieuwe Office 365 Outlook-activiteit.

  8. Selecteer de Office 365 E-mailactiviteit in het pijplijncanvas en selecteer vervolgens het tabblad Settings van het eigenschappengebied onder het canvas om de e-mail te configureren.

    • Voer uw e-mailadres in de sectie Aan. Als u meerdere adressen wilt gebruiken, gebruikt u ; om ze te scheiden.
    • Selecteer voor het onderwerp het veld zodat de optie Dynamische inhoud toevoegen verschijnt en selecteer deze om het opbouwcanvas voor pijplijnuitdrukkingen weer te geven.

    Schermafbeelding met de configuratie van het tabblad Office 365 Outlook e-mailinstellingen.

  9. Het dialoogvenster expressiebouwer voor pijplijnen verschijnt. Voer de volgende expressie in en selecteer OK:

    @concat('DI in an Hour Pipeline Succeeded with Pipeline Run Id', pipeline().RunId) Schermopname van de opbouwfunctie voor pijplijnexpressies met de expressie die is opgegeven voor de onderwerpregel van het e-mailbericht.

  10. Voor de hoofdtekst selecteert u het tekstveld en kiest u de optie Weergave in de opbouwfunctie voor expressies wanneer het onder het tekstgebied wordt weergegeven. Voeg de volgende expressie opnieuw toe (met de naam van uw eigen kopieertaakactiviteit) in het dialoogvenster Opbouwfunctie voor pijplijnexpressies dat wordt weergegeven en selecteer vervolgens OK: @concat('RunID = ', pipeline().RunId, ' ; ', 'Files written: ', activity('Copy job_1').output.value[0].output.filesWritten, ' ; ','Throughput: ', activity('Copy job_1').output.value[0].output.throughput,' ; ','Time to copy: ', activity('Copy job_1').output.executionDuration,' ; ','Time in queue: ', activity('Copy job_1').output.durationInQueue)

    Belangrijk

    Vervang Copy job_1 door de naam van uw eigen activiteit voor het kopiëren van pijplijnen.

  11. Selecteer ten slotte het tabblad Start boven aan de pijplijneditor en kies uitvoeren. Selecteer vervolgens Opslaan en voer opnieuw uit in het bevestigingsdialoogvenster om deze activiteiten uit te voeren.

    Schermopname van het venster pijplijneditor met de knop Uitvoeren gemarkeerd in het menu.

  12. Nadat de pijplijn succesvol is uitgevoerd, controleer uw e-mail voor de bevestigingsmail die via de pijplijn is verzonden.

    Schermopname van de pijplijnstatus zodra deze is voltooid.

    Schermopname van het e-mailbericht dat is gegenereerd door de pijplijn.

(optioneel) Een gegevensstroomactiviteit toevoegen aan de pijplijn

U kunt ook de gegevensstroom die u hebt gemaakt in module 2 toevoegen: een gegevensstroom maken in Data Factory in de pijplijn.

  1. Beweeg de muisaanwijzer over de groene lijn waarmee de kopieertaakactiviteit en de Office 365-e-mailactiviteit op het pijplijncanvas worden verbonden en selecteer de knop + om een nieuwe activiteit in te voegen.

    Schermafbeelding met de knop Activiteit invoegen voor de verbinding tussen de kopieertaakactiviteit en de Office 365 e-mailactiviteit op het pijplijncanvas.

  2. Kies Gegevensstroom in het menu dat wordt weergegeven.

    Schermopname van de selectie van Gegevensstroom in het menu Activiteit invoegen op het pijplijncanvas.

  3. De nieuw gemaakte Dataflow-activiteit wordt ingevoegd tussen de kopieeractiviteiten en de Office 365 Email-activiteit en wordt automatisch geselecteerd, en toont de eigenschappen in het gebied onder het canvas. Selecteer het tabblad Instellingen in het eigenschappengebied en selecteer vervolgens uw gegevensstroom die is gemaakt in Module 2: Een gegevensstroom maken in Data Factory.

    Schermopname van het tabblad Instellingen van de activiteit Gegevensstroom.

Pijplijnuitvoering plannen

Zodra u klaar bent met het ontwikkelen en testen van uw pijplijn, kunt u plannen dat deze automatisch wordt uitgevoerd.

  1. Selecteer op het tabblad Home van het venster pijplijneditor Schema.

    Een schermafbeelding van de knop Schema in het menu van het tabblad Start in de pijplijneditor.

  2. Selecteer + Planning toevoegen

  3. Configureer de planning naar behoefte. In het voorbeeld is de pijplijn zo gepland dat deze dagelijks om 20:00 uur voor een jaar wordt uitgevoerd.

    Schermopname van de planningsconfiguratie voor een pijplijn die dagelijks om 18:00 uur wordt uitgevoerd tot het einde van het jaar.

Verwante inhoud

  • Last updated on