Module 3 : Orchestrer et automatiser avec un pipeline

Vous pouvez effectuer ce module en environ 15 minutes. Dans cette dernière partie du tutoriel, vous créez un pipeline qui orchestre le travail de copie et (éventuellement) le flux de données que vous avez créé dans les modules 1 et 2, envoyez une notification par e-mail lorsque tous les travaux sont terminés et planifiez l’exécution automatique du pipeline.

Conditions préalables

Créer une chaîne de traitement

Tout d’abord, créez un pipeline pour orchestrer le travail de copie que vous avez déjà créé.

  1. Dans votre espace de travail, sélectionnez + Nouvel élément, puis recherchez et choisissez Pipeline.

    Capture d’écran de la page de démarrage de Data Factory avec le bouton pour créer un élément et un pipeline de données sélectionnés.

  2. Fournissez un nom de pipeline. Puis, sélectionnez Créer.

Ajouter votre activité de travail de copie

  1. Dans le canevas du pipeline, sélectionnez l’onglet Activités , Copier des données, puis ajoutez l’activité de travail de copie.

    Capture d’écran de l'espace de travail du pipeline Data Factory, avec la fenêtre d’activité ouverte et la tâche de copie sélectionnée.

  2. Sélectionnez l’activité de travail de copie sur le canevas du pipeline, puis sélectionnez l’onglet Paramètres sous le canevas.

    Capture d’écran du canevas de pipeline avec l’activité de travail de copie mise en surbrillance et l’onglet Paramètres mis en surbrillance.

  3. Sélectionnez la liste déroulante Connexion , puis sélectionnez Parcourir tout.

    Capture d’écran de la liste des paramètres d’activité de copie de travail, avec parcourir tous les éléments mis en surbrillance.

  4. Sélectionnez Copier la tâche sous Nouvelles sources.

  5. Dans la page Se connecter à la source de données, sélectionnez Se connecter pour authentifier la connexion.

    Capture d’écran de la page d’obtention des identifiants de connexion de données, avec l’option de connexion mise en surbrillance.

  6. Suivez les invites pour vous connecter à votre compte professionnel.

  7. Sélectionnez Se connecter pour terminer la configuration de la connexion.

  8. Pour l’espace de travail, sélectionnez l’espace de travail dans lequel vous avez créé votre travail de copie pour le module 1.

  9. Pour le travail de copie, sélectionnez le travail de copie que vous avez créé dans le module 1.

Ajouter une activité de Office 365 Outlook

  1. Sélectionnez l’onglet Activities dans l’éditeur de pipeline et recherchez l’activité e-mail Office 365.

    Screenshot montrant la sélection de l’activité Office 365 Outlook dans la barre d’outils Activités dans le menu de l’éditeur de pipeline.

  2. Sélectionnez la nouvelle activité de messagerie Office 365 et sélectionnez son onglet Settings.

  3. Sélectionnez la liste déroulante Connexion , puis sélectionnez Parcourir tout.

  4. Sélectionnez Office 365 Email.

  5. Sélectionnez Sign in pour connecter votre Office 365 account.

    Capture d’écran montrant la boîte de dialogue Choisir un compte.

    Remarque

    Le service ne prend actuellement pas en charge les e-mails personnels. Vous devez utiliser une adresse e-mail d’entreprise.

  6. Sélectionnez Se connecter.

  7. Sélectionnez et faites glisser le chemin d’accès On success (case à cocher verte en haut à droite de l’activité dans le canevas du pipeline) de votre activité de travail de copie vers votre nouvelle activité de Office 365 e-mail.

    Capture d'écran montrant la connexion de la sortie réussie de l'activité de copie à la nouvelle activité Office 365 Outlook.

  8. Sélectionnez l’activité e-mail Office 365 dans le canevas du pipeline, puis sélectionnez l’onglet Settings de la zone de propriété située sous le canevas pour configurer l’e-mail.

    • Entrez votre adresse e-mail dans la section À . Si vous souhaitez utiliser plusieurs adresses, utilisez ; pour les séparer.
    • Pour l’objet, sélectionnez le champ afin que l’option Ajouter du contenu dynamique s’affiche, puis sélectionnez-la pour afficher le canevas du générateur d’expressions de pipeline.

    Screenshot affichant la configuration de l’onglet paramètres de messagerie Office 365 Outlook tab.

  9. La boîte de dialogue Générateur d’expressions de pipeline s’affiche. Entrez l’expression suivante, puis sélectionnez OK :

    @concat('DI in an Hour Pipeline Succeeded with Pipeline Run Id', pipeline().RunId) Capture d’écran montrant le générateur d’expressions de pipeline avec l’expression fournie pour la ligne Objet de l’e-mail.

  10. Pour le corps, sélectionnez le champ de texte et choisissez l’option Affichage dans le générateur d’expressions lorsqu’elle apparaît sous la zone de texte. Ajoutez à nouveau l’expression suivante (avec votre propre nom d’activité de travail de copie) dans la boîte de dialogue Générateur d’expressions de pipeline qui s’affiche, puis sélectionnez OK : @concat('RunID = ', pipeline().RunId, ' ; ', 'Files written: ', activity('Copy job_1').output.value[0].output.filesWritten, ' ; ','Throughput: ', activity('Copy job_1').output.value[0].output.throughput,' ; ','Time to copy: ', activity('Copy job_1').output.executionDuration,' ; ','Time in queue: ', activity('Copy job_1').output.durationInQueue)

    Important

    Remplacez l'activité de copie job_1 par le nom de votre propre activité de copie de pipeline.

  11. Enfin, sélectionnez l’onglet Accueil en haut de l’éditeur de pipeline, puis choisissez Exécuter. Sélectionnez Ensuite Enregistrer et réexécuter dans la boîte de dialogue de confirmation pour exécuter ces activités.

    Capture d’écran montrant la fenêtre de l’éditeur de pipeline avec le bouton Exécuter mis en surbrillance dans le menu.

  12. Une fois le pipeline exécuté avec succès, vérifiez vos courriels afin de trouver l’e-mail de confirmation envoyé à partir du pipeline.

    Capture d’écran montrant l’état du pipeline une fois terminé.

    Capture d’écran montrant l’e-mail généré par le pipeline.

(Facultatif) Ajouter une activité flux de données au pipeline

Vous pouvez également ajouter le flux de données que vous avez créé dans le module 2 : créer un flux de données dans Data Factory dans le pipeline.

  1. Pointez sur la ligne verte qui connecte l’activité de travail de copie et l’activité e-mail Office 365 sur votre canevas de pipeline, puis sélectionnez le bouton + pour insérer une nouvelle activité.

    Screenshot affichant le bouton pour insérer une activité pour établir la connexion entre l'activité de copie de travail et l'activité de courriel Office 365 sur le canevas de pipeline.

  2. Choisissez Dataflow dans le menu qui s’affiche.

    Capture d’écran montrant la sélection du flux de données dans le menu d’activité d’insertion dans le canevas du pipeline.

  3. L’activité dataflow nouvellement créée est insérée entre l’activité de travail de copie et l’activité Office 365 e-mail, puis sélectionnée automatiquement, affichant ses propriétés dans la zone située sous le canevas. Sélectionnez l’onglet Paramètres de la zone des propriétés, puis sélectionnez votre dataflow créé dans le module 2 : Créez un dataflow dans Data Factory.

    Capture d’écran montrant l’onglet Paramètres de l’activité Dataflow.

Planifier l’exécution du pipeline

Une fois que vous avez terminé le développement et le test de votre pipeline, vous pouvez planifier son exécution automatiquement.

  1. Sous l’onglet Accueil de la fenêtre de l’éditeur de pipeline, sélectionnez Planification.

    Capture d’écran du bouton Planifier dans le menu de l’onglet Accueil de l’éditeur de pipeline.

  2. Sélectionner + Ajouter une planification

  3. Configurez la planification en fonction des besoins. L’exemple ci-dessous planifie l’exécution quotidienne du pipeline à 18 h 00 pendant une année.

    Capture d’écran montrant la configuration de planification d’un pipeline à exécuter tous les jours à 20h00 jusqu’à la fin de l’année.

Contenu connexe

  • Last updated on