Ajouter des paramètres aux composants de l'usine de données

Paramétrer les services liés dans Azure Data Factory

Dans Azure Data Factory, il est possible de paramétrer un service lié dans lequel vous pouvez passer des valeurs dynamiques pendant l'exécution. Parmi les cas d’usage pour ce scénario, citons la connexion à plusieurs bases de données qui se trouvent sur le même serveur SQL, dans lequel vous pouvez envisager de paramétriser le nom de la base de données dans la définition du service lié. L’avantage est que vous n’êtes pas obligé de créer un service lié unique pour chaque base de données qui se trouve sur le même serveur SQL Server.

Il est également possible de paramétrer d’autres propriétés du service lié comme un nom d’utilisateur.

Si vous décidez de paramétriser les services liés dans Azure Data Factory, vous pouvez le faire dans l’interface utilisateur d’Azure Data Factory, le portail Azure ou une interface de programmation de votre choix.

Si vous choisissez de créer le service lié via l’interface utilisateur, Data Factory fournit un paramétrage intégré pour plus de 50 types de connecteurs, notamment des connecteurs couramment utilisés tels que :

• Azure SQL Database
• Azure SQL Managed Instance (Instance gérée Azure SQL)
• Stockage Blob Azure
• Azure Data Lake Storage Gen2
• Azure Cosmos DB pour NoSQL
• Azure Databricks
• SQL Server
• Salesforce
• Snowflake
• HTTP générique et REST générique

Pour obtenir la liste complète des connecteurs pris en charge en mode natif, consultez Parameterize des services liés dans Azure Data Factory.

Si vous accédez au panneau création/modification du service lié, vous trouverez les options de paramétrage.

Si le connecteur que vous utilisez n’est pas dans la liste prise en charge en mode natif, vous pouvez toujours le paramétrer en modifiant le JSON via l’interface utilisateur.

Dans le volet création/modification du service lié, développez Avancé en bas du volet, cochez la case Spécifier le contenu dynamique au format JSON, puis spécifiez la charge utile JSON du service lié.

Ou, après avoir créé un service lié sans paramétrisation, dans le hub Gestion, sélectionnez Services liés, puis recherchez le service lié spécifique. Ensuite, sélectionnez {} (bouton Code) pour modifier le JSON.

Paramètres globaux dans Azure Data Factory

La définition des paramètres globaux dans un pipeline Azure Data Factory vous permet d’utiliser ces constantes pour la consommation dans les expressions de pipeline. Parmi les cas d’utilisation de définition des paramètres globaux, citons par exemple le cas où vous avez plusieurs pipelines pour lesquels les noms et les valeurs des paramètres sont identiques.

Si vous utilisez le processus d’intégration continue et livraison continue (CI/CD) avec Azure Data Factory, les paramètres globaux peuvent être remplacés, si vous le souhaitez, pour chaque environnement que vous avez créé.

Créer des paramètres globaux dans Azure Data Factory

Pour créer un paramètre global, accédez à l’onglet Paramètres globaux de la section Gérer. Sélectionnez Nouveau pour ouvrir le volet du menu latéral de création.

Dans le volet du menu latéral, entrez un nom, sélectionnez un type de données, puis spécifiez la valeur de votre paramètre.

Après avoir créé un paramètre global, vous pouvez le modifier en sélectionnant le nom du paramètre. Pour modifier plusieurs paramètres ensemble, sélectionnez Tout modifier.

Utiliser des paramètres globaux dans un pipeline

Lorsque vous utilisez des paramètres globaux dans un pipeline dans Azure Data Factory, il est principalement référencé dans les expressions de pipeline. Par exemple, si un pipeline fait référence à une ressource telle qu’un jeu de données ou un flux de données, vous pouvez transmettre la valeur de paramètre globale via le paramètre de ressource. La commande ou la référence des paramètres globaux dans Azure Data Factory se présente comme suit : pipeline().globalParameters.<parameterName>.

Paramètres globaux dans CI/CD

Lorsque vous intégrez des paramètres globaux dans un pipeline à l’aide de CI/CD avec Azure Data Factory, vous disposez de deux méthodes pour effectuer cette opération :

• Inclure les paramètres globaux dans le modèle Azure Resource Manager
• Déployer des paramètres globaux via un script PowerShell

Pour la plupart des pratiques CI/CD, il est préférable d’inclure des paramètres globaux dans le modèle Azure Resource Manager. Ceci est recommandé en raison de leur intégration native à CI/CD, où les paramètres globaux sont ajoutés en tant que paramètres de modèle Azure Resource Manager. Cela est dû à des modifications dans plusieurs environnements.

Pour activer les paramètres globaux dans un modèle Azure Resource Manager, accédez au hub Gestion. Sachez que lorsque vous ajoutez des paramètres globaux à un modèle Azure Resource Manager, un paramètre de niveau Azure Data Factory est ajouté, et il peut remplacer d’autres paramètres comme des configurations git.

Le déploiement de paramètres globaux à l’aide d’un script PowerShell peut être un cas d’usage dans le cas où les paramètres décrits ci-dessus sont activés dans un environnement avec des privilèges élevés, comme UAT ou PROD.

Paramétriser les flux de données de mappage

Dans Azure Data Factory, vous pouvez utiliser des flux de données de mappage, qui vous permettent d’utiliser des paramètres. Si vous définissez des paramètres dans une définition de flux de données, vous pouvez utiliser les paramètres dans les expressions. Les valeurs de paramètre sont définies par le pipeline d’appel par le biais de l’activité Execute Data Flow.

Il existe trois options pour définir les valeurs dans les expressions d’activité de flux de données :

• Utilisez le langage d’expression de flux de contrôle de pipeline pour définir une valeur dynamique.
• Utilisez le langage d’expression de flux de données pour définir une valeur dynamique.
• Utilisez l’un ou l’autre langage d’expression pour définir une valeur littérale statique.

La paramétrisation des flux de données de mappage permet de garantir que vos flux de données sont généralisés, flexibles et réutilisables.

Créer des paramètres dans le dataflow

Pour ajouter des paramètres à votre flux de données, sélectionnez la partie vide du canevas du flux de données pour afficher les propriétés générales.

Dans le volet Paramètres , un onglet Paramètre s’affiche.

Sélectionnez Nouveau pour générer un nouveau paramètre. Pour chaque paramètre, vous devez attribuer un nom, sélectionner un type et éventuellement définir une valeur par défaut.

Affecter des paramètres à partir d’un pipeline dans le flux de données de mappage

Si vous avez créé un flux de données dans lequel vous avez défini des paramètres, il est possible de l’exécuter à partir d’un pipeline à l’aide de l’activité Execute Data Flow.

Une fois que vous aurez ajouté l’activité au canevas du pipeline, vous trouverez les paramètres du flux de données sous l’onglet Paramètres de l’activité.

L’attribution de valeurs de paramètre garantit que vous pouvez utiliser les paramètres dans un langage d’expression de pipeline ou un langage d’expression de flux de données en fonction des types Spark. Vous pouvez également combiner les deux, autrement dit les paramètres d’expression de pipeline et de flux de données.