MpiStep Classe

Crée une étape de pipeline Azure ML pour exécuter un travail MPI.

Pour obtenir un exemple d’utilisation de MpiStep, consultez le notebook https://aka.ms/pl-style-trans.

Créez une étape de pipeline Azure ML pour exécuter un travail MPI.

OBSOLESCENT. Utilisez à la CommandStep place. Pour obtenir un exemple, consultez Comment exécuter une formation distribuée dans des pipelines avec CommandStep.

Constructeur

MpiStep(name=None, source_directory=None, script_name=None, arguments=None, compute_target=None, node_count=None, process_count_per_node=None, inputs=None, outputs=None, allow_reuse=True, version=None, hash_paths=None, **kwargs)

Paramètres

Nom	Description
name	str [Obligatoire] Nom du module. Valeur par défaut: None
source_directory	str [Obligatoire] Dossier qui contient le script Python, conda env et d’autres ressources utilisées à l’étape. Valeur par défaut: None
script_name	str [Obligatoire] Nom d’un script Python relatif à `source_directory`. Valeur par défaut: None
arguments	list [Obligatoire] Liste des arguments de ligne de commande. Valeur par défaut: None
compute_target	AmlCompute, str [Obligatoire] Cible de calcul à utiliser. Valeur par défaut: None
node_count	int [Obligatoire] Nombre de nœuds dans la cible de calcul utilisée pour l’entraînement. Si la valeur est supérieure à 1, une tâche distribuée mpi est exécutée. Seule la cible de calcul AmlCompute est prise en charge pour les travaux distribués. Les valeurs PipelineParameter sont prises en charge. Valeur par défaut: None
process_count_per_node	int [Obligatoire] Nombre de processus par nœud. Si la valeur est supérieure à 1, une tâche distribuée mpi est exécutée. Seule la cible de calcul AmlCompute est prise en charge pour les travaux distribués. Les valeurs PipelineParameter sont prises en charge. Valeur par défaut: None
inputs	list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData, PipelineOutputAbstractDataset, DatasetConsumptionConfig]] Liste des liaisons de port d’entrée. Valeur par défaut: None
outputs	list[Union[PipelineData, PipelineOutputAbstractDataset, OutputPortBinding]] Liste des liaisons de port de sortie. Valeur par défaut: None
params Obligatoire	dict Dictionnaire de paires nom-valeur inscrites en tant que variables d’environnement avec « AML_PARAMETER_ ».
allow_reuse	bool Indique si l’étape doit réutiliser les résultats précédents lors de la réexécutation avec les mêmes paramètres. La réutilisation est activée par défaut. Si le contenu de l’étape (scripts/dépendances) ainsi que les entrées et les paramètres restent inchangés, la sortie de l’exécution précédente de cette étape est réutilisée. Lors de la réutilisation de l’étape, au lieu de soumettre le travail au calcul, les résultats de l’exécution précédente sont immédiatement mis à la disposition des étapes suivantes. Si vous utilisez des jeux de données Azure Machine Learning comme entrées, la réutilisation est déterminée par la modification de la définition du jeu de données, et non par la modification des données sous-jacentes. Valeur par défaut: True
version	str Balise de version facultative pour indiquer une modification des fonctionnalités du module. Valeur par défaut: None
hash_paths	list DÉCONSEILLÉ : n’est plus nécessaire. Liste des chemins d’accès au hachage lors de la vérification des modifications apportées au contenu de l’étape. S’il n’y a aucune modification détectée, le pipeline réutilise le contenu de l’étape à partir d’une exécution précédente. Par défaut, le contenu de `source_directory` l’objet est haché à l’exception des fichiers répertoriés dans .amlignore ou .gitignore. Valeur par défaut: None
use_gpu Obligatoire	bool Indique si l’environnement à exécuter l’expérience doit prendre en charge les GPU. Si la valeur est True, une image Docker par défaut basée sur GPU est utilisée dans l’environnement. Si la valeur est False, une image basée sur le processeur est utilisée. Les images Docker par défaut (PROCESSEUR ou GPU) ne seront utilisées que si le `custom_docker_image` paramètre n’est pas défini. Ce paramètre est utilisé uniquement dans les cibles de calcul avec Docker.
use_docker Obligatoire	bool Indique si l’environnement à exécuter l’expérience doit être basé sur Docker.
custom_docker_image Obligatoire	str Nom de l’image Docker à partir de laquelle l’image à utiliser pour l’entraînement sera générée. Si elle n’est pas définie, une image basée sur le processeur par défaut est utilisée comme image de base.
image_registry_details Obligatoire	ContainerRegistry Détails du registre d’images Docker.
user_managed Obligatoire	bool Indique si Azure ML réutilise un environnement Python existant ; False signifie qu’Azure ML crée un environnement Python en fonction de la spécification des dépendances conda.
conda_packages Obligatoire	list Liste de chaînes représentant des packages conda à ajouter à l’environnement Python.
pip_packages Obligatoire	list Liste de chaînes représentant des packages pip à ajouter à l’environnement Python.
pip_requirements_file_path Obligatoire	str Chemin d’accès relatif au fichier texte de configuration requise pip. Ce paramètre peut être spécifié en combinaison avec le `pip_packages` paramètre.
environment_definition Obligatoire	EnvironmentDefinition EnvironnementDefinition pour l’expérience. Il inclut PythonSection et DockerSection et les variables d’environnement. Toute option d’environnement non directement exposée via d’autres paramètres à la construction MpiStep peut être définie à l’aide de environment_definition paramètre. Si ce paramètre est spécifié, il est prioritaire sur d’autres paramètres liés à l’environnement tels que use_gpu, custom_docker_image, conda_packages ou pip_packages et les erreurs sont signalées sur ces combinaisons non valides.
name Obligatoire	str [Obligatoire] Nom du module.
source_directory Obligatoire	str [Obligatoire] Dossier qui contient le script Python, conda env et d’autres ressources utilisées à l’étape.
script_name Obligatoire	str [Obligatoire] Nom d’un script Python relatif à `source_directory`.
arguments Obligatoire	list [Obligatoire] Liste des arguments de ligne de commande.
compute_target Obligatoire	<xref:azureml.core.compute.AmlComputeCompute>, str [Obligatoire] Cible de calcul à utiliser.
node_count Obligatoire	int [Obligatoire] Nombre de nœuds dans la cible de calcul utilisée pour l’entraînement. Si la taille est supérieure à 1, le travail distribué mpi est exécuté. Seule la cible de calcul AmlCompute est prise en charge pour les travaux distribués. Les valeurs PipelineParameter sont prises en charge.
process_count_per_node Obligatoire	int [Obligatoire] Nombre de processus par nœud. Si la taille est supérieure à 1, le travail distribué mpi est exécuté. Seule la cible de calcul AmlCompute est prise en charge pour les travaux distribués. Les valeurs PipelineParameter sont prises en charge.
inputs Obligatoire	list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData, PipelineOutputAbstractDataset, DatasetConsumptionConfig]] Liste des liaisons de port d’entrée.
outputs Obligatoire	list[Union[PipelineData, OutputDatasetConfig, PipelineOutputAbstractDataset, OutputPortBinding]] Liste des liaisons de port de sortie.
params Obligatoire	dict Dictionnaire de paires nom-valeur inscrites en tant que variables d’environnement avec «>> AML_PARAMETER_<< ».
allow_reuse Obligatoire	bool Indique si l’étape doit réutiliser les résultats précédents lorsque la réexécutation avec les mêmes paramètres reste inchangée, la sortie de l’exécution précédente de cette étape est réutilisée. Lors de la réutilisation de l’étape, au lieu de soumettre le travail au calcul, les résultats de l’exécution précédente sont immédiatement mis à la disposition des étapes suivantes. Si vous utilisez des jeux de données Azure Machine Learning comme entrées, la réutilisation est déterminée par la modification de la définition du jeu de données, et non par la modification des données sous-jacentes.
version Obligatoire	str Balise de version facultative pour indiquer une modification des fonctionnalités du module
hash_paths Obligatoire	list DÉCONSEILLÉ : n’est plus nécessaire. Liste des chemins d’accès au hachage lors de la vérification des modifications apportées au contenu de l’étape. S’il n’y a aucune modification détectée, le pipeline réutilise le contenu de l’étape à partir d’une exécution précédente. Par défaut, le contenu de `source_directory` l’objet est haché à l’exception des fichiers répertoriés dans .amlignore ou .gitignore.
use_gpu Obligatoire	bool Indique si l’environnement à exécuter l’expérience doit prendre en charge les GPU. Si la valeur est True, une image Docker par défaut basée sur GPU est utilisée dans l’environnement. Si la valeur est False, une image basée sur le processeur est utilisée. Les images Docker par défaut (PROCESSEUR ou GPU) ne seront utilisées que si le `custom_docker_image` paramètre n’est pas défini. Ce paramètre est utilisé uniquement dans les cibles de calcul avec Docker.
use_docker Obligatoire	bool Indique si l’environnement à exécuter l’expérience doit être basé sur Docker. custom_docker_image (str) : nom de l’image Docker à partir de laquelle l’image à utiliser pour le travail mpi sera générée. Si elle n’est pas définie, une image basée sur le processeur par défaut est utilisée comme image de base.
custom_docker_image Obligatoire	str Nom de l’image Docker à partir de laquelle l’image à utiliser pour l’entraînement sera générée. Si elle n’est pas définie, une image basée sur le processeur par défaut est utilisée comme image de base.
image_registry_details Obligatoire	ContainerRegistry Détails du registre d’images Docker.
user_managed Obligatoire	bool Indique si Azure ML réutilise un environnement Python existant ; False signifie qu’Azure ML crée un environnement Python en fonction de la spécification des dépendances conda.
conda_packages Obligatoire	list Liste de chaînes représentant des packages conda à ajouter à l’environnement Python.
pip_packages Obligatoire	list Liste de chaînes représentant des packages pip à ajouter à l’environnement Python.
pip_requirements_file_path Obligatoire	str Chemin d’accès relatif au fichier texte de configuration requise pip. Ce paramètre peut être spécifié en combinaison avec le `pip_packages` paramètre.
environment_definition Obligatoire	EnvironmentDefinition EnvironnementDefinition pour l’expérience. Il inclut PythonSection et DockerSection et les variables d’environnement. Toute option d’environnement non directement exposée via d’autres paramètres à la construction MpiStep peut être définie à l’aide de environment_definition paramètre. Si ce paramètre est spécifié, il est prioritaire sur d’autres paramètres liés à l’environnement tels que use_gpu, custom_docker_image, conda_packages ou pip_packages et les erreurs sont signalées sur ces combinaisons non valides.

Commentaires

Cette page a-t-elle été utile ?