Modelle, Komponenten und Umgebungen über Arbeitsbereiche hinweg mit Registraturen teilen

Ändern Sie für das CLI-Beispiel Verzeichnisse in cli/jobs/pipelines-with-components/nyc_taxi_data_regression im lokalen Klon des Repositorys examples.

cd cli/jobs/pipelines-with-components/nyc_taxi_data_regression

Verwenden Sie für das Python SDK-Beispiel das beispiel nyc_taxi_data_regression aus dem Repository examples. Das Beispielnotizbuch share-models-components-environments.ipynb, ist im Ordner sdk/python/assets/assets-in-registry verfügbar. Alle Beispiel-YAML für Komponenten, Modellschulungscode, Beispieldaten für Schulungen und Rückschlüsse sind verfügbar in cli/jobs/pipelines-with-components/nyc_taxi_data_regression. Wechseln Sie zum sdk/resources/registry Verzeichnis, und öffnen Sie das share-models-components-environments.ipynb Notizbuch, wenn Sie ein Notizbuch durchlaufen möchten, um den Code in diesem Dokument auszuprobieren.

Wir erstellen eine Umgebung, die das python:3.10 Docker-Image verwendet, und installiert Python Pakete, die zum Ausführen eines Schulungsauftrags mit dem SciKit Learn-Framework erforderlich sind. Wenn Sie das Beispiel-Repository geklont haben und sich im Ordner cli/jobs/pipelines-with-components/nyc_taxi_data_regressionbefinden, sollten Sie die Umgebungsdefinitionsdatei env_train.yml anzeigen können, die auf die Docker-Datei env_train/Dockerfileverweist. Der Inhalt lautet env_train.yml wie folgt:

$schema: https://azuremlschemas.azureedge.net/latest/environment.schema.json
name: SKLearnEnv
version: 1-<VERSION>
description: Scikit Learn environment
build:
  path: ./env_train

Erstellen Sie die Umgebung mit az ml environment create wie folgt:

az ml environment create --file env_train.yml --registry-name <registry-name>

Wenn Sie einen Fehler erhalten, dass eine Umgebung mit diesem Namen und dieser Version bereits in der Registrierung vorhanden ist, können Sie entweder das Feld in version in der env_train.yml bearbeiten oder eine andere Version über die CLI angeben, die den Versionswert in env_train.yml außer Kraft setzt.

# use shell epoch time as the version
version=$(date +%s)
az ml environment create --file env_train.yml --registry-name <registry-name> --set version=$version

Notieren Sie sich die name und version der Umgebung aus der Ausgabe des az ml environment create-Befehls und verwenden Sie sie mit az ml environment show-Befehlen wie folgt. Sie benötigen den name und version im nächsten Abschnitt, wenn Sie eine Komponente in der Registrierung erstellen.

az ml environment show --name SKLearnEnv --version 1 --registry-name <registry-name>

Sie können auch verwenden az ml environment list --registry-name <registry-name> , um alle Umgebungen in der Registrierung auflisten.

Wir erstellen eine Umgebung, die das python:3.10 Docker-Image verwendet, und installiert Python Pakete, die zum Ausführen eines Schulungsauftrags mit dem SciKit Learn-Framework erforderlich sind. Die Dockerfile mit Basisimage und liste der zu installierenden Python Pakete ist in cli/jobs/pipelines-with-components/nyc_taxi_data_regression/env_train verfügbar. Initialisieren Sie das Umgebungsobjekt, und erstellen Sie die Umgebung.

env_docker_context = Environment(
    build=BuildContext(path="../../../../cli/jobs/pipelines-with-components/nyc_taxi_data_regression/env_train/"),
    name="SKLearnEnv",
    version=str(1),
    description="Scikit Learn environment",
)
ml_client_registry.environments.create_or_update(env_docker_context)

Notieren Sie sich name und version der Umgebung aus der Ausgabe und übergeben Sie diese an die ml_client_registry.environments.get()-Methode, um die Umgebung aus der Registrierung abzurufen.

Sie können auch verwenden ml_client_registry.environments.list() , um alle Umgebungen in der Registrierung auflisten.

Stellen Sie sicher, dass Sie sich im Ordner cli/jobs/pipelines-with-components/nyc_taxi_data_regressionbefinden. Sie finden die Komponentendefinitionsdatei train.yml , die ein Scikit Learn-Schulungsskript train_src/train.pyverpackt. Der train.yml verwendet die kuratierte Umgebungsklearn-1.5 aus dem azureml Register. Sie können das environment Feld train.yml bearbeiten, um die Scikit Learn-Umgebung zu verwenden, die Sie im vorherigen Schritt erstellt haben, oder die kuratierte Umgebung beizubehalten. Die Komponentendefinitionsdatei train.yml ähnelt dem folgenden Beispiel:

# <component>
$schema: https://azuremlschemas.azureedge.net/latest/commandComponent.schema.json
name: train_linear_regression_model
display_name: TrainLinearRegressionModel
version: 1
type: command
inputs:
  training_data: 
    type: uri_folder
  test_split_ratio:
    type: number
    min: 0
    max: 1
    default: 0.2
outputs:
  model_output:
    type: mlflow_model
  test_data:
    type: uri_folder
code: ./train_src
environment: azureml://registries/azureml/environments/sklearn-1.5/labels/latest
command: >-
  python train.py 
  --training_data ${{inputs.training_data}} 
  --test_data ${{outputs.test_data}} 
  --model_output ${{outputs.model_output}}
  --test_split_ratio ${{inputs.test_split_ratio}}
# </component>

Wenn Sie Ihre eigene Umgebung aus dem vorherigen Schritt anstelle der kuratierten Umgebung verwenden möchten, aktualisieren Sie das environment Feld auf azureml://registries/<registry-name>/environments/SKLearnEnv/versions/1. Führen Sie den az ml component create Befehl aus, um die Komponente wie folgt zu erstellen.

az ml component create --file train.yml --registry-name <registry-name>

Wenn Sie den train.yml Umgebungsnamen lieber nicht bearbeiten möchten, können Sie den Umgebungsnamen auf der Kommandozeile wie folgt ersetzen:

az ml component create --file train.yml --registry-name <registry-name> --set environment=azureml://registries/<registry-name>/environments/SKLearnEnv/versions/1

Notieren Sie sich die name und version der Komponente aus der Ausgabe des az ml component create-Befehls und verwenden Sie sie mit az ml component show-Befehlen wie folgt. Sie benötigen den name und version im nächsten Abschnitt, wenn Sie einen Trainingsauftrag im Arbeitsbereich erstellen und einreichen.

az ml component show --name <component_name> --version <component_version> --registry-name <registry-name>

Sie können auch az ml component list --registry-name <registry-name> verwenden, um alle Komponenten in der Registrierung aufzulisten.

Überprüfen Sie die Komponentendefinitionsdatei train.yml und den Python Code train_src/train.py, um ein Regressionsmodell mithilfe von Scikit Learn zu trainieren, das im Ordner cli/jobs/pipelines-with-components/nyc_taxi_data_regression verfügbar ist. Laden Sie das Komponentenobjekt aus der Komponentendefinitionsdatei train.yml.

parent_dir = "../../../../cli/jobs/pipelines-with-components/nyc_taxi_data_regression"
train_model = load_component(path=parent_dir + "/train.yml")
print(train_model)

Aktualisieren Sie den environment, um auf die im vorherigen Abschnitt erstellte SKLearnEnv-Umgebung zu verweisen, und richten Sie die Umgebung ein.

train_model.environment=env_from_registry
ml_client_registry.components.create_or_update(train_model)

Notieren Sie die name und die version der Komponente aus der Ausgabe und übergeben Sie sie an die ml_client_registry.components.get()-Methode, um die Komponente aus dem Registry abzurufen.

Sie können auch ml_client_registry.components.list() verwenden, um alle Komponenten in der Registrierung auflisten oder alle Komponenten in der Azure Machine Learning Studio-Benutzeroberfläche zu durchsuchen. Stellen Sie sicher, dass Sie zur globalen Benutzeroberfläche navigieren und nach dem Registries-Hub suchen.

Wir führen einen Pipeline-Job mit der im vorherigen Abschnitt erstellten Scikit-Learn-Trainingskomponente aus, um ein Modell zu trainieren. Überprüfen Sie, ob Sie sich im Ordner cli/jobs/pipelines-with-components/nyc_taxi_data_regressionbefinden. Das Schulungsdatenset befindet sich im data_transformed Ordner. Bearbeiten Sie den component Abschnitt im train_job Abschnitt der single-job-pipeline.yml Datei, um auf die im vorherigen Abschnitt erstellte Schulungskomponente zu verweisen. Das Ergebnis single-job-pipeline.yml lautet wie folgt:

$schema: https://azuremlschemas.azureedge.net/latest/pipelineJob.schema.json
type: pipeline
display_name: nyc_taxi_data_regression_single_job
description: Single job pipeline to train regression model based on nyc taxi dataset

jobs:
  train_job:
    type: command
    component: azureml://registries/<registry-name>/component/train_linear_regression_model/versions/1
    compute: azureml:cpu-cluster
    inputs:
      training_data: 
        type: uri_folder
        path: ./data_transformed
    outputs:
      model_output: 
        type: mlflow_model
      test_data: 

Der wichtigste Aspekt ist, dass diese Pipeline in einem Arbeitsbereich mit einer Komponente ausgeführt wird, die sich nicht im bestimmten Arbeitsbereich befindet. Die Komponente befindet sich in einer Registrierung, die mit jedem Arbeitsbereich in Ihrer Organisation verwendet werden kann. Sie können diesen Schulungsauftrag in jedem Arbeitsbereich ausführen, auf den Sie Zugriff haben, ohne sich Gedanken darüber machen zu müssen, den Schulungscode und die Umgebung in diesem Arbeitsbereich verfügbar zu machen.

Führen Sie den Pipeline-Job mit dem az ml job create Befehl aus.

az ml job create --file single-job-pipeline.yml 

Alternativ können Sie die Bearbeitung single-job-pipeline.yml überspringen und den in der CLI verwendeten train_job Komponentennamen außer Kraft setzen.

az ml job create --file single-job-pipeline.yml --set jobs.train_job.component=azureml://registries/<registry-name>/component/train_linear_regression_model/versions/1

Da die im Schulungsauftrag verwendete Komponente über eine Registrierung freigegeben wird, können Sie den Auftrag an einen beliebigen Arbeitsbereich übermitteln, auf den Sie in Ihrer Organisation zugreifen können, auch über unterschiedliche Abonnements hinweg. Wenn Sie beispielsweise dev-workspace, test-workspace und prod-workspace haben, ist es so einfach wie drei az ml job create-Befehle auszuführen, den Schulungsauftrag in diesen drei Arbeitsbereichen auszuführen.

az ml job create --file single-job-pipeline.yml --workspace-name dev-workspace --resource-group <resource-group-of-dev-workspace>
az ml job create --file single-job-pipeline.yml --workspace-name test-workspace --resource-group <resource-group-of-test-workspace>
az ml job create --file single-job-pipeline.yml --workspace-name prod-workspace --resource-group <resource-group-of-prod-workspace>

Sie führen einen Pipelineauftrag mit der im vorherigen Abschnitt erstellten Scikit Learn-Schulungskomponente aus, um ein Modell zu trainieren. Das Schulungsdatenset befindet sich im cli/jobs/pipelines-with-components/nyc_taxi_data_regression/data_transformed Ordner. Erstellen Sie die Pipeline mithilfe der im vorherigen Schritt erstellten Komponente.

Der wichtigste Aspekt ist, dass diese Pipeline in einem Arbeitsbereich mit einer Komponente ausgeführt wird, die sich nicht im bestimmten Arbeitsbereich befindet. Die Komponente befindet sich in einer Registrierung, die mit jedem Arbeitsbereich in Ihrer Organisation verwendet werden kann. Sie können diesen Schulungsauftrag in jedem Arbeitsbereich ausführen, auf den Sie Zugriff haben, ohne sich Gedanken darüber machen zu müssen, den Schulungscode und die Umgebung in diesem Arbeitsbereich verfügbar zu machen.

@pipeline()
def pipeline_with_registered_components(
    training_data
):
    train_job = train_component_from_registry(
        training_data=training_data,
    )
pipeline_job = pipeline_with_registered_components(
    training_data=Input(type="uri_folder", path=parent_dir + "/data_transformed/"),
)
pipeline_job.settings.default_compute = "cpu-cluster"
print(pipeline_job)

Führen Sie den Pipelineauftrag aus, und warten Sie, bis er abgeschlossen ist.

pipeline_job = ml_client_workspace.jobs.create_or_update(
    pipeline_job, experiment_name="sdk_job_component_from_registry" ,  skip_validation=True
)
ml_client_workspace.jobs.stream(pipeline_job.name)
pipeline_job=ml_client_workspace.jobs.get(pipeline_job.name)
pipeline_job

Da die im Schulungsauftrag verwendete Komponente über eine Registrierung freigegeben wird, können Sie den Auftrag an einen beliebigen Arbeitsbereich übermitteln, auf den Sie in Ihrer Organisation zugreifen können, auch über unterschiedliche Abonnements hinweg. Wenn Sie beispielsweise dev-workspace, test-workspace und prod-workspace haben, können Sie eine Verbindung zu diesen Arbeitsbereichen herstellen und den Auftrag erneut übermitteln.

Laden Sie das Modell herunter, das als Ausgabe des train_job verfügbar ist, indem Sie <job-name> durch den Namen des Auftrags aus dem vorherigen Abschnitt ersetzen. Das Modell zusammen mit MLflow-Metadatendateien sollte in der ./artifacts/model/Datei verfügbar sein.

# fetch the name of the train_job by listing all child jobs of the pipeline job
train_job_name=$(az ml job list --parent-job-name <job-name> --query [0].name | sed 's/\"//g')
# download the default outputs of the train_job
az ml job download --name $train_job_name 
# review the model files
ls -l ./artifacts/model/

Wenn Sie das Modell nicht herunterladen können, finden Sie im cli/jobs/pipelines-with-components/nyc_taxi_data_regression/artifacts/model/ Ordner ein MLflow-Beispielmodell, das vom Trainingsauftrag im vorherigen Abschnitt trainiert wurde.

Erstellen Sie das Modell in der Registrierung:

# create model in registry
az ml model create --name nyc-taxi-model --version 1 --type mlflow_model --path ./artifacts/model/ --registry-name <registry-name>

Stellen Sie sicher, dass Sie das pipeline_job Objekt aus dem vorherigen Abschnitt verwenden oder den Pipelineauftrag mithilfe der ml_client_workspace.jobs.get(name="<pipeline-job-name>") Methode abrufen, um die Liste der untergeordneten Aufträge in der Pipeline zu erhalten. Anschließend suchen Sie nach dem Auftrag mit display_name als train_job und laden das trainierte Modell aus train_job Ausgabe herunter. Das heruntergeladene Modell zusammen mit MLflow-Metadatendateien sollte in der ./artifacts/model/Datei verfügbar sein.

jobs=ml_client_workspace.jobs.list(parent_job_name=pipeline_job.name)
for job in jobs:
    if (job.display_name == "train_job"):
        print (job.name)
        ml_client_workspace.jobs.download(job.name)

Wenn Sie das Modell nicht herunterladen können, finden Sie das Beispiel-MLflow-Modell, das im vorherigen Abschnitt vom Schulungsauftrag trainiert wurde, in dem sdk/resources/registry/model Ordner.

Erstellen Sie das Modell im Verzeichnis.

mlflow_model = Model(
    path="./artifacts/model/",
    type=AssetTypes.MLFLOW_MODEL,
    name="nyc-taxi-model",
    version=str(1), # use str(int(time.time())) if you want a random model number
    description="MLflow model created from local path",
)
ml_client_registry.models.create_or_update(mlflow_model)

Stellen Sie sicher, dass Sie den Namen des Pipelineauftrags aus dem vorherigen Abschnitt haben und ersetzen Sie diesen im Befehl, um den Namen des Schulungsauftrags abzurufen. Anschließend registrieren Sie das Modell aus der Ausgabe des Schulungsauftrags im Arbeitsbereich. Beachten Sie, wie sich der --path Parameter auf die Ausgabeausgabe train_job mit der azureml://jobs/$train_job_name/outputs/artifacts/paths/model Syntax bezieht.

# fetch the name of the train_job by listing all child jobs of the pipeline job
train_job_name=$(az ml job list --parent-job-name <job-name> --workspace-name <workspace-name> --resource-group <workspace-resource-group> --query [0].name | sed 's/\"//g')
# create model in workspace
az ml model create --name nyc-taxi-model --version 1 --type mlflow_model --path azureml://jobs/$train_job_name/outputs/artifacts/paths/model 

Notieren Sie sich den Modellnamen und die Version. Sie können überprüfen, ob das Modell im Arbeitsbereich registriert ist, indem Sie es in der Studio-Benutzeroberfläche durchsuchen oder den Befehl verwenden az ml model show --name nyc-taxi-model --version $model_version .

Als Nächstes geben Sie das Modell aus dem Arbeitsbereich im Register frei.

# share model registered in workspace to registry
az ml model share --name nyc-taxi-model --version 1 --registry-name <registry-name> --share-with-name <new-name> --share-with-version <new-version>

Notieren Sie sich den name und version des Modells aus der Ausgabe des az ml model create Befehls und verwenden Sie diese mit az ml model show Befehlen wie folgt. Sie benötigen den name und version im nächsten Abschnitt, wenn Sie das Modell für die Ableitung auf einen Onlineendpunkt bereitstellen.

az ml model show --name <model_name> --version <model_version> --registry-name <registry-name>

Sie können auch az ml model list --registry-name <registry-name> verwenden, um alle Modelle in der Registrierung auflisten oder alle Komponenten in der Azure Machine Learning Studio-Benutzeroberfläche zu durchsuchen. Stellen Sie sicher, dass Sie zur globalen Benutzeroberfläche navigieren und nach dem Registries-Hub suchen.

Stellen Sie sicher, dass Sie das pipeline_job Objekt aus dem vorherigen Abschnitt verwenden oder den Pipelineauftrag mithilfe ml_client_workspace.jobs.get(name="<pipeline-job-name>") der Methode abrufen, um die Liste der untergeordneten Aufträge in der Pipeline abzurufen. Anschließend suchen Sie nach dem Auftrag display_name als train_job und verwenden Sie die name des train_job, um den Pfad zu konstruieren, der auf die Modellausgabe zeigt. Dies sieht wie folgt aus: azureml://jobs/<job_name>/outputs/artifacts/paths/model

jobs=ml_client_workspace.jobs.list(parent_job_name=pipeline_job.name)
for job in jobs:
    if (job.display_name == "train_job"):
        print (job.name)
        model_path_from_job="azureml://jobs/{job_name}/outputs/artifacts/paths/model".format(job_name=job.name)

print(model_path_from_job)

Registrieren Sie das Modell im Arbeitsbereich über den zuvor erstellten Pfad aus der Ausgabe des Schulungsauftrags.

mlflow_model = Model(
    path=model_path_from_job,
    type=AssetTypes.MLFLOW_MODEL,
    name="nyc-taxi-model",
    version=version_timestamp,
    description="MLflow model created from job output",
)
ml_client_workspace.models.create_or_update(mlflow_model)

Notieren Sie sich den Modellnamen und die Version. Sie können überprüfen, ob das Modell im Arbeitsbereich registriert ist, indem Sie es in der Studio-Benutzeroberfläche durchsuchen oder mithilfe der ml_client_workspace.model.get() Methode abrufen.

Als Nächstes teilen Sie das Modell aus dem Arbeitsbereich im Register.

# share the model from workspace to registry
ml_client.models.share(
    name="nyc-taxi-model",
    version="1",
    registry_name="<registry-name>",
    share_with_name="<new-name>",
    share_with_version="<new-version>"
)

Notieren Sie sich name und version des Modells aus der Ausgabe und verwenden Sie sie mit ml_client_workspace.model.get() Befehlen wie folgt. Sie benötigen den name und version im nächsten Abschnitt, wenn Sie das Modell für die Ableitung auf einen Onlineendpunkt bereitstellen.

mlflow_model_from_registry = ml_client_registry.models.get(name="nyc-taxi-model", version=str(1))
print(mlflow_model_from_registry)

Sie können auch ml_client_registry.models.list() verwenden, um alle Modelle in der Registrierung auflisten oder alle Komponenten in der Azure Machine Learning Studio-Benutzeroberfläche zu durchsuchen. Stellen Sie sicher, dass Sie zur globalen Benutzeroberfläche navigieren und nach dem Registries-Hub suchen.

Erstellen Sie einen Onlineendpunkt.

az ml online-endpoint create --name reg-ep-1234

Aktualisieren Sie die model: im deploy.yml Ordner verfügbare Zeilecli/jobs/pipelines-with-components/nyc_taxi_data_regression, um den Modellnamen und die Version aus dem vorherigen Schritt zu referenzieren. Erstellen Sie eine Onlinebereitstellung für den Onlineendpunkt. Dies deploy.yml wird unten zur Referenz gezeigt.

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
name: demo
endpoint_name: reg-ep-1234
model: azureml://registries/<registry-name>/models/nyc-taxi-model/versions/1
instance_type: Standard_DS3_v2
instance_count: 1

Erstellen Sie die Online-Bereitstellung. Die Bereitstellung dauert mehrere Minuten.

az ml online-deployment create --file deploy.yml --all-traffic

Rufen Sie den Bewertungs-URI ab, und senden Sie eine Beispielbewertungsanforderung. Beispieldaten für die Bewertungsanforderung sind im scoring-data.json im cli/jobs/pipelines-with-components/nyc_taxi_data_regression Ordner verfügbar.

ENDPOINT_KEY=$(az ml online-endpoint get-credentials -n reg-ep-1234 -o tsv --query primaryKey)
SCORING_URI=$(az ml online-endpoint show -n reg-ep-1234 -o tsv --query scoring_uri)
curl --request POST "$SCORING_URI" --header "Authorization: Bearer $ENDPOINT_KEY" --header 'Content-Type: application/json' --data @./scoring-data.json

Erstellen Sie einen Onlineendpunkt.

online_endpoint_name = "endpoint-" + datetime.datetime.now().strftime("%m%d%H%M%f")
endpoint = ManagedOnlineEndpoint(
    name=online_endpoint_name,
    description="this is a sample online endpoint for mlflow model",
    auth_mode="key"
)
ml_client_workspace.begin_create_or_update(endpoint)

Stellen Sie sicher, dass Sie über das mlflow_model_from_registry Modellobjekt aus dem vorherigen Abschnitt verfügen oder das Modell mithilfe ml_client_registry.models.get() der Methode aus der Registrierung abrufen. Übergeben Sie es an das Bereitstellungskonfigurationsobjekt, und erstellen Sie die Onlinebereitstellung. Die Bereitstellung dauert mehrere Minuten, bis sie abgeschlossen ist. Legen Sie den gesamten Datenverkehr fest, der an die neue Bereitstellung weitergeleitet werden soll.

demo_deployment = ManagedOnlineDeployment(
    name="demo",
    endpoint_name=online_endpoint_name,
    model=mlflow_model_from_registry,
    instance_type="Standard_F4s_v2",
    instance_count=1
)
ml_client_workspace.online_deployments.begin_create_or_update(demo_deployment)

endpoint.traffic = {"demo": 100}
ml_client_workspace.begin_create_or_update(endpoint)

Senden Sie eine Beispielbewertungsanforderung mithilfe der Beispieldatendatei scoring-data.json. Diese Datei ist im cli/jobs/pipelines-with-components/nyc_taxi_data_regression Ordner verfügbar.

# test the  deployment with some sample data
ml_client_workspace.online_endpoints.invoke(
    endpoint_name=online_endpoint_name,
    deployment_name="demo",
    request_file=parent_dir + "/scoring-data.json"
)

az ml online-endpoint delete --name reg-ep-1234 --yes --no-wait

ml_client_workspace.online_endpoints.begin_delete(name=online_endpoint_name)