LLM ベースのアプリケーション用にプロンプトフローを DevOps と統合する

警告

プロンプトフロー機能の開発は、2026 年 4 月 20 日に終了しました。この機能は、2027 年 4 月 20 日に完全に廃止されます。提供終了日に、プロンプトフローは読み取り専用モードになります。既存のフローは、その日付まで動作し続けます。

Recommended action: 2027 年 4 月 20 日より前に、プロンプトフローワークロードを Microsoft Agent Framework に移行します。

Azure Machine Learningプロンプトフローは、大規模言語モデル (LLM) ベースのアプリケーション開発用のフローを開発および反復処理するための、開発者向けの使いやすいコード優先メソッドです。プロンプトフローには、SDK と CLI、Visual Studio Code拡張機能、フロー作成 UI が用意されています。これらのツールにより、ローカルフローの開発、ローカルフローの実行と評価実行のトリガー、ローカルとクラウドのワークスペース環境間のフローの移行が容易になります。

プロンプトフローエクスペリエンスとコード機能を開発者操作 (DevOps) と組み合わせて、LLM ベースのアプリケーション開発ワークフローを強化できます。この記事では、Azure Machine Learning LLM ベースのアプリケーションのプロンプトフローと DevOps の統合に焦点を当てます。

次の図は、DevOps を使用したローカルおよびクラウドベースのプロンプトフロー開発の相互作用を示しています。

前提条件

Azure Machine Learning ワークスペース。作成するには、「リソースを作成して開始する」を参照してください。
Azure Machine Learning Python SDK v2 がインストールされているローカル Python 環境。概要の「開始手順」に従って作成。

メモ

この環境は、フローの一部として定義したフローの実行にコンピューティングセッションが使用する環境とは別です。詳細については、「manage prompt flow compute session in Azure Machine Learning スタジオ」を参照してください。
Pythonおよびプロンプトフロー拡張機能がインストールされているVisual Studio Code。

Visual Studio Code の Python およびプロンプトフロー拡張機能のスクリーンショット

プロンプトフローでコード優先エクスペリエンスを使用する

通常、LLM ベースのアプリケーションの開発は、ソースコードリポジトリと継続的インテグレーション/継続的デプロイ (CI/CD) パイプラインを含む標準化されたアプリケーションエンジニアリングプロセスに従います。このプロセスにより、チームメンバー間の開発、バージョン管理、コラボレーションの合理化が促進されます。

DevOps とプロンプトフローコードエクスペリエンスの統合により、コード開発者は、次の主な機能と利点を備えた、より効率的な GenAIOps または LLMOps 反復プロセスが提供されます。

コードリポジトリでのフローのバージョン管理。フローファイルは YAML 形式で定義でき、同じフォルダー構造の参照元ファイルに合わせて配置されます。
CI/CD パイプラインとのフロー実行統合。プロンプトフロー CLI または SDK を使用してフロー実行を自動的にトリガーすることで、プロンプトフローを CI/CD パイプラインと配信プロセスにシームレスに統合できます。
ローカルとクラウドの間のスムーズな移行。フローフォルダーをローカルまたはアップストリームのコードリポジトリに簡単にエクスポートして、バージョン管理、ローカル開発、共有を行うことができます。また、フローフォルダーをAzure Machine Learningに簡単にインポートして、クラウドリソースを使用してさらに作成、テスト、デプロイすることもできます。

アクセスプロンプトフローコード

各プロンプトフローには、フローを定義する重要なコードファイルを含むフローフォルダー構造があります。フォルダー構造によってフローが整理され、ローカルとクラウド間のスムーズな移行が容易になります。

Azure Machine Learningは、すべてのワークスペースユーザーに共有ファイルシステムを提供します。フローの作成時に、対応するフローフォルダーが自動的に生成され、 Users/<username>/promptflow ディレクトリに 格納されます。

フローコードファイルを操作する

Azure Machine Learning スタジオでフローを作成したら、フロー作成ページの Files セクションでフローファイルを表示、編集、管理できます。ファイルに加えた変更は、ファイル共有ストレージに直接反映されます。

LLM ベースのフローのフローフォルダーには、次のキーファイルが含まれています。

flow.dag.yaml は、YAML 形式のプライマリフロー定義ファイルです。このファイルは、プロンプトフローの作成と定義に不可欠です。このファイルには、フローで使用される入力、出力、ノード、ツール、バリアントに関する情報が含まれています。
Python (.py) または Jinja 2 (.jinja2) 形式のユーザーマネージドソースコードファイルは、フロー内のツールとノードを構成します。 Python ツールでは、Python ファイルを使用してカスタム Python ロジックを定義します。プロンプトツールと LLM ツールでは、Jinja 2 ファイルを使用してプロンプトコンテキストを定義します。
ユーティリティファイルやデータファイルなどのソース以外のファイルは、ソースファイルと共にフローフォルダーに含めることができます。

ファイルエディターで flow.dag.yaml ファイルとソースファイルの生コードを表示および編集するには、 Raw ファイルモードを有効にします。

または、Azure Machine Learning スタジオ Notebooks ページからすべてのフローフォルダーとファイルにアクセスして編集することもできます。

プロンプトフローコードをダウンロードしてチェックインする

フローをコードリポジトリにチェックインするには、フローフォルダーをAzure Machine Learning スタジオからローカルコンピューターにエクスポートします。フロー作成ページの [ ファイル ] セクションでダウンロードアイコンを選択して、すべてのフローファイルを含む ZIP パッケージをダウンロードします。その後、そのファイルをコードリポジトリにチェックインするか、解凍してファイルをローカルで操作できます。

ファイルエクスプローラーのダウンロードアイコンを示すスクリーンショット。

devOps と Azure Machine Learning の統合の詳細については、Azure Machine Learning の Git 統合を参照してください。

ローカルでの開発とテスト

反復的な開発中にフローやプロンプトを調整して微調整すると、コードリポジトリ内で複数のイテレーションをローカルで実行できます。 VS Code コミュニティバージョン、VS Code Prompt フロー拡張機能、プロンプトフローローカル SDK と CLI は、Azureバインドなしで純粋なローカル開発とテストを容易にします。

ローカルで作業することで、毎回メインコードリポジトリを更新しなくても、変更をすばやく行ってテストできます。ローカルバージョンの使用に関する詳細とガイダンスについては、Prompt フロー GitHubコミュニティを参照してください。

VS Code Prompt フロー拡張機能を使用する

プロンプトフロー VS Code 拡張機能を使用すると、クラウドと同様の UI エクスペリエンスを使用して、VS Code エディターでフローをローカルで簡単に作成できます。

プロンプトフロー拡張機能を使用して VS Code でファイルをローカルで編集するには:

プロンプトフロー拡張機能が有効になっている VS Code で、プロンプトフローフォルダーを開きます。
flow.dag.yaml ファイルを開き、ファイルの上部にあるビジュアルエディターのリンクを選択します。
プロンプトフロービジュアルエディターを使用して、バリエーションのプロンプトのチューニングやノードの追加など、フローに変更を加えます。
フローをテストするには、ビジュアルエディターの上部にある [実行 ] アイコンを選択するか、任意のノードをテストするには、ノードの上部にある [実行 ] アイコンを選択します。

プロンプトフロー SDK と CLI を使用する

コードで直接作業する場合、または Jupyter、PyCharm、Visual Studio、またはその他の統合開発環境 (IDE) を使用する場合は、flow.dag.yaml ファイル内の YAML コードを直接変更できます。

その後、次のようにターミナルでプロンプトフロー CLI または SDK を使用して、テスト用に 1 つのフロー実行をトリガーできます。

Azure CLI
Python SDK

作業ディレクトリから実行をトリガーするには、次のコードを実行します。

pf flow test --flow <directory-name>

from promptflow import PFClient

pf_client = PFClient()

flow_path = "<directory-name>"

# Test flow
flow_inputs = {"<input-type>": "<input-value>", "<input-type>": "<input-value>"}
flow_result = pf_client.test(flow=flow_path, inputs=inputs)
print(f"Flow outputs: {flow_result}")

# Test node in the flow
node_name = "<node-name>"  # The node name in the flow.
node_inputs = {"<node-input-type>": "<node-input-value>"}
node_result = pf_client.test(flow=flow_path, inputs=node_inputs, node=node_name)
print(f"Node outputs: {node_result}")

戻り値はテストログと出力です。

ローカルリポジトリからクラウドに実行を送信する

ローカルテストの結果に満足したら、プロンプトフロー CLI または SDK を使用して、ローカルリポジトリからクラウドに実行を送信できます。次の手順とコードは、GitHubの Web Classification デモプロジェクトに基づいています。プロジェクトリポジトリを複製するか、プロンプトフローコードをローカルコンピューターにダウンロードできます。

プロンプトフロー SDK をインストールする

pip install promptflow[azure] promptflow-tools を実行して、Azure プロンプトフロー SDK/CLI をインストールします。

デモプロジェクトを使用している場合は、requirements.txt
pip install -r <path>/requirements.txt。

az login

必要なライブラリとパッケージをインポートし、資格情報を構成し、ワークスペースへのハンドルを取得します。

import json

# Import required libraries
from azure.identity import DefaultAzureCredential, InteractiveBrowserCredential

# Import azure promptflow apis
from promptflow.azure import PFClient

# Configure credential
try:
    credential = DefaultAzureCredential()
    # Check if given credential can get token successfully.
    credential.get_token("https://management.azure.com/.default")
except Exception as ex:
    # Fall back to InteractiveBrowserCredential if DefaultAzureCredential doesn't work
    credential = InteractiveBrowserCredential()

# Get a handle to the workspace from the current credential or config.json in the parent directory
pf = PFClient.from_config(
    credential=credential,
)

フローを投入して実行を開始する

Azure CLI
Python SDK

run.yml ファイルを 準備して、クラウドでこのフロー実行の構成を定義します。

$schema: https://azuremlschemas.azureedge.net/promptflow/latest/Run.schema.json
flow: <path-to-flow>
data: <path-to-flow>/<data-file>.jsonl

column_mapping:
  url: ${data.url}

# Define cloud compute resource

resources:
  instance_type: <compute-type>

# If using compute instance compute type, also specify instance name
#  compute: <compute-instance-name> 

# Specify connections

  <node-name>:
    connection: <connection-name>
    deployment_name: <deployment-name>

接続を必要とするフロー内の各ツールの接続とデプロイ名を指定できます。接続とデプロイ名を指定しない場合、ツールは flow.dag.yaml ファイル内の接続とデプロイを使用します。接続を書式設定するには、次のコードを使用します。

...
connections:
  <node-name>:
    connection: <connection-name>
      deployment_name: <deployment-name>
...

実行プロセスを作成します。

pfazure run create --file run.yml

フローを読み込み、リソースと接続を定義して、実行を作成します。

flow = "<path-to-flow>"
data = "<path-to-flow>/<data-file>.jsonl"

# Define compute resource instance type when using serverless compute

# resources = {"instance_type": "serverless"}

# Also specify compute instance name when using a compute instance

# resources={
#     "instance_type": "<compute-instance-type>",
#     "compute": "<compute-instance-name>"
# }

# Specify the connection and deployment name for each tool in the flow that requires a connection

connections = {"<node-name>":
                  {"connection": <connection-name>,
                  "deployment_name": <deployment-name>},
               "<node-name>":
                  {"connection": <connection-name>,
                  "deployment_name": <deployment-name>}
                }

# Create the run

run = Run(
    flow=flow,
    data=data,
    column_mapping={
        "url": "${data.url}"
    }, 

    connections=connections,
    # To customize identity, you can provide it in identity

    # identity={
    #     "type": "managed",
    # }
)

base_run = pf.runs.create_or_update(run=run)

評価フロー実行を作成する

Azure CLI
Python SDK

クラウドで実行されるこの評価フローの構成を定義するために、 run_evaluation.yml ファイルを準備します。

$schema: https://azuremlschemas.azureedge.net/promptflow/latest/Run.schema.json
flow: <path-to-flow>
data: <path-to-flow>/<data-file>.jsonl
run: <id-of-base-flow-run>
column_mapping:
  <input-name>: ${data.<column-from-test-dataset>}
  <input-name>: ${run.outputs.<column-from-run-output>}

resources:
  instance_type: <compute-type>
  compute: <compute_instance_name> 

connections:
  <node-name>:
    connection: <connection-name>
    deployment_name: <deployment-name>
  <node-name>:
    connection: <connection-name>
    deployment_name: <deployment-name>

評価実行を作成します。

pfazure run create --file run_evaluation.yml

評価フローを読み込み、実行を作成します。

flow = "<path-to-flow>"
data = "<path-to-flow>/<data-file>.jsonl"

resources={
    "instance_type": "<compute-instance-type>",
    "compute": "<compute-instance-name>"
    }

connections = {"<node-name>":
                  {"connection": <connection-name>,
                  "deployment_name": <deployment-name>},
               "<node-name>":
                  {"connection": <connection-name>,
                  "deployment_name": <deployment-name>}
                }
eval_run = Run(
    flow=flow,
    data=data,
    run=<base-run-id>,
    column_mapping={
        "<input-name>": "${data.<column-from-test-dataset>}",
        "<input-name>": "${run.outputs.<column-from-run-output>}",
    },
    connections=connections,
    identity={
        "type": "managed",
    }
)

eval_run = pf.runs.create_or_update(run=eval_run)

実行結果を表示する

フロー実行をクラウドに送信すると、実行のクラウド URL が返されます。 URL を開いて、Azure Machine Learning スタジオで実行結果を表示できます。次の CLI または SDK コマンドを実行して、実行結果を表示することもできます。

ログをストリーミングする

Azure CLI
Python SDK

pfazure run stream --name <run-name>

pf.stream("<run-name>")

実行出力を表示する

Azure CLI
Python SDK

pfazure run show-details --name <run-name>

details = pf.get_details("<run-name>")
details.head(10)

評価実行メトリックを表示する

Azure CLI
Python SDK

pfazure run show-metrics --name <evaluation-run-name>

pf.get_metrics("<evaluation-run-name>")

DevOps との統合

通常、ローカル開発環境と Git などのバージョン管理システムの組み合わせは、反復開発に最も効果的です。変更を加えてコードをローカルでテストし、変更を Git にコミットできます。このプロセスにより、変更の継続的な記録が作成され、必要に応じて以前のバージョンに戻す機能が提供されます。

異なる環境間でフローを共有する必要がある場合は、GitHubやAzure Reposなどのクラウドベースのコードリポジトリにプッシュできます。この戦略により、任意の場所から最新のコードバージョンにアクセスでき、コラボレーションとコード管理のためのツールが提供されます。

これらのプラクティスに従うことで、チームは、迅速なフロー開発のためのシームレスで効率的で生産性の高いコラボレーション環境を作成できます。

Web 分類フローを実行するエンドツーエンドの LLMOps パイプラインの例については、「プロンプト Flow と GitHub および GitHub Web Classification デモプロジェクトでエンドツーエンド GenAIOps を設定する」を参照してください。

CI パイプラインでのトリガーフローの実行

フローを正常に開発してテストし、最初のバージョンとしてチェックインしたら、イテレーションのチューニングとテストを行う準備が整います。この段階では、プロンプトフロー CLI を使用して CI パイプラインの手順を自動化することで、バッチテストや評価の実行を含むフロー実行をトリガーできます。

フローイテレーションのライフサイクル全体を通して、CLI を使用して次の操作を自動化できます。

プル要求後のプロンプトフローの実行
結果が高品質であることを確認するためのプロンプトフロー評価の実行
プロンプトフローモデルの登録
プロンプトフローモデルのデプロイ

継続的な開発に Studio UI を使用する

フロー開発のどの時点でも、Azure Machine Learning スタジオ UI に戻り、クラウドリソースとエクスペリエンスを使用してフローに変更を加えることができます。

最も up-to-date バージョンのフローファイルの開発と操作を続行するには、 Notebook ページのターミナルにアクセスし、リポジトリから最新のフローファイルをプルします。または、ローカルフローフォルダーを新しいドラフトフローとして直接インポートして、ローカルとクラウドの開発をシームレスに切り替えることができます。

フローをオンラインエンドポイントとしてデプロイする

運用環境に移行する最後の手順は、フローをオンラインエンドポイントとしてAzure Machine Learningにデプロイすることです。このプロセスにより、フローをアプリケーションに統合し、それを使用できるようになります。フローをデプロイする方法の詳細については、「リアルタイム推論のためにAzure Machine Learningマネージドオンラインエンドポイントにフローをデプロイするを参照してください。

フロー開発で共同作業を行う

プロンプトフローを使用して LLM ベースのアプリケーションを開発する場合、チームメンバー間のコラボレーションが不可欠になる場合があります。チームメンバーは、同じフローを作成してテストしたり、フローのさまざまなファセットで作業したり、反復的な変更や拡張機能を同時に行ったりすることがあります。このコラボレーションには、コードの共有、変更の追跡、バージョンの管理、最終プロジェクトへの変更の統合を効率的かつ効率的に行うアプローチが必要です。

プロンプトフロー SDK/CLI と VS Code Prompt フロー拡張機能により、ソースコードリポジトリ内でのコードベースのフロー開発での簡単なコラボレーションが容易になります。 GitHubやAzure Reposなどのクラウドベースのソース管理システムを使用して、変更の追跡、バージョンの管理、これらの変更の最終プロジェクトへの統合を行うことができます。

コラボレーション開発のベストプラクティスに従う

一元化されたコードリポジトリを設定します。

コラボレーションプロセスの最初の手順では、プロンプトフローコードを含む、プロジェクトコードのベースとしてコードリポジトリを設定します。この一元化されたリポジトリにより、チームメンバー間の効率的な組織、変更の追跡、コラボレーションが可能になります。
プロンプトフロー拡張機能を使用して、VS Code でフローをローカルで作成して 1 回テストします。

リポジトリが設定されると、チームメンバーは、ローカルでの作成とフローの単一入力テストのために、プロンプトフロー拡張機能と共に VS Code を使用できます。標準化された統合開発環境は、フローのさまざまな側面に取り組む複数のメンバー間のコラボレーションを促進します。
pfazure CLI または SDK を使用して、ローカルフローからクラウドにバッチ実行と評価実行を送信します。

ローカルでの開発とテストの後、チームメンバーはプロンプトフロー CLI/SDK を使用して、バッチ実行と評価実行をクラウドに送信および評価できます。このプロセスにより、クラウドコンピューティングの使用、永続的な結果ストレージ、デプロイ用のエンドポイントの作成、Studio UI での効率的な管理が可能になります。
Azure Machine Learning スタジオワークスペース UI で実行結果を表示および管理します。

クラウドに実行を送信すると、チームメンバーはスタジオ UI にアクセスして結果を表示し、効率的に実験を管理できます。クラウドワークスペースは、実行履歴、ログ、スナップショット、包括的な結果、インスタンスレベルの入力と出力を収集および管理するための一元的な場所を提供します。
すべての実行履歴を記録する実行リストを使用して、さまざまな実行の結果を簡単に比較し、品質分析と必要な調整を支援します。
ローカルの反復開発を引き続き使用します。

実験の結果を分析した後、チームメンバーは、より多くの開発と微調整のためにローカル環境とコードリポジトリに戻り、その後の実行を繰り返しクラウドに送信できます。この反復的なアプローチにより、チームが運用環境の品質に満足するまで、一貫した強化が保証されます。
スタジオでのプロダクションへのワンステップ・デプロイメントを使用します。

チームがフローの品質に完全に自信を持てたら、堅牢なクラウド環境でオンラインエンドポイントとしてシームレスにデプロイできます。オンラインエンドポイントとしてのデプロイは、実行スナップショットに基づいて行うことができます。これにより、安定したセキュリティで保護されたサービス、リソースの割り当てと使用状況の追跡、クラウドでのログ監視が可能になります。

Azure Machine Learning スタジオ Deploy ウィザードを使用すると、デプロイを簡単に構成できます。

フィードバック

このページはお役に立ちましたか?

Last updated on 2024-11-06

LLM ベースのアプリケーション用にプロンプト フローを DevOps と統合する

前提 条件

プロンプト フローでコード優先エクスペリエンスを使用する

アクセス プロンプト フロー コード

フロー コード ファイルを操作する

プロンプト フロー コードをダウンロードしてチェックインする