マネージド コンピューティングを使用してオープンソース モデルをデプロイする (プレビュー)

1. モデル カードで [ 配置 ] を選択して、デプロイ ウィザードを開きます。

2. デプロイ名を指定します。 デプロイ名は、推論時にアプリケーションが model フィールドに渡すものです。安定したアプリケーションフレンドリ名 ( nemotron-3-nano-30b など) を選択します。

3. 展開の種類 (グローバルマネージド コンピューティング) は、展開ウィザードで事前に選択されています。

4. ワークロードに一致する デプロイ テンプレート を選択します。 たとえば、中程度のコンテキスト長で低コストの H100 シングル アクセラレータ テンプレート、またはプロンプトが単一アクセラレータ コンテキストの制限を超える場合は 2 アクセラレータ テンプレートなどです。

5. アクセラレータの 種類 (例: H100_80GB) を選択します。

6. モデル インスタンスを1に設定します (ワークロードを測定済みの場合は、それ以上の値に設定します)。 モデル インスタンス は、マネージド コンピューティングのサイズを決定するものであり、デプロイ SKU の capacity 値です。 各インスタンスは、テンプレートによって定義されたアクセラレータの数を使用します。たとえば、容量 2 のインスタンスごとに 1 つの H100 を指定するテンプレートでは、合計で 2 つの H100 アクセラレータが使用されます。

   Tip

   最初のデプロイの capacity: 1 から開始し、ワークロードを測定した後で容量を増やしてスケールアウトします。 容量を増やす方法については、 デプロイの管理とスケーリング に関するページを参照してください。

7. チェック ボックスをオンにして、デプロイのコストを確認します。

8. 展開 を選択します。 通常、プロビジョニングには 10 ~ 15 分かかります。

デプロイメントを確認する

デプロイの詳細ページは、モデルが Foundry エンドポイントの背後にあるときに、 Creating から Succeeded に更新されます。 デプロイの詳細 (プロビジョニングの状態、デプロイの種類、デプロイの作成時に行ったその他の選択など) を確認できます。

テスト要求を送信する

デプロイの準備ができたら、Foundry Playground で対話形式でテストします。

1. [ プレイグラウンド ] タブを選択して、[デプロイの 詳細 ] ページから切り替えます。
2. デプロイをテストするためのプロンプトを送信します。

展開を監視する

マネージド コンピューティング デプロイは、他の Foundry デプロイと同じAzure Monitorサーフェイスにメトリックを出力します。 Foundry ポータルのデプロイの詳細ページの [監視 ] タブには、次の情報が表示されます。

• HTTP 状態コードでグループ化された要求数。
• 応答時間のパーセンタイル (p50、p90、p99)。
• チャット補完モデルの場合: 入力トークン数と出力トークン数、time-to-first-token（TTFT）のパーセンタイル、およびトークン間デコード時間のパーセンタイル。

詳細な分析またはアラートを行うには、Azure ポータルでデプロイを開き、Monitoring の下にある Metrics> を使用して、同じメトリックをグラフ化し、デプロイごとにグループ化し、アラートを構成します。 デプロイごとの課金タグは自動的に出力されます。 デプロイ タグで Cost Management をフィルター処理し、特定のマネージド コンピューティング デプロイに支出を割り当てます。 詳細については、Microsoft Foundry のコストを計画および管理するをご覧ください。

デプロイメントを削除する

デプロイを削除すると、アクセラレータの割り当てが解放され、すぐに課金が停止されます。 デプロイを削除するには:

1. Foundry ポータルでデプロイの一覧に移動します。
2. デプロイ名の横にあるラジオ ボタンを選択します。
3. 右側のウィンドウで [削除] を選択します。

より多くのクォータを要求する

マネージド コンピューティングのクォータは、Foundry クォータ プロセスを通じて、リージョンごとの各アクセラレータ ファミリに対して付与され、Azure VM クォータとは別です。 既存のAzure VM クォータは、マネージド コンピューティングデプロイには適用できません。

より多くのクォータを要求するには:

1. 右上のナビゲーションで [操作] を選択し、左側のウィンドウで [クォータ] を選択します。
2. [ マネージド コンピューティング ] タブを選択します。次の表に、アクセラレータ ファミリとリージョン別にグループ化された現在の割り当ての一覧を示します。
3. 右上隅にある [ クォータの要求 ] を選択します。
4. 要求フォームで、アクセラレータ ファミリ (A100、H100、または MI300X)、ターゲット リージョン、および要求されたクォータを選択します。 要求を送信します。

承認されたクォータ変更が反映されるまで最大 15 分かかります。 [ クォータ] ページを更新して、更新された割り当てを確認します。 クォータの概念の詳細については、「 リソースのクォータの管理と引き上げ」を参照してください。

モデルをデプロイするには、次のPython スクリプトを使用します。 プレースホルダーを、独自のサブスクリプション ID、リソース グループ、Foundry アカウント名、デプロイ名に置き換えます。

from azure.identity import DefaultAzureCredential
from azure.mgmt.cognitiveservices import CognitiveServicesManagementClient

SUBSCRIPTION_ID  = "<your-subscription-id>"
RESOURCE_GROUP   = "<your-resource-group>"
ACCOUNT_NAME     = "<your-foundry-account>"
DEPLOYMENT_NAME  = "nemotron-3-nano-30b"

MODEL = "azureml://registries/azure-huggingface/models/nvidia--nvidia-nemotron-3-nano-30b-a3b-fp8/versions/2"
TEMPLATE = "azureml://registries/azure-huggingface/deploymenttemplates/nvidia--nvidia-nemotron-3-nano-30b-a3b-fp8--nvidia-h100/labels/latest"

client = CognitiveServicesManagementClient(
    DefaultAzureCredential(), SUBSCRIPTION_ID
)

deployment = client.managed_compute_deployments.begin_create_or_update(
    resource_group_name=RESOURCE_GROUP,
    account_name=ACCOUNT_NAME,
    deployment_name=DEPLOYMENT_NAME,
    resource={
        "sku": {"name": "GlobalManagedCompute", "capacity": 1},
        "properties": {
            "model": MODEL,
            "deploymentTemplate": TEMPLATE,
            "acceleratorType": "H100_80GB",
            "versionUpgradeOption": "OnceNewDefaultVersionAvailable",
        },
    },
).result()  # blocks until terminal state (~10–15 min)

print(f"State: {deployment.properties.provisioning_state}")
print(f"ID:    {deployment.id}")

デプロイメントを確認する

デプロイが作成されたら、トラフィックを送信する前に正常であることを確認します。

d = client.managed_compute_deployments.get(
    resource_group_name=RESOURCE_GROUP,
    account_name=ACCOUNT_NAME,
    deployment_name=DEPLOYMENT_NAME,
)

print(f"State:        {d.properties.provisioning_state}")    # expect: Succeeded
print(f"Model:        {d.properties.model}")
print(f"Template:     {d.properties.deployment_template}")
print(f"Accelerator:  {d.properties.accelerator_type}")
print(f"Capacity:     {d.sku.capacity}")

検索対象:

• provisioningState: Succeeded は、デプロイがライブであることを意味します。
• acceleratorType は、要求した値と一致します。
• sku.capacity は、要求したインスタンスの数と一致します。

provisioningStateがFailed場合は、「トラブルシューティング」を参照してください。

テスト要求を送信する

マネージド コンピューティング デプロイは、次の場所にある統合 Foundry エンドポイントを介して到達可能です。

https://<account>.services.ai.azure.com/openai/v1/

要求本文の model フィールドは、モデル ID ではなく、指定した デプロイ名 を受け取ります。

from azure.identity import DefaultAzureCredential, get_bearer_token_provider
from openai import OpenAI

ACCOUNT_NAME    = "<your-foundry-account>"
DEPLOYMENT_NAME = "nemotron-3-nano-30b"

token_provider = get_bearer_token_provider(
    DefaultAzureCredential(),
    "https://cognitiveservices.azure.com/.default",
)

client = OpenAI(
    base_url=f"https://{ACCOUNT_NAME}.services.ai.azure.com/openai/v1",
    api_key="placeholder",  # required by OpenAI SDK; overridden by Authorization header
    default_headers={"Authorization": f"Bearer {token_provider()}"},
)

resp = client.chat.completions.create(
    model=DEPLOYMENT_NAME,
    messages=[{"role": "user", "content": "What is the capital of France?"}],
)

print(resp.choices[0].message.content)

from azure.identity import DefaultAzureCredential
from azure.mgmt.cognitiveservices import CognitiveServicesManagementClient
from openai import OpenAI

SUBSCRIPTION_ID = "<your-subscription-id>"
RESOURCE_GROUP  = "<your-resource-group>"
ACCOUNT_NAME    = "<your-foundry-account>"
DEPLOYMENT_NAME = "nemotron-3-nano-30b"

mgmt = CognitiveServicesManagementClient(
    DefaultAzureCredential(), SUBSCRIPTION_ID
)
api_key = mgmt.accounts.list_keys(RESOURCE_GROUP, ACCOUNT_NAME).key1

client = OpenAI(
    base_url=f"https://{ACCOUNT_NAME}.services.ai.azure.com/openai/v1",
    api_key=api_key,
)

resp = client.chat.completions.create(
    model=DEPLOYMENT_NAME,
    messages=[{"role": "user", "content": "What is the capital of France?"}],
)

print(resp.choices[0].message.content)

デプロイの管理とスケーリング

マネージド コンピューティング デプロイはモデル中心であるため、ノードのサイズ設定ではなく、モデル インスタンスの数を変更してデプロイをスケーリングします。

容量の変更

d = client.managed_compute_deployments.get(
    RESOURCE_GROUP, ACCOUNT_NAME, DEPLOYMENT_NAME
)
d.sku.capacity = 3

client.managed_compute_deployments.begin_create_or_update(
    resource_group_name=RESOURCE_GROUP,
    account_name=ACCOUNT_NAME,
    deployment_name=DEPLOYMENT_NAME,
    resource=d,
).result()

ランタイムとモデルの更新を取得する

デプロイで versionUpgradeOption を OnceNewDefaultVersionAvailable に設定すると、Microsoft が新しい既定のモデルとランタイム バージョンを公開したときに、それらがデプロイに自動的に適用されるようになります。 ランタイム パッチと CVE 修正プログラムは、ライブ 顧客のデプロイに自動的に適用されます。モデルを再デプロイして取得することはありません。

展開を監視する

マネージド コンピューティング デプロイは、他の Foundry デプロイと同じAzure Monitorサーフェイスにメトリックを出力します。 詳細な分析またはアラートを行うには、Azure ポータルでデプロイを開き、Monitoring> の下で Metrics を使用してメトリックをグラフ化します。

• HTTP 状態コードでグループ化された要求数。
• 応答時間のパーセンタイル (p50、p90、p99)。
• チャット補完モデルの場合: 入力トークン数と出力トークン数、time-to-first-token（TTFT）のパーセンタイル、およびトークン間デコード時間のパーセンタイル。

デプロイごとにグループ化し、アラートを構成することもできます。 デプロイごとの課金タグは自動的に出力されます。 デプロイ タグで Cost Management をフィルター処理し、特定のマネージド コンピューティング デプロイに支出を割り当てます。 詳細については、Microsoft Foundry のコストを計画および管理するをご覧ください。

デプロイメントを削除する

デプロイを削除すると、アクセラレータの割り当てが解放され、すぐに課金が停止されます。 デプロイを削除するには:

client.managed_compute_deployments.begin_delete(
    resource_group_name=RESOURCE_GROUP,
    account_name=ACCOUNT_NAME,
    deployment_name=DEPLOYMENT_NAME,
).result()