Usare le API serverless da un progetto o un hub foundry di Microsoft diverso (versione classica)

Si applica solo a:Portale di Foundry (versione classica). Questo articolo non è disponibile per il nuovo portale foundry. Altre informazioni sul nuovo portale.

Nota

I collegamenti in questo articolo potrebbero aprire contenuto nella nuova documentazione di Microsoft Foundry anziché nella documentazione di Foundry (versione classica) visualizzata.

Questo articolo illustra come configurare un'API serverless esistente in un progetto o un hub diverso da quello usato per creare la distribuzione.

Importante

I modelli in anteprima vengono contrassegnati come anteprima nelle schede del modello nel catalogo dei modelli.

Alcuni modelli nel catalogo dei modelli possono essere distribuiti come API serverless. Questo tipo di distribuzione consente di usare i modelli come API senza ospitarli nella sottoscrizione, mantenendo al tempo stesso la sicurezza e la conformità aziendali necessarie alle organizzazioni. Questa opzione di distribuzione non richiede la quota dalla sottoscrizione.

La necessità di usare un endpoint API serverless in un progetto o un hub diverso da quello usato per creare la distribuzione può verificarsi in situazioni come queste:

Si desidera centralizzare le distribuzioni in un determinato progetto o hub e utilizzarle in progetti o hub diversi all'interno dell'organizzazione.
È necessario distribuire un modello in un hub in una determinata area Azure in cui è disponibile la distribuzione serverless per tale modello. Tuttavia, è necessario utilizzarlo da un'altra area, in cui la distribuzione serverless non è disponibile per i modelli specifici.

Prerequisiti

Sottoscrizione Azure con un metodo di pagamento valido. Le sottoscrizioni Azure gratuite o di prova non saranno supportate. Se non hai una sottoscrizione Azure, crea un account Azure a pagamento per iniziare.
Un Microsoft Foundry hub, se si utilizza un progetto basato su hub. Un progetto Foundry non usa un hub. Per altre informazioni, vedere Project types.
Se non ne hai uno, crea un progetto basato su hub.
Modello distribuito su API serverless. Questo articolo presuppone che il modello Meta-Llama-3-8B-Instruct sia stato distribuito in precedenza. Per informazioni su come distribuire questo modello come API serverless, vedere Distribuire modelli come API serverless.
Per usare Foundry, è necessario installare il software seguente:
È possibile usare qualsiasi Web browser compatibile per spostarsi in Foundry.
L'interfaccia della riga di comando di Azure e l'estensione ml per Azure Machine Learning.
```
az extension add -n ml
```
Se l'estensione è già installata, verificare che sia installata la versione più recente.
```
az extension update -n ml
```
Dopo aver installato l'estensione, configurarla:
```
az account set --subscription <subscription>
az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
```
Installare Azure Machine Learning SDK per Python.
```
pip install -U azure-ai-ml
```
Dopo l'installazione, importare i namespace necessari.
```
from azure.ai.ml import MLClient
from azure.identity import InteractiveBrowserCredential
from azure.ai.ml.entities import ServerlessEndpoint, ServerlessConnection
```

Creare una connessione endpoint API serverless

Per creare una connessione, seguire questa procedura:

Connettersi al progetto o all'hub in cui viene distribuito l'endpoint:
Suggerimento

Poiché è possibile customizzare il riquadro sinistro nel portale di Microsoft Foundry, è possibile che vengano visualizzati elementi diversi rispetto a quelli illustrati in questi passaggi. Se non viene visualizzato ciò che si sta cercando, selezionare ... Altro nella parte inferiore del riquadro sinistro.

Passare a Foundry e passare al progetto in cui viene distribuito l'endpoint a cui connettersi.
Configurare l'interfaccia della riga di comando in modo che punti al progetto:
```
az account set --subscription <subscription>
az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
```
Creare un client connesso al progetto:
```
client = MLClient(
    credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
    subscription_id="<subscription-id>",
    resource_group_name="<resource-group>",
    workspace_name="<project-name>",
)
```
Ottenere l'URL e le credenziali dell'endpoint a cui si vuole connettersi. In questo esempio si ottengono i dettagli per un nome endpoint meta-llama3-8b-qwerty.
1. Dalla barra laterale sinistra del progetto nel portale Foundry, accedere a I miei asset>Modelli + endpoint per visualizzare l'elenco delle distribuzioni nel progetto.
2. Selezionare la distribuzione a cui connettersi.
3. Copiare i valori per URI di destinazione e Chiave.
```
az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
```
```
endpoint_name = "meta-llama3-8b-qwerty"
endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
print(endpoint_keys.primary_key)
print(endpoint_keys.secondary_key)
```

Connettersi ora al progetto o all'hub in cui si vuole creare la connessione:

Passare al progetto in cui deve essere creata la connessione.

Configurare l'interfaccia della riga di comando in modo che punti al progetto:

az account set --subscription <subscription>
az configure --defaults workspace=<project-name> group=<resource-group> location=<location>

Creare un client connesso al progetto:

client = MLClient(
    credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
    subscription_id="<subscription-id>",
    resource_group_name="<resource-group>",
    workspace_name="<project-name>",
)

Creare la connessione nel progetto:
1. Dal progetto nel portale foundry passare alla parte inferiore della barra laterale sinistra e selezionare Centro gestione.
2. Nella barra laterale sinistra del Centro di gestione selezionare Risorse connesse.
3. Selezionare Nuova connessione.
4. Selezionare Modello serverless.
5. Per l'URI di destinazione incollare il valore copiato in precedenza.
6. Per Chiave incollare il valore copiato in precedenza.
7. Assegnare un nome alla connessione, in questo caso meta-llama3-8b-connection.
8. Selezionare Aggiungi connessione.
Creare una definizione di connessione:

connection.yml
```
name: meta-llama3-8b-connection
type: serverless
endpoint: https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com
api_key: 1234567890qwertyuiop
```
```
az ml connection create -f connection.yml
```
```
client.connections.create_or_update(ServerlessConnection(
    name="meta-llama3-8b-connection",
    endpoint="https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com",
    api_key="1234567890qwertyuiop"
))
```
A questo punto, la connessione è disponibile per l'utilizzo.
Per verificare che la connessione funzioni:
1. Torna al tuo progetto nel portale Foundry.
2. Dalla barra laterale sinistra del progetto, vai a Compila e personalizza>Prompt flow.
3. Selezionare Crea per creare un nuovo flusso.
4. Selezionare Crea nella casella Flusso di chat .
5. Assegnare un nome al flusso prompt e selezionare Crea.
6. Selezionare il nodo della chat dal grafico per passare alla sezione chat .
7. Per Connessione aprire l'elenco a discesa per selezionare la connessione appena creata, in questo caso meta-llama3-8b-connection.
8. Selezionare Avvia sessione di calcolo nella barra di spostamento superiore per avviare un runtime automatico del flusso di richieste.
9. Selezionare l'opzione Chat . È ora possibile inviare messaggi e ottenere risposte.

Commenti e suggerimenti

Questa pagina è stata utile?

Last updated on 2026-05-01

Usare le API serverless da un progetto o un hub foundry di Microsoft diverso (versione classica)

Prerequisiti

Creare una connessione endpoint API serverless

Contenuto correlato

Commenti e suggerimenti

Risorse aggiuntive