LLM tool

Warning

Lo sviluppo delle funzionalità di Prompt Flow è terminato il 20 aprile 2026. La funzionalità verrà ritirata completamente il 20 aprile 2027. Alla data di ritiro, Prompt Flow passa alla modalità di sola lettura. I flussi esistenti continueranno a funzionare fino a tale data.

Recommended action: Eseguire la migrazione dei carichi di lavoro del flusso di richiesta a Microsoft Agent Framework prima del 20 aprile 2027.

Lo strumento LLM (Large Language Model) nel flusso di richiesta consente di usare modelli linguistici di grandi dimensioni ampiamente usati, ad esempio OpenAIAzure OpenAI in Microsoft Foundry Models o qualsiasi modello linguistico supportato dall'API di inferenza del modello di intelligenza artificiale Azure per l'elaborazione del linguaggio naturale.

Il flusso dei prompt offre diverse API del modello linguistico di grandi dimensioni:

  • Completamento: i modelli di completamento di OpenAI generano testo in base alle richieste fornite.
  • Chat: modelli di chat e Azure AI i modelli di chat facilitano conversazioni interattive con input e risposte basati su testo.

L'API Incorporamenti non è disponibile nello strumento LLM. Usare lo strumento di embedding per generare incorporamenti con OpenAI o Azure OpenAI.

Note

Lo strumento LLM nel flusso di richiesta non supporta i modelli di ragionamento( ad esempio OpenAI o1 o o3). Per l'integrazione del modello di ragionamento, usare lo strumento Python per chiamare direttamente le API del modello. Per altre informazioni, vedere Call a reasoning model from the Python tool.

Prerequisites

Creare risorse OpenAI:

  • OpenAI:

  • Azure OpenAI:

    • Creare Azure risorse OpenAI seguendo le istruzioni . Usare solo caratteri ASCII nei nomi dei gruppi di risorse OpenAI Azure. Il flusso di richiesta non supporta caratteri non ASCII nei nomi dei gruppi di risorse.

  • Modelli distribuiti nelle distribuzioni standard:

Connections

Configurare le connessioni alle risorse di cui è stato effettuato il provisioning nel flusso di richiesta.

Type Name API key API type API version
OpenAI Required Required - -
Azure OpenAI - Chiave API Required Required Required Required
Azure OpenAI - Microsoft Entra ID Required - - Required
Serverless model Required Required - -

Tip

Inputs

Le sezioni seguenti illustrano vari input.

Text completion

Name Type Description Required
prompt string Richiesta di testo per il modello linguistico. Yes
model, deployment_name string Modello linguistico da usare. Yes
max_tokens integer Numero massimo di token da generare nel completamento. Il valore predefinito è 16. No
temperature float Casualità del testo generato. Il valore predefinito è 1. No
stop list Sequenza di arresto per il testo generato. Il valore predefinito è Null. No
suffix string Testo aggiunto alla fine del completamento. No
top_p float Probabilità di usare la scelta principale dai token generati. Il valore predefinito è 1. No
logprobs integer Numero di probabilità di log da generare. Il valore predefinito è Null. No
echo boolean Valore che indica se eseguire l'eco del prompt nella risposta. Il valore predefinito è false. No
presence_penalty float Valore che controlla il comportamento del modello per le frasi ripetute. Il valore predefinito è 0. No
frequency_penalty float Valore che controlla il comportamento del modello per la generazione di frasi rare. Il valore predefinito è 0. No
best_of integer Numero di completamento migliori da generare. Il valore predefinito è 1. No
logit_bias dictionary Distorsione logit per il modello linguistico. Il valore predefinito è un dizionario vuoto. No

Chat

Name Type Description Required
prompt string Richiesta di testo usata dal modello linguistico per una risposta. Yes
model, deployment_name string Modello linguistico da usare. Questo parametro non è obbligatorio se il modello viene distribuito in una distribuzione standard. Yes*
max_tokens integer Numero massimo di token da generare nella risposta. Il valore predefinito è inf. No
temperature float Casualità del testo generato. Il valore predefinito è 1. No
stop list Sequenza di arresto per il testo generato. Il valore predefinito è Null. No
top_p float Probabilità di usare la scelta principale dai token generati. Il valore predefinito è 1. No
presence_penalty float Valore che controlla il comportamento del modello per le frasi ripetute. Il valore predefinito è 0. No
frequency_penalty float Valore che controlla il comportamento del modello per la generazione di frasi rare. Il valore predefinito è 0. No
logit_bias dictionary Distorsione logit per il modello linguistico. Il valore predefinito è un dizionario vuoto. No

Outputs

API Return type Description
Completion string Testo di un completamento stimato
Chat string Testo di una risposta di conversazione

Usare lo strumento LLM

  1. Configurare e selezionare le connessioni alle risorse OpenAI o a una distribuzione standard.
  2. Configurare l'API del modello linguistico di grandi dimensioni e i relativi parametri.
  3. Preparare il prompt con indicazioni.
  • Last updated on