Ferramenta LLM

Aviso

O desenvolvimento de recursos do Prompt Flow terminou em 20 de abril de 2026. O recurso será totalmente desativado em 20 de abril de 2027. Na data de desativação, o Fluxo de Prompt entra no modo somente leitura. Seus fluxos existentes continuarão a operar até essa data.

Recommended action: Migrar suas cargas de trabalho de Fluxo de Prompt para Microsoft Agent Framework antes de 20 de abril de 2027.

A ferramenta LLM (modelo de linguagem grande) no fluxo de prompt permite que você use modelos de linguagem grandes amplamente usados, como OpenAI, Azure OpenAI em Microsoft Modelos de Pesquisa ou qualquer modelo de linguagem compatível com a API de inferência de modelo de IA Azure para processamento de linguagem natural.

O fluxo de prompt fornece várias APIs de modelo de linguagem grandes:

  • Conclusão: os modelos de conclusão do OpenAI geram texto com base nos prompts fornecidos.
  • Chat: os modelos de chat do OpenAI e os modelos de chat Azure AI facilitam conversas interativas com entradas e respostas baseadas em texto.

A API embeddings não está disponível na ferramenta LLM. Use a ferramenta embedding para gerar inserções com OpenAI ou Azure OpenAI.

Note

A ferramenta LLM no fluxo de prompt não dá suporte a modelos de raciocínio (como OpenAI o1 ou o3). Para a integração de modelos de raciocínio, use a ferramenta Python para chamar as APIs de modelo diretamente. Para obter mais informações, consulte Call a reasoning model from the Python tool.

Pré-requisitos

Criar recursos do OpenAI:

Conexões

Configure conexões para recursos provisionados no fluxo de prompt.

Tipo Name chave de API Tipo de API Versão da API
OpenAI Obrigatório Obrigatório - -
Azure OpenAI – Chave de API Obrigatório Obrigatório Obrigatório Obrigatório
Azure OpenAI – Microsoft Entra ID Obrigatório - - Obrigatório
Modelo sem servidor Obrigatório Obrigatório - -

Dica

Entradas

As seções a seguir mostram várias entradas.

Preenchimento de texto

Name Tipo Descrição Obrigatório
solicitação cadeia Solicitação de texto para o modelo de idioma. Sim
modelo, deployment_name cadeia Modelo de linguagem a ser usado. Sim
número máximo de tokens inteiro Número máximo de tokens a serem gerados na conclusão. O padrão é 16. No
Temperatura derivar Aleatoriedade do texto gerado. O padrão é 1. No
Parar lista Sequência de interrupção para o texto gerado. O padrão é nulo. No
Sufixo cadeia Texto acrescentado ao final da conclusão. No
top_p derivar Probabilidade de usar a escolha superior dos tokens gerados. O padrão é 1. No
logprobs inteiro Número de probabilidades de log a serem geradas. O padrão é nulo. No
echo booleano Valor que indica se o prompt deve ser ecoado novamente na resposta. O padrão é false. No
penalidade_de_presença derivar Valor que controla o comportamento do modelo para frases recorrentes. O padrão é 0. No
frequency_penalty derivar Valor que controla o comportamento do modelo para gerar frases raras. O padrão é 0. No
melhor_de inteiro Número de conclusões recomendadas a serem geradas. O padrão é 1. No
logit_bias dicionário Viés de logit para o modelo de idioma. O padrão é um dicionário vazio. No

Chat

Name Tipo Descrição Obrigatório
solicitação cadeia Prompt de texto que o modelo de idioma usa para uma resposta. Sim
modelo, deployment_name cadeia Modelo de linguagem a ser usado. Esse parâmetro não será necessário se o modelo for implantado em uma implantação padrão. Sim*
número máximo de tokens inteiro Número máximo de tokens a serem gerados na resposta. O padrão é inf. No
Temperatura derivar Aleatoriedade do texto gerado. O padrão é 1. No
Parar lista Sequência de interrupção para o texto gerado. O padrão é nulo. No
top_p derivar Probabilidade de usar a escolha superior dos tokens gerados. O padrão é 1. No
penalidade_de_presença derivar Valor que controla o comportamento do modelo para frases recorrentes. O padrão é 0. No
frequency_penalty derivar Valor que controla o comportamento do modelo para gerar frases raras. O padrão é 0. No
logit_bias dicionário Viés de logit para o modelo de idioma. O padrão é um dicionário vazio. No

Saídas

API Tipo de retorno Descrição
Completion cadeia Texto de uma conclusão prevista
Chat cadeia Texto de uma resposta da conversa

Usar a ferramenta LLM

  1. Configure e selecione as conexões com recursos do OpenAI ou com uma implantação padrão.
  2. Configure a API do modelo de linguagem grande e seus parâmetros.
  3. Prepare o prompt com diretrizes.
  • Last updated on