Técnicas de engenharia de prompt (clássico)

Exibição no momento:Versão do portal Foundry (clássico) - Alternar para a versão do novo portal Foundry

Essas técnicas não são recomendadas para modelos de raciocínio, como modelos gpt-5 e série o.

A construção de prompt pode ser difícil. Na prática, o prompt atua para ajudar o modelo a concluir a tarefa desejada, mas é mais uma arte do que uma ciência, muitas vezes exigindo experiência e intuição para criar um prompt bem-sucedido. O objetivo deste artigo é ajudar você a começar esse processo de aprendizagem. Este artigo tenta capturar conceitos e padrões gerais que se aplicam a todos os modelos de GPT. No entanto, é importante entender que cada modelo se comporta de forma diferente, portanto, os aprendizados podem não se aplicar igualmente a todos os modelos.

Básico

Essa seção aborda os conceitos e os elementos básicos dos prompts GPT.

Os prompts de texto são como os usuários interagem com modelos de GPT. Assim como acontece com todos os modelos de linguagem generativos, os modelos GPT tentam produzir a próxima série de palavras mais propensas a seguir a partir do texto anterior. É como se estivessemos dizendo qual é a primeira coisa que vem à sua mente quando eu digo <prompt>? Os exemplos abaixo demonstram esse comportamento. Dadas as primeiras palavras de conteúdo famoso, o modelo é capaz de continuar o texto com precisão.

À medida que você desenvolve prompts mais complexos, é útil ter esse comportamento fundamental em mente. Independentemente do prompt fornecido, o modelo está simplesmente respondendo com o que ele determina ser mais provável (dado seus dados de treinamento e objetivos de treinamento). Se você fizer uma pergunta em seu prompt, o modelo não está seguindo um caminho de código "Q&A" separado, mas parece responder à pergunta porque uma resposta é o tipo mais provável de resposta para a pergunta fornecida como entrada.

Componentes de solicitação

Ao usar a API de Conclusão, mesmo não havendo diferenciação entre diferentes partes do prompt, ainda pode ser útil identificar componentes subjacentes do prompt para aprendizado e discussão. Com a API de Conclusão de Chat , há seções distintas do prompt que são enviadas para a API na forma de uma matriz de dicionários com funções associadas: sistema, usuário e assistente. Essa orientação se concentra de forma mais geral em como pensar sobre a construção de prompts em vez de fornecer diretrizes prescritivas específicas a uma API em vez de outra.

Também é importante entender que, embora possa haver outras maneiras válidas de analisar os prompts, o objetivo desse detalhamento é oferecer uma forma relativamente simples de pensar sobre a criação de prompts. Com a API de Conclusão, todos os componentes são opcionais, mas pelo menos um deve estar presente e a maioria dos prompts inclui mais de um componente. Também pode haver alguma área cinzenta entre os componentes. A ordem apresentada abaixo corresponde aproximadamente à frequência com que cada componente é usado, da maioria para o mínimo.

Instruções

As instruções provavelmente são o componente de prompt mais usado. Instruções são simplesmente isso: instruções para o modelo sobre o que fazer. Embora simples no conceito, eles podem ser complexos na prática. A tabela a seguir ilustra isso mostrando instruções simples e mais complexas, em duas formas diferentes.

Conteúdo Primário

O conteúdo primário refere-se a algum tipo de texto que está sendo processado ou transformado pelo modelo. Normalmente, o conteúdo primário é usado em conjunto com instruções. Um exemplo simples seria a tradução de idioma. No exemplo a seguir, o texto em inglês seria considerado o conteúdo primário enquanto "Traduzir para francês:" é uma instrução.

O conteúdo primário também pode ser muito mais longo. No exemplo a seguir, o conteúdo primário é a seção de introdução da entrada da Wikipédia sobre complexidade temporal, que tem quase 300 palavras. Esse conteúdo é abreviado em nossa tabela para facilitar a exibição.

Os modelos de GPT também podem lidar com o conteúdo primário estruturado. No exemplo a seguir, um TSV sobre cervejas na Bélgica (abreviado para exibição neste artigo) é inserido no modelo como parte do comando. Ele é capaz de interpretar corretamente o conteúdo e responder perguntas sobre os dados.

Exemplos

Os prompts bem-sucedidos geralmente dependem da prática de aprendizado de "única tentativa" ou "poucas tentativas". Isso se refere à inclusão de um ou mais exemplos do comportamento desejado do modelo, normalmente incluindo pares de entrada e saída. Isso não é aprendizado no sentido de que o modelo seja permanentemente alterado, mas sim que os exemplos ajudam a condicionar melhor o modelo a responder como desejado apenas para a inferência atual. Às vezes, o uso de prompts sem exemplos é chamado de aprendizado "sem tentativa". Observe que, com a API de Preenchimento de Chat, alguns exemplos de aprendizado são normalmente adicionados à matriz de mensagens na forma de interações de usuário/assistente de exemplo após a mensagem inicial do sistema.

O exemplo acima ilustra a utilidade do aprendizado com poucas capturas. Sem os exemplos, o modelo parece estar adivinhando o comportamento desejado, enquanto os exemplos mostram de forma limpa o modelo como operar. Isso também demonstra o poder do modelo, ele pode inferir a categoria de rótulo que é desejada, mesmo sem um rótulo de "basquete" nos exemplos.

Indicador

As indicações atuam como o "pontapé inicial" para a saída do modelo, ajudando a direcionar o modelo para a saída desejada. Geralmente, é um prefixo sobre o qual o modelo pode ser desenvolvido. No exemplo abaixo, mostramos a indicação direcionando a história para incluir elementos-chave. As indicações são frequentemente usadas junto com instruções, mas nem sempre. Nos exemplos abaixo, o modelo está sendo usado para resumir um email de anúncio longo. Um sinal é usado em um caso para ajudar a concentrar a saída do modelo e, em outro caso, sugerir um formato de saída específico (pontos de marcador).

No contexto das instruções da API de Preenchimento de Chat, siga a forma da mensagem do sistema e os exemplos de poucas tentativas são indicados fornecendo uma série de interações de usuário/assistente de exemplo para ajudar na preparação do modelo.

Conteúdo de Apoio

O conteúdo de apoio é uma informação que o modelo pode utilizar para influenciar o resultado de alguma forma. Ele difere do conteúdo primário, pois não é o principal destino da tarefa, mas normalmente é usado junto com o conteúdo primário. Exemplos comuns incluem informações contextuais, como a data atual, o nome do usuário, as preferências do usuário e assim por diante. O exemplo a seguir usa o conteúdo de suporte para ajudar a organizar um conjunto de workshops planejados para o usuário. Sem o apoio (tópicos importantes), o modelo simplesmente lista os workshops (truncados para exibição). Quando informado dos meus tópicos importantes, o modelo é capaz de agrupar as reuniões com precisão.

Orientação específica para o cenário

As técnicas nesta seção ensinarão estratégias para aumentar a precisão e a fundamentação das respostas geradas com um LLM (Modelo de Linguagem Grande). No entanto, é importante lembrar que, mesmo ao usar a engenharia de prompt efetivamente, você ainda precisa validar as respostas geradas pelos modelos. Só porque um prompt cuidadosamente elaborado funcionou bem para um cenário específico não significa necessariamente que ele generalizará de forma mais ampla para certos casos de uso. Entender as limitações das LLMs é tão importante quanto entender como aproveitar seus pontos fortes.

Este guia não se aprofunda na mecânica por trás da estrutura de mensagem para Conclusões de Chat. Se você não estiver familiarizado com a interação com modelos de Conclusões de Chat programaticamente, recomendamos ler nosso guia de instruções sobre a API de Conclusão de Chat primeiro.

Aprendizado com poucas tentativas

Uma maneira comum de adaptar modelos de linguagem a novas tarefas é usar o aprendizado com poucas chances. No few-shot learning, um conjunto de exemplos de treinamento é fornecido como parte do prompt para dar contexto adicional ao modelo.

Ao usar a API de Conclusões de Chat, uma série de mensagens entre o usuário e o assistente (escritas no novo formato de prompt) pode servir como exemplos para o few-shot learning. Esses exemplos podem ser usados para preparar o modelo para responder de uma determinada maneira, emular comportamentos específicos e inicializar respostas para perguntas comuns.

A tabela acima descreve a estrutura básica do prompt, mas para obter uma explicação detalhada do formato exato do prompt, você precisará consultar o guia de Conclusão do Chat.

Cenários que não são de chat

Embora a API de Conclusão de Chat seja otimizada para trabalhar com conversas de vários turnos, ela também pode ser usada para cenários que não são de chat. Por exemplo, para um cenário de análise de sentimento, você pode usar o seguinte prompt:

Comece com instruções claras

As informações da sequência são exibidas no prompt. Isso ocorre porque os modelos de estilo GPT são criados de uma certa maneira que define como processam a entrada. Nossa pesquisa sugere que dizer ao modelo a tarefa que você deseja que ele faça no início do prompt, antes de compartilhar informações contextuais ou exemplos adicionais, pode ajudar a produzir saídas de maior qualidade.

Repita as instruções no final

Os modelos podem ser suscetíveis ao desvio de relevância, o que nesse contexto significa que as informações no final do prompt podem ter influência mais significativa sobre a saída do que as informações no início do prompt. Portanto, vale a pena experimentar repetir as instruções no final do prompt e avaliar o impacto na resposta gerada.

Prime a saída

Isso se refere à inclusão de algumas palavras ou frases no final do prompt para obter uma resposta de modelo que siga o formulário desejado. Por exemplo, usar uma indicação como “Here’s a bulleted list of key points:\n- ” pode ajudar a garantir que a saída seja formatada como uma lista de tópicos.

No prompt acima, o texto Uma consulta de pesquisa possível é: aprimora o modelo para produzir uma única saída. Sem essa indicação, o modelo produz várias consultas de pesquisa como saída.

Adicionar sintaxe clara

Use uma sintaxe clara para o comando a fim de comunicar a intenção e tornar mais fácil a interpretação dos resultados.

No exemplo a seguir, separadores (--- neste caso) foram adicionados entre diferentes fontes de informações ou etapas. Isso permite o uso de --- como uma condição de parada para geração. Além disso, títulos de seção ou variáveis especiais são apresentados em letras maiúsculas para diferenciá-los.

Se você não tiver certeza de qual sintaxe usar, considere usar Markdown ou XML. Os modelos foram treinados em uma grande quantidade de conteúdo da Web em XML e Markdown, o que pode fornecer melhores resultados.

Divida a tarefa em partes

Os LLMs (modelos de linguagem grandes) geralmente têm um desempenho melhor se a tarefa for dividida em etapas menores. Por exemplo, no prompt de consulta de pesquisa mencionada anteriormente, o prompt pode ser reestruturado para que o modelo primeiro seja instruído a extrair fatos relevantes e, em seguida, instruído a gerar consultas de pesquisa que possam ser usadas para verificar esses fatos.

Observe o uso da sintaxe clara para diferenciar as seções e preparar a saída. Neste exemplo simples, dividir a tarefa de uma para duas etapas não é muito dramático, mas ao tentar fazer isso para um texto maior com muitas declarações factuais, dividir a tarefa pode fazer uma diferença significativa.

Uso de funcionalidades

Às vezes, podemos fazer com que o modelo use uma funcionalidade em vez de depender de seus próprios parâmetros para obter informações e respostas. A pesquisa, por exemplo, pode ser um recurso para ajudar a mitigar respostas inventadas e obter informações atualizadas.

Uma maneira simples de usar uma acessibilidade é interromper a geração depois que as chamadas de acessibilidade forem geradas pelo modelo e colar os resultados de volta no prompt. Veja abaixo um exemplo de como pode ser a chamada de acompanhamento após as chamadas SEARCH acima. Observe como colamos os resultados da pesquisa no prompt e substituímos as chamadas SEARCH anteriores.

Criação de prompt de cadeia de pensamento

Essa é uma variação na técnica de dividir a tarefa. Em vez de dividir uma tarefa em etapas menores, nessa abordagem, a resposta do modelo é instruida a prosseguir passo a passo e apresentar todas as etapas envolvidas. Isso reduz a possibilidade de imprecisão dos resultados e facilita a avaliação da resposta do modelo.

Especificando a estrutura de saída

Usar seu prompt para especificar a estrutura da saída pode ter um efeito significativo sobre a natureza e a qualidade dos resultados. Às vezes, as entradas de mensagem do sistema como "apenas escrever fatos verdadeiros" ou "não fabricar informações" podem não ser mitigações adequadas. Em vez disso, solicitar que a resposta do modelo inclua citações também pode ajudar a resultar em uma redução da prevalência de respostas incorretas.

Se você instruir o modelo a citar o material de origem quando ele faz instruções, essas instruções são muito mais propensas a serem fundamentadas. Solicitar citações faz com que o modelo faça dois erros sempre que gerar uma resposta: o primeiro erro é a resposta fabricada e o segundo é a citação incorreta. Observe que quanto mais próxima a citação estiver do texto compatível, menor será a distância à frente que o modelo precisa para prever a citação, o que sugere que as citações embutidas são melhores mitigações para geração de conteúdo falso do que citações no final do conteúdo.

Da mesma forma, se você pedir ao modelo para extrair instruções factuais de um parágrafo, ele poderá extrair instruções compostas como 'X está fazendo Y AND Z' (o que pode ser mais difícil de verificar). Isso pode ser evitado especificando uma estrutura de saída, como (entity1, relationship, entity2).

Este exemplo mostra o uso de citações e a orientação da resposta do modelo para se ajustar a uma estrutura definida.

Parâmetros de temperatura e Top_p

Alterar o parâmetro de temperatura altera a saída do modelo. O parâmetro de temperatura pode ser definido entre 0 e 2. Um valor mais alto, 0,7 por exemplo, torna a saída mais aleatória e produz respostas mais divergentes, enquanto um valor menor, como 0.2 torna os resultados mais focados e concretos. Uma história fictícia poderia ser gerada usando uma temperatura mais alta. Enquanto para gerar um documento legal é recomendado usar uma temperatura significativamente mais baixa. Top_probability é outro parâmetro e é semelhante à Temperatura, pois também controla a aleatoriedade da resposta do modelo, mas o faz de uma maneira diferente. A recomendação geral é alterar um desses dois parâmetros de cada vez, não ambos.

Fornecer contexto de base

Uma das maneiras mais eficazes de fornecer respostas confiáveis é dar ao modelo dados para fundamentar suas respostas (dados de base). Se o seu caso de uso depender de informações confiáveis e atualizadas e não for puramente um cenário criativo, é altamente recomendável fornecer dados de referência. Em geral, quanto mais o material de origem se aproximar da forma final da resposta desejada, menos trabalho o modelo precisa fazer, o que reduz as chances de erro. Aqui está um exemplo em que o sistema recebe um blog que descreve o launch do GPT-4 em Azure OpenAI em Microsoft Foundry Models e solicitado a nomear alguns de seus primeiros clientes.

¹ Texto do blog de lançamento do Azure OpenAI GPT-4.

Práticas recomendadas

• Seja específico. Deixe o mínimo possível de interpretação. Restrinja o espaço operacional.
• Seja descritivo. Use analogias.
• Double Down. Às vezes, será necessário repetir o modelo. Dê instruções antes e depois do conteúdo primário, use uma instrução e uma indicação, etc.
• Order Matters. A ordem na qual você apresenta informações para o modelo pode afetar a saída. Se você colocar instruções antes do conteúdo ("resumir o seguinte...") ou depois ("resumir o acima...") pode fazer a diferença na saída. Até mesmo a ordem dos exemplos de poucas cenas pode importar. Isso é chamado de viés de recência.
• Dê uma opção de saída ao modelo. Às vezes, pode ser útil dar ao modelo um caminho alternativo se não for possível concluir a tarefa atribuída. Por exemplo, ao fazer uma pergunta sobre um pedaço de texto, você pode incluir algo como "responder com "não encontrado" se a resposta não estiver presente." Isso pode ajudar o modelo a evitar a geração de respostas falsas.

Eficiência de espaço

Embora o tamanho de entrada aumente a cada nova geração de modelos GPT, continuará a haver cenários que fornecem mais dados do que o modelo pode manipular. Os modelos gpt dividem palavras em "tokens". Embora palavras com várias sílabas comuns geralmente sejam um único token, palavras menos comuns são quebradas em sílabas. Os tokens às vezes podem ser contra-intuitivos, conforme mostrado pelo exemplo abaixo, que demonstra limites de token para diferentes formatos de data. Nesse caso, a ortografia de todo o mês é mais eficiente em termos de espaço do que uma data totalmente numérica.

Dado esse espaço limitado, é importante usá-lo da forma mais eficiente possível.

• Tabelas – conforme mostrado nos exemplos da seção anterior, os modelos gpt podem entender dados formatados tabulares facilmente. Essa pode ser uma maneira eficiente de incluir dados, em vez de preceder cada campo com nome (como com JSON).
• Espaço em branco – espaços em branco consecutivos são tratados como tokens separados, o que pode ser uma maneira fácil de desperdiçar espaço. Espaços anteriores a uma palavra, por outro lado, normalmente são tratados como parte do mesmo token que a palavra. Observe cuidadosamente o uso do espaço em branco e não utilize pontuação quando somente um espaço é o suficiente.