Techniques d’ingénierie d’invite

Ces techniques ne sont pas recommandées pour les modèles de raisonnement comme les modèles gpt-5 et de série o.

La construction rapide peut être difficile. Dans la pratique, la requête agit pour aider le modèle à accomplir la tâche souhaitée. Il s’agit toutefois plus d’un art que d’une science, qui nécessite souvent de l’expérience et de l’intuition pour créer une requête réussie. L’objectif de cet article est de vous aider à bien démarrer avec ce processus d’apprentissage. Cet article tente de capturer des concepts généraux et des modèles qui s’appliquent à tous les modèles GPT. Toutefois, il est important de comprendre que chaque modèle se comporte différemment, de sorte que les apprentissages peuvent ne pas s’appliquer de manière égale à tous les modèles.

Notions de base

Cette section couvre les concepts de base et les éléments des incitations GPT.

Les invites de texte sont la façon dont les utilisateurs interagissent avec les modèles GPT. Comme avec tous les modèles de langage génératif, les modèles GPT tentent de produire la série suivante de mots qui sont les plus susceptibles de suivre à partir du texte précédent. C’est comme si nous disons quelle est la première chose qui vient à votre esprit quand je dis <prompt>? Les exemples ci-dessous illustrent ce comportement. Quand il rencontre les premiers mots d’un contenu célèbre, le modèle est en mesure de poursuivre le texte avec précision.

Lorsque vous développez des invites plus complexes, il est utile de garder à l’esprit ce comportement fondamental. Quelle que soit l’invite fournie, le modèle répond simplement à ce qu’il détermine est le plus probable (compte tenu de ses données d’apprentissage et de ses cibles d’entraînement). Si vous posez une question dans votre invite, le modèle ne suit pas un chemin de code « Q&A » distinct, mais il semble plutôt répondre à la question, car une réponse est le type de réponse le plus probable pour la question donnée comme entrée.

Composants d’invite

Lorsque vous utilisez l’API Completion alors qu’il n’existe aucune différenciation entre les différentes parties de l’invite, il peut toujours être utile, à des fins d’apprentissage et de discussion, d’identifier les composants d’invite sous-jacents. Avec l'API de complétion de chat, il y a des sections distinctes du prompt envoyées à l’API sous la forme d’un tableau de dictionnaires avec des rôles associés : système, utilisateur et assistant. Ces conseils se concentrent plus généralement sur la façon de réfléchir à la construction rapide plutôt que de fournir des instructions prescriptives spécifiques à une API sur une autre.

Il est également important de comprendre que, bien qu’il puisse y avoir d’autres moyens valides de disséquer les invites, l’objectif de cette décomposition est de fournir un moyen relativement simple d’envisager la construction des invites. Avec l’API d’achèvement, tous les composants sont facultatifs, mais au moins un doit être présent et la plupart des invites incluent plusieurs composants. Il peut également y avoir une zone grise entre les composants. L’ordre présenté ci-dessous correspond approximativement à la fréquence d’utilisation de chaque composant, du plus au moins.

Consignes

Les instructions sont probablement l'élément de rappel le plus couramment utilisé. Les instructions sont simplement les suivantes : instructions au modèle sur ce qu’il faut faire. Bien que simple dans le concept, ils peuvent être complexes dans la pratique. Le tableau suivant illustre cela en montrant des instructions simples et plus complexes, sous deux formes différentes.

Contenu principal

Le contenu principal fait référence à un type de texte traité ou transformé par le modèle. Le contenu principal est généralement utilisé conjointement avec des instructions. Un exemple simple serait la traduction linguistique. Dans l’exemple ci-dessous, le texte anglais est considéré comme le contenu principal tandis que « Traduire en français : » est une instruction.

Le contenu principal peut également être beaucoup plus long. Dans l’exemple suivant, le contenu principal est la section d’introduction de l’entrée Wikipédia sur la complexité temporelle, qui est de près de 300 mots longs. Ce contenu est abrégé dans notre tableau pour faciliter l’affichage.

Les modèles GPT peuvent également gérer le contenu principal structuré. Dans l’exemple ci-dessous, un fichier TSV sur les bières belges (abrégé à des fins d’affichage dans cet article) est transmis au modèle dans le cadre de l’invite. Il est capable d’interpréter correctement le contenu et de répondre aux questions sur les données.

Exemples

Les invites réussies s’appuient souvent sur la pratique de l’apprentissage « en un coup » ou « en quelques coups ». Cela fait référence à l’inclusion d’un ou plusieurs exemples du comportement souhaité du modèle, généralement en incluant des paires d’entrée et de sortie. Ce n’est pas l’apprentissage dans le sens où le modèle est définitivement modifié, mais plutôt que les exemples conditionnent mieux le modèle à répondre comme souhaité uniquement pour l'inférence actuelle. L’utilisation d’invites sans exemples est parfois appelée apprentissage « zéro coup ». Notez que, dans l’API d’achèvement de conversation, les exemples de few-shot learning sont généralement ajoutés au tableau de messages sous forme d’exemples d’interactions utilisateur/assistant après le message système initial.

L’exemple ci-dessus illustre l’utilité de l’apprentissage à quelques coups. Sans les exemples, le modèle semble deviner le comportement souhaité, tandis que les exemples montrent correctement le modèle comment fonctionner. Cela montre également la puissance du modèle, il peut déduire la catégorie d’étiquette souhaitée, même sans étiquette de « basket » dans les exemples.

Signal

Les indicateurs agissent comme « jumpstart » pour la sortie du modèle, ce qui permet de diriger le modèle vers la sortie souhaitée. Il s’agit souvent d’un préfixe sur lequel le modèle peut être généré. Dans l’exemple ci-dessous, nous montrons le signal qui dirige l'histoire pour inclure des éléments clés. Les indicateurs sont souvent utilisés avec des instructions, mais pas toujours. Dans les exemples ci-dessous, le modèle est utilisé pour résumer un courrier électronique d’annonce long. Un indicateur est utilisé dans un cas pour aider à concentrer la sortie du modèle et à suggérer un format de sortie spécifique (points de puce) dans l’autre.

Dans le contexte de l’API Chat Completion, les instructions prennent la forme du message système, et des exemples en quelques coups sont indiqués en fournissant une série d’exemples d’interactions utilisateur/assistant pour aider à amorcer le modèle.

Contenu d'accompagnement

Le contenu de support est une information que le modèle peut utiliser pour influencer le résultat d'une manière quelconque. Il diffère du contenu principal dans le sens où il n’est pas la cible principale de la tâche, mais il est généralement utilisé avec le contenu principal. Les exemples courants incluent des informations contextuelles telles que la date actuelle, le nom de l’utilisateur, les préférences utilisateur, etc. L’exemple ci-dessous utilise le contenu de prise en charge pour organiser un ensemble d’ateliers planifiés pour l’utilisateur. Sans les sujets de soutien (rubriques importantes), le modèle répertorie simplement les ateliers en cours (tronqués pour l'affichage), mais lorsqu'il est informé de mes sujets importants, le modèle est en mesure de regrouper avec précision les réunions.

Conseils spécifiques au scénario

Les techniques de cette section vous apprendront des stratégies pour augmenter la précision et la base des réponses que vous générez avec un modèle de langage volumineux (LLM). Toutefois, il est important de se rappeler que même lorsque vous utilisez l’ingénierie rapide, vous devez toujours valider les réponses générées par les modèles. Simplement parce qu’une invite soigneusement conçue a bien fonctionné pour un scénario particulier ne signifie pas nécessairement qu’elle généralisera plus largement certains cas d’usage. Comprendre les limitations des llMs est tout aussi important que de comprendre comment tirer parti de leurs forces.

Ce guide ne traite pas en profondeur des mécaniques derrière la structure des messages pour les complétions de chat. Si vous n’êtes pas familiarisé avec les modèles d'achèvement de conversation programmatiquement, nous vous recommandons de lire notre guide pratique sur l’API d'achèvement de conversation.

Apprentissage par peu d'exemples

Un moyen courant d’adapter des modèles linguistiques à de nouvelles tâches consiste à utiliser l’apprentissage à quelques coups. Dans l’apprentissage en quelques essais, un ensemble d’exemples d’entraînement est fourni dans le cadre de l’invite pour donner davantage de contexte au modèle.

Lors de l’utilisation de l’API d’achèvement de conversation, une série de messages entre l’utilisateur et l’assistant (écrits dans le nouveau format d’invite) peuvent servir d’exemples pour l’apprentissage en quelques essais. Ces exemples peuvent être utilisés pour primer le modèle afin de répondre d’une certaine manière, émuler des comportements particuliers et des réponses initiales aux questions courantes.

Le tableau ci-dessus décrit la structure d’invite de base, mais pour une explication détaillée du format d’invite exact, vous devez vous référer au guide sur la finalisation de conversation.

Scénarios sans conversation

Bien que l'API d’achèvement de conversation soit optimisée pour fonctionner avec des conversations en plusieurs tours, elle peut également être utilisée pour des scénarios autres que des conversations. Par exemple, pour un scénario d’analyse des sentiments, vous pouvez utiliser l’invite suivante :

Commencer par des instructions claires

L’ordre des informations dans le prompt est important. Cela est dû au fait que les modèles de style GPT sont intégrés d’une certaine manière qui définit la façon dont ils traitent l’entrée. Notre recherche suggère qu'indiquer au modèle la tâche que vous souhaitez qu'il effectue au début de l'invite, avant de partager des informations contextuelles ou des exemples supplémentaires, peut aider à produire des résultats de qualité supérieure.

Répétez les instructions à la fin

Les modèles peuvent être sensibles à un biais de récurrence, ce qui, dans ce contexte, signifie que les informations à la fin de l’invite peuvent avoir une influence plus significative sur la sortie que sur les informations au début de l’invite. Par conséquent, il est utile de répéter les instructions à la fin de l’invite et d’évaluer l’impact sur la réponse générée.

Préparer la sortie

Cela fait référence à l’inclusion de quelques mots ou expressions à la fin de l’invite pour obtenir une réponse de modèle qui suit le formulaire souhaité. Par exemple, l'utilisation d'un indicateur tel que “Here’s a bulleted list of key points:\n- ” peut vous aider à vérifier que la sortie est mise en forme en liste à puces.

Dans l’invite ci-dessus, le texte Une requête de recherche possible est : prime le modèle pour produire une seule sortie. Sans ce repère, le modèle produit plusieurs requêtes de recherche en tant que sortie.

Ajouter une syntaxe claire

Utilisez une syntaxe claire pour votre commande afin de communiquer l’intention et faciliter l’analyse des résultats.

Dans l’exemple ci-dessous, les séparateurs (--- dans ce cas) ont été ajoutés entre différentes sources d’informations ou d’étapes. Cela permet d'utiliser --- comme condition d'arrêt pour la génération. En outre, les en-têtes de section ou les variables spéciales sont présentés en majuscules pour les différencier.

Si vous ne savez pas quelle syntaxe utiliser, envisagez d’utiliser Markdown ou XML. Les modèles ont été formés sur un contenu web volumineux en XML et Markdown, ce qui peut fournir de meilleurs résultats.

Décomposer la tâche

Les modèles de langage volumineux (LLMs) fonctionnent souvent mieux si la tâche est divisée en étapes plus petites. Par exemple, dans l’invite de requête de recherche référencée précédemment, l’invite peut être restructurée afin que le modèle soit d’abord invité à extraire des faits pertinents, puis à générer des requêtes de recherche qui peuvent être utilisées pour vérifier ces faits.

Notez l’utilisation de la syntaxe claire pour différencier les sections et primer la sortie. Dans cet exemple simple, la rupture de la tâche d’une à deux étapes n’est pas très dramatique, mais lorsque vous essayez de le faire pour une plus grande partie du texte avec de nombreuses revendications factuelles, la décomposition de la tâche peut faire une différence significative.

Utilisation des affordances

Parfois, nous pouvons obtenir que le modèle utilise une affordance au lieu de s’appuyer sur ses propres paramètres pour obtenir des informations et des réponses. La recherche, par exemple, peut être un outil pour aider à atténuer les réponses fabriquées et à obtenir des informations à jour.

Une façon simple d’utiliser une affordance consiste à arrêter la génération une fois que les appels d’affordance sont générés par le modèle, puis à coller les résultats dans l’invite. Voici un exemple de ce que l’appel de suivi peut être après avoir effectué les appels SEARCH ci-dessus. Notez comment nous avons collé les résultats de la recherche dans l’invite et remplacé les appels RECHERCHE précédents.

Chaîne de stimulation des pensées

Il s'agit d'une variante de la technique consistant à décomposer la tâche. Au lieu de fractionner une tâche en étapes plus petites, dans cette approche, la réponse du modèle est chargée de procéder pas à pas et de présenter toutes les étapes impliquées. Cela réduit la possibilité d’inexactitude des résultats et facilite l’évaluation de la réponse du modèle.

Spécification de la structure de sortie

L’utilisation de vos commandes pour spécifier la structure de la sortie peut avoir un effet significatif sur la nature et la qualité des résultats. Parfois, les entrées de message système comme « écrivent uniquement des faits vrais » ou « ne fabriquent pas d’informations » peuvent ne pas être des atténuations adéquates. Au lieu de cela, demander la réponse du modèle pour inclure également des citations peut aider à réduire la prévalence des réponses incorrectes.

Si vous demandez au modèle de citer le matériel source lorsqu’il effectue des déclarations, ces instructions sont beaucoup plus susceptibles d’être ancrées. Demander des citations le fait de sorte que le modèle doit effectuer deux erreurs chaque fois qu’il génère une réponse : la première erreur est la réponse fabriquée, et la seconde est la citation incorrecte. Notez que plus la citation est proche du texte qu'elle soutient, plus la distance que le modèle doit prévoir pour anticiper la citation est courte, ce qui suggère que les citations intégrées constituent de meilleures mesures pour mitiger la génération de faux contenus que celles placées à la fin du contenu.

De même, si vous demandez au modèle d’extraire des énoncés factuels d’un paragraphe, il peut extraire des instructions composées telles que « X fait Y AND Z » (ce qui peut être plus difficile à vérifier). Cela peut être évité en spécifiant une structure de sortie telle que (entity1, relation, entity2).

Cet exemple montre l’utilisation de citations et la mise en place de la réponse du modèle pour qu’elle corresponde à une structure définie.

Paramètres de température et de Top_p

La modification du paramètre de température modifie la sortie du modèle. Le paramètre de température peut être défini entre 0 et 2. Une valeur plus élevée, par exemple 0,7, rend la sortie plus aléatoire et produit des réponses plus divergentes, tandis qu’une valeur inférieure, comme. 0.2, rend la sortie plus ciblée et plus concrète. Une histoire fictive peut être générée à l’aide d’une température plus élevée. Alors que pour générer un document juridique, il est recommandé d’utiliser une température beaucoup plus faible. Top_probability est un autre paramètre et est similaire à Temperature en ce sens qu’il contrôle également le caractère aléatoire de la réponse du modèle, mais il le fait de manière différente. La recommandation générale est de modifier l’un de ces deux paramètres à la fois, et non les deux.

Fournir un contexte de base

Une des méthodes les plus efficaces pour fournir des réponses fiables consiste à donner au modèle des données de référence pour formuler ses réponses. Si votre cas d’usage repose sur des informations fiables et à jour et n’est pas un scénario purement créatif, nous vous recommandons vivement de fournir des données de référence. En général, plus vous pouvez rapprocher votre matériel source de la forme finale de la réponse souhaitée, moins le modèle doit travailler, ce qui signifie qu’il y a moins de possibilités d'erreur. Voici un exemple où le système reçoit un blog décrivant le lancement de GPT-4 dans Azure OpenAI dans Microsoft Foundry Models et se voit demander de nommer certains de ses premiers clients.

¹ Texte du blog de lancement d'Azure OpenAI GPT-4.

Meilleures pratiques

• Soyez spécifique. Laissez aussi peu d’interprétation que possible. Limitez l’espace opérationnel.
• Soyez descriptif. Utilisez des analogies.
• Miser davantage. Parfois, vous devrez peut-être vous répéter auprès du modèle. Donnez des instructions avant et après votre contenu principal, utilisez une instruction et un indicateur, etc.
• L'ordre est important. L’ordre dans lequel vous présentez des informations au modèle peut avoir un impact sur la sortie. Que vous ayez mis des instructions avant votre contenu (« résumer les éléments suivants... ») ou après (« résumer les éléments ci-dessus... ») peut faire une différence dans la sortie. Même l’ordre des exemples en quelques coups peut avoir de l’importance. C’est ce qu’on appelle un biais de récurrence.
• Donnez au modèle un « out ». Il peut parfois être utile de donner au modèle un autre chemin d’accès s’il n’est pas en mesure d’effectuer la tâche affectée. Par exemple, lorsque vous posez une question sur un morceau de texte, vous pouvez inclure quelque chose comme « répondre avec « introuvable » si la réponse n’est pas présente. Cela peut aider le modèle à éviter de générer de fausses réponses.

Efficacité de l’espace

Bien que la taille d’entrée augmente avec chaque nouvelle génération de modèles GPT, il continue d’être des scénarios qui fournissent plus de données que le modèle peut gérer. Les modèles GPT décomposent les mots en « jetons ». Bien que les mots multiples communs soient souvent un seul jeton, les mots moins courants sont rompus en syllabes. Les jetons peuvent parfois être contre-intuitifs, comme le démontrent l’exemple ci-dessous qui illustre les frontières des jetons pour différents formats de date. Dans ce cas, écrire le mois en toutes lettres est plus économe en espace qu’une date entièrement numérique.

Étant donné cet espace limité, il est important de l’utiliser aussi efficacement que possible.

• Tableaux : comme illustré dans les exemples de la section précédente, les modèles GPT peuvent comprendre facilement les données mises en forme tabulaires. Il peut s’agir d’un moyen efficace d’inclure des données, plutôt que de précéder chaque champ portant un nom (par exemple, JSON).
• Espace blanc : les espaces blancs consécutifs sont traités comme des jetons distincts, ce qui peut être un moyen simple de gaspiller de l’espace. Les espaces qui précèdent un mot, d’autre part, sont généralement traités comme faisant partie du même jeton que le mot. Surveillez attentivement votre utilisation de l’espace et n’utilisez pas de ponctuation quand un espace seul suffira.