Prompt engineering technieken

Deze technieken worden niet aanbevolen voor redeneringsmodellen zoals gpt-5- en o-seriemodellen.

Prompt constructie kan moeilijk zijn. In de praktijk dient de prompt om het model te helpen de gewenste taak te voltooien, maar het is meer een kunst dan een wetenschap, vaak vereist het ervaring en intuïtie om een succesvolle prompt te creëren. Het doel van dit artikel is om u te helpen aan de slag te gaan met dit leerproces. In dit artikel worden algemene concepten en patronen vastgelegd die van toepassing zijn op alle GPT-modellen. Het is echter belangrijk om te begrijpen dat elk model zich anders gedraagt, zodat de leertrajecten mogelijk niet evenzeer van toepassing zijn op alle modellen.

Basisprincipes

In deze sectie worden de basisconcepten en elementen van GPT-prompts behandeld.

Tekstprompts zijn hoe gebruikers communiceren met GPT-modellen. Net als bij alle generatieve taalmodellen proberen GPT-modellen de volgende reeks woorden te produceren die waarschijnlijk zullen volgen uit de vorige tekst. Het is alsof we zeggen Wat is het eerste wat in je gedachten komt als ik zeg <prompt>? In de onderstaande voorbeelden ziet u dit gedrag. Met de eerste woorden van bekende teksten kan het model de tekst accuraat voortzetten.

Wanneer u complexere prompts ontwikkelt, is het handig om rekening te houden met dit fundamentele gedrag. Ongeacht de prompt die wordt gegeven, reageert het model gewoon met wat het waarschijnlijkst bepaalt (gezien de trainingsgegevens en trainingsdoelen). Als u een vraag in uw prompt stelt, volgt het model geen afzonderlijk Q&A-codepad, maar lijkt het erop dat deze de vraag beantwoordt omdat een antwoord het meest waarschijnlijke antwoord is voor de gegeven vraag als invoer.

Promptonderdelen

Wanneer u de voltooiings-API gebruikt terwijl er geen onderscheid is tussen verschillende onderdelen van de prompt, kan het nog steeds nuttig zijn voor leren en bespreken om onderliggende promptonderdelen te identificeren. Met de CHAT-voltooiings-API zijn er verschillende secties van de prompt die naar de API worden verzonden in de vorm van een matrix met woordenlijsten met gekoppelde rollen: systeem, gebruiker en assistent. Deze richtlijnen richten zich meer in het algemeen op hoe na te denken over constructie van prompts, in plaats van prescriptieve richtlijnen te bieden die specifiek zijn voor de ene API boven een andere.

Het is ook belangrijk om te begrijpen dat hoewel er andere geldige manieren zijn om prompts te ontleden, het doel van deze uitsplitsing is om een relatief eenvoudige manier te bieden om na te denken over promptconstructie. Met de voltooiings-API zijn alle onderdelen optioneel, maar ten minste één moet aanwezig zijn en de meeste prompts bevatten meer dan één onderdeel. Er kan ook een grijs gebied tussen onderdelen zijn. De onderstaande volgorde komt ongeveer overeen met hoe vaak elk onderdeel wordt gebruikt, van de meeste tot de minste.

Instructies

Instructies zijn waarschijnlijk het meest gebruikte promptonderdeel. Instructies zijn gewoon dat: instructies voor het model over wat u moet doen. Hoewel eenvoudig in concept, kunnen ze in de praktijk complex zijn. De volgende tabel illustreert dit door zowel eenvoudige als complexere instructies weer te geven, in twee verschillende vormen.

Primaire inhoud

Primaire inhoud verwijst naar een soort tekst die wordt verwerkt of getransformeerd door het model. Primaire inhoud wordt meestal gebruikt in combinatie met instructies. Een eenvoudig voorbeeld is taalomzetting. In het onderstaande voorbeeld wordt de Engelse tekst beschouwd als de primaire inhoud terwijl 'Vertalen naar Frans:' een instructie is.

Primaire inhoud kan ook veel langer zijn. In het volgende voorbeeld is de primaire inhoud de introductiesectie van de Wikipedia-vermelding over tijdcomplexiteit, die bijna 300 woorden lang is. Deze inhoud wordt afgekort in onze tabel voor het gemak van de weergave.

GPT-modellen kunnen ook primaire inhoud verwerken die is gestructureerd. In het onderstaande voorbeeld wordt een TSV over bieren in België (afgekort voor weergave in dit artikel) doorgegeven aan het model als onderdeel van de prompt. Het is in staat om de inhoud goed te interpreteren en vragen over de gegevens te beantwoorden.

Voorbeelden

Geslaagde prompts zijn vaak afhankelijk van de toepassing van "one-shot" of "few-shot" leren. Dit verwijst naar het opnemen van een of meer voorbeelden van het gewenste gedrag van het model, meestal door invoer- en uitvoerparen op te nemen. Dit leert niet in de zin dat het model permanent wordt gewijzigd, maar dat de voorbeelden beter in staat zijn om alleen op de huidige deductie te reageren. Het gebruik van prompts zonder voorbeelden wordt soms 'zero-shot' learning genoemd. Houd er rekening mee dat met de chatvoltooiings-API few-shot learning-voorbeelden doorgaans aan de berichtenreeks worden toegevoegd in de vorm van voorbeeldinteracties tussen gebruiker en assistent, na het eerste systeembericht.

In het bovenstaande voorbeeld ziet u het nut van weinig-shot learning. Zonder de voorbeelden lijkt het model te raden naar het gewenste gedrag, terwijl de voorbeelden het model op een schone manier laten zien hoe het werkt. Dit toont ook de kracht van het model, het kan de categorie label afleiden die is gewenst, zelfs zonder een "basketbal" label in de voorbeelden.

Cue

Aanwijzingen fungeren als de 'kickstart' voor de uitvoer van het model en helpen het model te sturen naar de gewenste uitvoer. Het is vaak een voorvoegsel waarop het model kan voortbouwen. In het onderstaande voorbeeld laten we de aanwijzing zien die het verhaal stuurt om essentiële elementen op te nemen. Aanwijzingen worden vaak samen met instructies gebruikt, maar niet altijd. In de onderstaande voorbeelden wordt het model gebruikt om een lang aankondigingsbericht samen te vatten. Een aanwijzing wordt in één geval gebruikt om de uitvoer van het model te richten en om een specifieke uitvoerindeling (opsommingstekens) in het andere geval te suggereren.

In de context van de api-instructies voor chatvoltooiing krijgen de vorm van het systeembericht en enkele voorbeelden worden aangegeven door een reeks voorbeeldinteracties van gebruikers/assistenten te bieden om het model te helpen primen.

Ondersteunende inhoud

Ondersteunende inhoud is informatie die het model kan gebruiken om de uitvoer op een of andere manier te beïnvloeden. Het verschilt van de primaire inhoud omdat deze niet het belangrijkste doel van de taak is, maar deze wordt meestal samen met primaire inhoud gebruikt. Veelvoorkomende voorbeelden zijn contextuele informatie, zoals de huidige datum, de naam van de gebruiker, gebruikersvoorkeuren, enzovoort. In het onderstaande voorbeeld wordt ondersteunende inhoud gebruikt om een reeks geplande workshops voor de gebruiker te organiseren. Zonder de ondersteunende (belangrijke onderwerpen) vermeldt het model gewoon de workshops (afgekapt voor weergave), wanneer het model op de hoogte is van mijn belangrijke onderwerpen, kan het model de vergaderingen nauwkeurig groeperen.

Scenariospecifieke richtlijnen

Met de technieken in deze sectie leert u strategieën voor het verhogen van de nauwkeurigheid en aarding van reacties die u genereert met een Large Language Model (LLM). Het is echter belangrijk om te onthouden dat zelfs wanneer u prompt engineering effectief gebruikt, u nog steeds de antwoorden moet valideren die de modellen genereren. Omdat een zorgvuldig ontworpen prompt goed werkte voor een bepaald scenario, betekent dit niet noodzakelijkerwijs dat het algemener wordt voor bepaalde gebruiksscenario's. Het begrijpen van de beperkingen van LLM's is net zo belangrijk als het begrijpen van hun sterke punten.

Deze handleiding gaat niet dieper in op de mechanica achter de berichtstructuur voor chatvoltooiingen. Als u niet bekend bent met interactie met modellen voor chatvoltooiingen via een programma, raden we u aan eerst onze instructiegids te lezen over de CHAT-voltooiings-API.

Few-shot leren

Een veelgebruikte manier om taalmodellen aan te passen aan nieuwe taken is door few-shot leren toe te passen. Bij few-shot learning wordt een reeks trainingsvoorbeelden gegeven als onderdeel van de prompt om het model van extra context te voorzien.

Wanneer u de chatvoltooiings-API gebruikt, kunnen een reeks berichten tussen de gebruiker en assistent (geschreven in de nieuwe promptindeling) dienen als voorbeelden voor few-shot learning. Deze voorbeelden kunnen worden gebruikt om het model op een bepaalde manier te laten reageren, bepaalde gedragingen te emuleren en antwoorden op veelgestelde vragen te zaaien.

In de bovenstaande tabel wordt de structuur van de basisprompt beschreven, maar voor een gedetailleerde uitleg van de exacte promptindeling moet u verwijzen naar de handleiding chatvoltooiing.

Niet-chat-scenario's

Hoewel de chatvoltooiings-API is geoptimaliseerd voor gebruik met gesprekken met meerdere rondes, kan deze ook worden gebruikt voor niet-chatscenario's. Voor een sentiment-analysecenario kunt u bijvoorbeeld de volgende prompt gebruiken.

Begin met duidelijke instructies

De volgordegegevens worden weergegeven in de prompt. Dit komt doordat GPT-stijlmodellen op een bepaalde manier zijn gebouwd die bepalen hoe ze de invoer verwerken. Ons onderzoek suggereert dat door het model aan het begin van de prompt te vertellen welke taak u wilt dat het uitvoert, vóór het delen van aanvullende contextuele informatie of voorbeelden, kan helpen om uitvoer van hogere kwaliteit te produceren.

Herhaal de instructies aan het einde

Modellen kunnen vatbaar zijn voor recency bias, wat in deze context betekent dat informatie aan het einde van de prompt mogelijk meer invloed heeft op de uitvoer dan informatie aan het begin van de prompt. Daarom is het de moeite waard om te experimenteren met het herhalen van de instructies aan het einde van de prompt en het evalueren van de impact op het gegenereerde antwoord.

De uitvoer voorbereiden

Dit verwijst naar het opnemen van enkele woorden of woordgroepen aan het einde van de prompt om een modelantwoord te verkrijgen dat volgt op het gewenste formulier. Een aanwijzing zoals “Here’s a bulleted list of key points:\n- ” kan helpen ervoor te zorgen dat het resultaat wordt opgemaakt als een lijst met opsommingstekens.

In de bovenstaande prompt zet de tekst Een mogelijke zoekquery is: het model aan om een enkele uitvoer te genereren. Zonder deze aanwijzing produceert het model verschillende zoekquery's als uitvoer.

Duidelijke syntaxis toevoegen

Gebruik duidelijke syntaxis voor uw prompt om de intentie te communiceren en uitvoer gemakkelijker te parseren.

In het onderstaande voorbeeld zijn scheidingstekens (--- in dit geval) toegevoegd tussen verschillende informatiebronnen of stappen. Hierdoor kan --- als stopvoorwaarde voor het genereren worden gebruikt. Daarnaast worden sectiekoppen of speciale variabelen in hoofdletters weergegeven om deze te onderscheiden.

Als u niet zeker weet welke syntaxis u moet gebruiken, kunt u Markdown of XML gebruiken. De modellen zijn getraind op een grote hoeveelheid webinhoud in XML en Markdown, wat betere resultaten kan opleveren.

De taak opsplitsen

Grote taalmodellen (LLM's) presteren vaak beter als de taak wordt opgesplitst in kleinere stappen. In de queryprompt waarnaar eerder wordt verwezen, kan de prompt bijvoorbeeld worden geherstructureerd, zodat het model eerst wordt geïnstrueerd om relevante feiten te extraheren en vervolgens wordt geïnstrueerd om zoekquery's te genereren die kunnen worden gebruikt om deze feiten te verifiëren.

Let op het gebruik van duidelijke syntaxis om de secties te onderscheiden en de uitvoer te primen. In dit eenvoudige voorbeeld is het opsplitsen van de taak van één tot twee stappen niet erg dramatisch, maar wanneer u dit probeert te doen voor een groter stuk tekst met veel feitelijke claims, kan het opsplitsen van de taak een aanzienlijk verschil maken.

Gebruik van aangeboden mogelijkheden

Soms kunnen we het model krijgen om een betaalbaarheid te gebruiken in plaats van te vertrouwen op zijn eigen parameters voor informatie en antwoorden. Zoeken kan bijvoorbeeld een hulpmiddel zijn om te helpen bij het verminderen van gefabriceerde antwoorden en om actuele informatie te verkrijgen.

Een eenvoudige manier om een betaalbaarheid te gebruiken, is door de generatie te stoppen zodra de betaalbaarheidsaanroepen door het model worden gegenereerd en de resultaten vervolgens weer in de prompt te plakken. Hieronder ziet u een voorbeeld van wat de opvolgingsoproep kan zijn na het uitvoeren van de bovenstaande ZOEK-aanroepen. U ziet hoe we de zoekresultaten in de prompt hebben geplakt en de vorige SEARCH-aanroepen hebben vervangen.

Keten van gedachteaanzetting

Dit is een variatie op de techniek voor het opsplitsen van de taak . In plaats van een taak op te splitsen in kleinere stappen, wordt in deze benadering het modelantwoord stapsgewijs uitgelegd en worden alle betrokken stappen weergegeven. Dit vermindert de kans op onnauwkeurigheid van resultaten en maakt het beoordelen van de modelrespons eenvoudiger.

De uitvoerstructuur opgeven

Door uw prompt te gebruiken om de structuur van de uitvoer op te geven, kan dit een aanzienlijk effect hebben op de aard en kwaliteit van de resultaten. Soms zijn systeemberichtinvoeren als 'alleen echte feiten schrijven' of 'geen informatie fabriceren' mogelijk niet voldoende oplossingen. In plaats daarvan kan het vragen om het modelantwoord ook bronvermeldingen op te nemen, leiden tot een vermindering van de prevalentie van onjuiste antwoorden.

Als u het model instrueert om het bronmateriaal te citeren wanneer het uitspraken doet, zijn deze uitspraken veel waarschijnlijker onderbouwd. Als u om bronvermeldingen vraagt, moet het model twee fouten maken telkens wanneer er een antwoord wordt gegenereerd: de eerste fout is het ge fabriceerde antwoord en de tweede is de slechte bronvermelding. Houd er rekening mee dat hoe dichter de bronvermelding is bij de tekst die wordt ondersteund, hoe korter de afstand voor het model is om te anticiperen op de bronvermelding, wat aangeeft dat inline-bronvermeldingen betere oplossingen zijn voor het genereren van valse inhoud dan bronvermeldingen aan het einde van de inhoud.

Als u het model vraagt om feitelijke instructies uit een alinea te extraheren, kan het ook samengestelde instructies extraheren, zoals 'X doet Y EN Z' (wat moeilijker kan zijn om te verifiëren). Dit kan worden vermeden door een uitvoerstructuur op te geven, zoals (entiteit1, relatie, entiteit2).

In dit voorbeeld ziet u het gebruik van bronvermeldingen en het omsturen van het modelantwoord op een gedefinieerde structuur.

Temperatuur- en Top_p parameters

Als u de temperatuurparameter wijzigt, wordt de uitvoer van het model gewijzigd. De temperatuurparameter kan tussen 0 en 2 worden ingesteld. Een hogere waarde, bijvoorbeeld 0,7, maakt de uitvoer willekeuriger en produceert meer uiteenlopende antwoorden, terwijl een lagere waarde, zoals. 0.2, maakt de uitvoer meer gericht en concreet. Een fictief verhaal kan worden gegenereerd met een hogere temperatuur. Voor het genereren van een juridisch document is het raadzaam om een veel lagere temperatuur te gebruiken. Top_probability is een andere parameter en is vergelijkbaar met Temperatuur omdat hiermee ook de willekeurigheid van het modelantwoord wordt gecontroleerd, maar dit op een andere manier doet. De algemene aanbeveling is om een van deze twee parameters tegelijk te wijzigen, niet beide.

Basiscontext opgeven

Een van de meest effectieve manieren om betrouwbare antwoorden te geven, is door het model gegevens te geven waaruit het zijn antwoorden haalt (referentiegegevens). Als uw gebruiksscenario afhankelijk is van up-to-datum, betrouwbare informatie en niet uitsluitend een creatief scenario is, raden we u ten zeerste aan om grondgegevens op te geven. Over het algemeen, hoe dichter u uw bronmateriaal kunt krijgen bij de uiteindelijke vorm van het gewenste antwoord, hoe minder werk het model moet doen, wat betekent dat er minder kans is op fouten. Hier volgt een voorbeeld waarin het systeem een blog wordt gegeven met een beschrijving van de launch van GPT-4 in Azure OpenAI in Microsoft Foundry Models en gevraagd om enkele van zijn vroege klanten te noemen.

¹ Tekst van Azure OpenAI GPT-4 launch blog.

Beste praktijken

• Wees specifiek. Laat zo weinig mogelijk interpretatie over. Beperk de operationele ruimte.
• Wees beschrijvend. Gebruik analogieën.
• Dubbel omlaag. Soms moet u zich misschien herhalen bij het model. Geef instructies voor en na uw primaire inhoud, gebruik een instructie en een aanwijzing, enzovoort.
• Order Matters. De volgorde waarin u informatie aan het model presenteert, kan van invloed zijn op de uitvoer. Of u nu instructies plaatst voor uw inhoud ('het volgende samenvatten...') of na ('summarize the above...') kan een verschil maken in de uitvoer. Zelfs de volgorde van few-shot voorbeelden kan van belang zijn. Dit wordt aangeduid als recency bias.
• Geef het model een “uitweg”. Het kan soms handig zijn om het model een alternatief pad te geven als de toegewezen taak niet kan worden voltooid. Als u bijvoorbeeld een vraag stelt over een stuk tekst, kunt u bijvoorbeeld 'reageren met 'niet gevonden' opnemen als het antwoord niet aanwezig is.' Dit kan helpen het model te voorkomen dat er valse antwoorden worden gegenereerd.

Ruimte-efficiëntie

Terwijl de invoergrootte toeneemt met elke nieuwe generatie GPT-modellen, blijven er scenario's bestaan die meer gegevens bieden dan het model kan verwerken. GPT-modellen splitsen woorden in 'tokens'. Hoewel veelgebruikte woorden met meerdere lettergrepen vaak één token zijn, worden minder algemene woorden in lettergrepen verbroken. Tokens kunnen soms contra-intuïtief zijn, zoals wordt weergegeven in het onderstaande voorbeeld waarin tokengrenzen voor verschillende datumnotaties worden gedemonstreerd. In dit geval is het voluit schrijven van de maand ruimteefficiënter dan een volledig numerieke datum.

Gezien deze beperkte ruimte is het belangrijk om deze zo efficiënt mogelijk te gebruiken.

• Tabellen: zoals wordt weergegeven in de voorbeelden in de vorige sectie, kunnen GPT-modellen eenvoudig gegevens in tabelvorm begrijpen. Dit kan een ruimte-efficiënte manier zijn om gegevens te integreren, in plaats van elk veld vooraf te laten gaan door een naam (zoals bij JSON).
• Witruimte: opeenvolgende witruimten worden behandeld als afzonderlijke tokens, wat een eenvoudige manier kan zijn om ruimte te verspillen. Spaties voorafgaand aan een woord worden meestal behandeld als onderdeel van hetzelfde token als het woord. Let goed op hoe u witruimte gebruikt en gebruik geen interpunctie als een spatie alleen voldoende is.