Markbaserade AI-system
Grundläggning är processen att ansluta ai-systemets svar till verifierade verkliga data i stället för att enbart förlita sig på modellens allmänna utbildningskunskaper. Utan jordning drar generativa AI-modeller uteslutande från mönster som lärts under träningen – som kan vara inaktuella, ofullständiga eller felaktiga för ett specifikt användningsfall. Jordning är både en kvalitetskontroll och en säkerhetskontroll.
Varför jordning är viktigt för säkerheten
Ur ett säkerhetsperspektiv innebär ogrundade AI-system flera risker:
- Fabricerade utdata: En ogrundad modell är mer sannolikt att generera säker men faktiskt felaktig information, som användarna kan agera på utan verifiering
- Inaktuell information: Modeller som tränats på data från månader eller år sedan kan ge inaktuell vägledning, särskilt farlig för säkerhetsråd, efterlevnadskrav eller produktdokumentation
- Obegränsad omfattning: Utan grund kan en modell svara på frågor om alla ämnen, inklusive områden där den saknar tillräcklig kunskap för att vara tillförlitlig
Förankring begränsar modellen så att den fungerar med specifika, verifierade datakällor, vilket minskar risken för fabricerat utdata och reducerar attackytan samt hjälper till att upprätthålla de gränser som definieras i systemprompten.
Jordningstekniker
Flera tekniker används ofta för att jorda AI-system i verifierade data:
Hämtningsförhöjd generation (RAG)
RAG är den mest använda grundtekniken. Det fungerar genom att:
- Hämta relevanta dokument eller data från en kunskapsbas, databas eller ett sökindex baserat på användarens fråga
- Utöka prompten med hjälp av den här hämtade informationen
- Generera ett svar som informeras av både modellens funktioner och specifika hämtade data
RAG gör det möjligt för AI:n att tillhandahålla aktuella, kontextspecifika svar utan att modellen behöver tränas om. En AI-assistent som är grundad med RAG kan till exempel svara på frågor om en organisations interna principer genom att hämta de senaste principdokumenten vid frågetillfället.
Säkerhetsöverväganden för RAG-implementeringar är:
- Åtkomstkontroll för källdata: Kontrollera att hämtningssystemet respekterar samma åtkomstkontroller som användaren. AI:n ska inte hämta dokument som användaren inte har behörighet att se.
- Källdataintegritet: Skydda kunskapsbasen från manipulering. Om en angripare kan ändra grunddata kan de påverka AI:ns svar – en form av indirekt manipulation.
- Källhänvisning och spårbarhet: Konfigurera systemet så att det anger vilka källor som informerade varje svar, vilket gör det möjligt att verifiera noggrannheten och identifiera när modellen avviker från sina grunddata.
Fråga efter teknik för grundläggning
Avancerade tekniker för snabbteknik kompletterar RAG genom att instruera modellen om hur man använder sina grunddata:
- Inkludera explicita instruktioner för att endast basera svar på angiven kontext
- Definiera hur modellen ska svara när grunddata inte innehåller svaret ("Baserat på tillgänglig information har jag inget svar på den frågan")
- Ange regler för hur modellen ska hantera motstridig information mellan källor
Detektion av förankring
Vissa AI-plattformar erbjuder detektion av förankring som en inbyggd funktion. Den här funktionen utvärderar modellens anspråk mot det källmaterial som tillhandahölls och flaggar svar som innehåller information som inte stöds av grunddata. Grundavkänning fungerar som en säkerhetskontroll efter generation och fångar fabricerade utdata som tog sig förbi andra kontroller.
Bästa praxis för jordning
När du implementerar förankring i AI-system:
- Håll grunddata aktuella: Upprätta processer för att regelbundet uppdatera kunskapsbasen. Föråldrade grunddata kan vara lika problematiska som inga grunddata.
- Verifiera källkvalitet: Använd endast auktoritativa, verifierade källor för jordning. Grundat på otillförlitliga dataöverföringar som orsakar otillförlitlighet i AI:ns svar.
- Övervaka mått för jordning: Spåra hur ofta modellens svar är jordade jämfört med ojordade. En ökning av ogrundade svar kan tyda på ett problem med hämtningspipelinen eller själva grunddata.
- Kombinera med innehållsfilter: Använd groundedness-identifiering tillsammans med innehållsfilter och metapromptinstruktioner för en skiktad skyddsmetod.
