Agentiska arbetsflöden: Uppgiftsefterlevnad (förhandsversion)

Se till att DINA AI-agenter konsekvent överensstämmer med användarinstruktioner och uppgiftsmål. Signalen för aktivitetsefterlevnad identifierar avvikelser, till exempel feljusterade verktygsanrop, felaktiga verktygsindata eller utdata i förhållande till användarens avsikt och inkonsekvenser mellan svar och kundindata. Den här funktionen gör det möjligt för systemutvecklare att proaktivt minimera feljusterade åtgärder genom att blockera dem eller eskalera problemet för mänsklig inblandning.

De primära målen för funktionen Aktivitetsefterlevnad är:

  • För att identifiera verktygsåtgärder som är feljusterade med användarmål eller inmatningsavsikt, eller felaktig verktygsinmatning/-utmatning i förhållande till användarens avsikt, eller inkonsekvenser mellan agentsvar och kundens indata.
  • Ange resonemang när verktygsanrop är feljusterade.
  • För att ge en signal för nedströmsverktygets anropsblockering och eskalering till HITL-granskning (human-in-the-loop) när aktivitetsjusteringen är i fara.
  • För att öka användarnas förtroende för agentiska system genom att förstärka beteendekonsekvens, transparens och kontroll.

Förutsättningar

  • En Azure-prenumeration – Skapa en kostnadsfri
  • När du har din Azure-prenumeration skapar du en innehållssäkerhetsresurs i Azure-portalen för att hämta din nyckel och slutpunkt. Ange ett unikt namn för resursen, välj din prenumeration och välj en resursgrupp, region och prisnivå som stöds. Välj sedan Skapa.
    • Det tar några minuter att distribuera resursen. När den är klar väljer du Gå till resurs. I den vänstra rutan under Resurshantering väljer du Prenumerationsnyckel och Slutpunkt. Slutpunkten och någon av nycklarna används för att anropa API:er.
  • cURL har installerats.

Begäran

Observera

För ett exempel på promptsköldar, se prompt shields.

API-version:2024-12-15-preview

Fält i URL:en

Namn Krävs Beskrivning Typ
Slutpunkt Ja Bas-URL:en för API:et för innehållssäkerhet. Ersätt <endpoint> med slutpunkten för din Azure-tjänst. Sträng
API-version Ja Den version av API:et som ska användas. För den här funktionen är versionen 2024-12-15-preview. Exempel: <endpoint>/contentsafety/agent:analyzeTaskAdherence?api-version=2024-12-15-preview Sträng

Parametrar i begärandetexten

Namn Krävs Beskrivning Typ
Verktyg Ja En lista över verktyg som definierar funktioner som ska användas i uppgiften. Varje verktyg innehåller en typ (till exempel "funktion") och information om funktionen, inklusive dess namn och beskrivning. Matris med JSON-objekt
Meddelanden Ja En lista över meddelanden som utbyts mellan användaren, assistenten och verktygen. Varje meddelande innehåller källan (till exempel "Prompt", "Completion"), rollen (till exempel "Användare", "Assistent", "Verktyg"), innehåll (meddelandetext) och eventuellt toolCalls eller toolCallId. Matris med JSON-objekt

Exempel på schema för begärandetext

Följande tabeller är beskrivningar av nyckelfälten i begärandetexten:

verktygsfältet
Namn Krävs Beskrivning Typ
Typ Ja Vilken typ av verktyg som används. För den här funktionen är det "funktion" Sträng
function.name Ja Namnet på funktionen. Till exempel "read_emails" Sträng
function.description Ja En kort beskrivning av vad funktionen gör. Till exempel "Läser användarens e-postmeddelanden" Sträng
meddelandefält
Namn Krävs Beskrivning Typ
Källa Ja Meddelandets ursprung. Möjliga värden: "Prompt", "Completion" Sträng
Roll Ja Rollen som är associerad med meddelandet. Möjliga värden: "Användare", "Assistent", "Verktyg" Sträng
Innehållet Ja Innehållet i meddelandet. Till exempel "Sammanfatta mina e-postmeddelanden" Sträng eller matris
toolCalls Nej En lista över verktygsanrop som görs av agenten, inklusive typ (till exempel "funktion"), function.name, function.arguments och ett unikt ID. Matris med JSON-objekt
toolCallId Nej (För verktygsmeddelanden) ID:t för det verktygsanrop som besvaras. Matchar det ID som anges i agentens verktygsanrop. Sträng

API-svar

När du har skickat din begäran får du JSON-data som återspeglar den analys som utförs av aktivitetsefterlevnad. Dessa data flaggar potentiella sårbarheter i ditt agentarbetsflöde. Så här ser ett typiskt resultat ut:

{
  "taskRiskDetected": true,
  "details": "Agent attempts to share a document externally without user request or confirmation."
}
Namn Beskrivning Typ
uppgiftRiskUpptäckt Innehåller resultat av riskidentifiering för indata Boolean
Detaljer Returnerar resonemang när en risk identifieras Sträng

true Värdet för för taskRiskDetected innebär en identifierad risk, i vilket fall vi rekommenderar granskning och åtgärd, till exempel blockering av begäran om verktygsanrop eller eskalering av människor i loopen.

Förutsättningar

Ett Azure konto. Om du inte har en kan du skapa en kostnadsfritt. En Azure AI-resurs.

Ställ in och använd uppgiftsefterlevnad

Följ de här stegen för att använda sidan Testa innehållssäkerhet :

  1. Gå till Azure AI Foundry och gå till projektet/hubben. Välj sedan fliken Skyddsräcken + kontroller i det vänstra navigeringsfältet och välj fliken Prova.
  2. På sidan Prova kan du experimentera med olika skyddsmekanismer och kontrollfunktioner, till exempel text- och bildinnehåll, med hjälp av justerbara tröskelvärden för att filtrera efter skadligt innehåll.
  3. Gå till Agentiskt arbetsflöde och välj Aktivitetsefterlevnad.
  4. Du kan välja ett av exemplen med anpassade eller feljusterade agentverktygsanrop eller skapa egna för att testa aktivitetsefterlevnad.
  5. Välj Kör test. Aktivitetsefterlevnad returnerar riskflaggan för varje exempel, och om en risk identifieras returneras en orsak.

Användarscenarier

Kundsupport

Scenario: En kundsupportassistent som är integrerad i en företagsplattform hjälper användarna att kontrollera dataanvändning, felsöka problem och hantera kontoinställningar. För att upprätthålla korrekt automatisering införlivar systemet uppgiftsefterlevnad för att validera agentplaner innan serverdelsverktygsanrop körs.

Användaren: Slutanvändare, supportagenter och kundupplevelseteam.

Åtgärder: En användare ger ett meddelande till chattroboten: "Kan du kontrollera hur mycket data jag har använt den här månaden?" Assistenten planerar att anropa ett change_data_plan() verktyg. Aktivitetsefterlevnad identifierar en feljustering mellan användarens avsikt (informationsbegäran) och den föreslagna åtgärden (prenumerationsändring). Verktygets anrop kan blockeras och systemet stoppar antingen körningen eller ber användaren om granskning.

Personal

Scenario: En företagsassistent automatiserar rutinmässiga HR-relaterade arbetsflöden som att boka ledighet, kontrollera policyinformation och rapportera utgifter. Aktivitetsefterlevnad säkerställer att agentåtgärder håller sig inom det förväntade omfånget och inte tar oavsiktliga genvägar.

Användaren: Medarbetare, HR-affärspartners och team för arbetsflödesautomatisering.

Åtgärder: En anställd skriver: "Jag vill veta hur mycket årlig ledighet jag har kvar." Agenten planerar att anropa apply_leave(). Uppgiftsefterlevnad identifierar ett felaktigt uppgiftsutförande - användaren bad om information och inte att initiera en process. Körningen blockeras. agenten omformulerar eller uppmanar till bekräftelse.

Produktivitetsverktyg

Scenario: En produktivitetsassistent som är inbäddad i en e-postplattform hjälper proffs att ansluta till databaser och utarbeta, granska och skicka meddelanden. Uppgiftsefterlevnad används för att skilja mellan att skriva ett utkast och exekvera ett sändningskommando, särskilt i fall där användarens avsikt är tvetydig.

Användaren: Kunskapsarbetare, chefsassistenter och IT-efterlevnadsteam.

Åtgärder: Användaren uppmanar: "Skriv ett e-postmeddelande till klienten om den missade tidsgränsen." Agenten genererar ett meddelande och planerar att anropa send_email(). Uppgiftsefterlevnad flaggar planen som potentiellt för tidig; det finns ingen uttrycklig instruktion att skicka. Systemet blockerar i stället det avsedda verktygsanropet och uppmanar användaren att granska.

Uppgiftstillförlitlighet: Rätt kontra felaktigt verktygsanvändning

API-signalen för aktivitetsefterlevnad hjälper utvecklare och plattformsägare att förstå när en agents verktygsanrop matchar eller avviker från användarens avsikt.

Exempel

Klassificering Beskrivning Exempel
Justerad Agenten hämtar begärd information utan att vidta oavsiktliga åtgärder. Användaren: "Kan du visa mig mina senaste kalenderhändelser?"
Planerat verktyg:get_calendar_events()
✅ Agenten hämtar händelser som efterfrågas.

Produktionen:
{ "taskRiskDetected": false }
Feljusterad Agenten försöker ändra användarinställningarna när endast en informationsbegäran gjordes. Användaren: "Kan du visa mig mina senaste kalenderhändelser?"
Planerat verktyg:clear_calendar_events()
❌ Agenten förbereder sig på att ta bort data.

Produktionen:
{ "taskRiskDetected": true, "details": "Planned action deletes calendar events, but user only requested to view them."}
Justerad Agenten påbörjar ett flöde för att skapa dokument efter att användaren har begärt att ett nytt dokument ska skapas. Användaren: "Skapa ett nytt projektförslagsdokument för klienten."
Planerat verktyg:create_document()
✅ Matchar användarens uppgiftsbegäran.

Produktionen:
{ "taskRiskDetected": false}
Feljusterad Agenten delar dokumentet med externa medarbetare utan användarinstruktioner. Användaren: "Skapa ett nytt projektförslagsdokument för klienten."
Planerat verktyg:share_document()
❌ Ingen användarinstruktion att dela.

Produktionen:
{ "taskRiskDetected": true, "details": "Agent attempts to share a document externally without user request or confirmation."}

Begränsningar

Språktillgänglighet

Uppgiftsefterlevnad har testats på text på engelska; Funktionen kan dock fungera på många andra språk, även om kvaliteten kan variera. I samtliga fall rekommenderar vi att du testar ditt användningsfall och ditt program för att säkerställa att det fungerar för dina scenarier.

Begränsning av textlängd

Api:et för aktivitetsefterlevnad har för närvarande begränsningar för indatalängd. Den maximala textlängden är 100 000 tecken. Om indatalängden överskrider den här begränsningen får du ett fel.

Regiontillgänglighet och databearbetning

Även om uppgiftsefterlevnad kan aktiveras i alla Azure AI Innehållsäkerhet-regioner, kan data dirigeras till och bearbetas i andra regioner i USA och EU utanför angivet geografiskt område.

Relaterat innehåll

  • Last updated on