Programkort: Microsoft Copilot i Microsoft Defender

Vad är ett programkort?

Microsofts program- och plattformskort är avsedda att hjälpa dig att förstå hur vår AI-teknik fungerar, vilka val programägare kan göra som påverkar programmets prestanda och beteende samt vikten av att ta hänsyn till hela programmet, inklusive teknik, personer och miljö. Programkort skapas för AI-program och plattformskort skapas för AI-plattformstjänster. Dessa resurser kan stödja utveckling eller distribution av dina egna program och kan delas med användare eller intressenter som påverkas av dem.

Som en del av sitt engagemang för ansvarsfull AI följer Microsoft sex grundläggande principer: rättvisa, tillförlitlighet och säkerhet, sekretess och säkerhet, inkludering, transparens och ansvarsskyldighet. Dessa principer är inbäddade i Responsible AI Standard, som hjälper teamen att utforma, skapa och testa AI-program. Program- och plattformskort spelar en viktig roll när det gäller att operationalisera dessa principer genom att erbjuda transparens kring funktioner, avsedda användningsområden och begränsningar. För ytterligare insikter uppmuntras läsarna att utforska Microsofts rapport om ansvarsfull AI-transparens och uppförandekod, som beskriver hur företagskunder och individer kan interagera med AI på ett ansvarsfullt sätt.

Översikt

Microsoft Copilot i Microsoft Defender är integreringen av Microsoft Security Copilot i Microsoft Defender-portalen. Det är ett AI-baserat säkerhetsprogram som utformats för att hjälpa säkerhetsanalytiker att undersöka och reagera på cybersäkerhetshot mer effektivt och effektivt. Genom att kombinera stora språkmodeller med säkerhetsspecifika data och intelligens ger Copilot i Defender sammanhangsbaserade insikter, automatiserad analys och användbara rekommendationer direkt i de säkerhetsarbetsflöden som analytiker använder varje dag.

SOC-team (Security Operations Center) står inför växande mängder aviseringar, allt mer sofistikerade attacker och utmaningen med att bemanna erfarna analytiker. Copilot i Defender hanterar dessa utmaningar genom att påskynda incidentutredningen, minska den tid som krävs för att analysera komplexa hot och göra det möjligt för analytiker på alla erfarenhetsnivåer att utföra uppgifter som traditionellt krävde djup expertis. Programmet använder data från de arbetsbelastningar som Microsoft Defender övervakar, inklusive slutpunkter, identiteter, e-post, molnprogram med mera, för att ge relevant och sammanhangsberoende hjälp.

Microsoft Copilot i Microsoft Defender är avsedd för företagskunder, särskilt säkerhetsanalytiker, incidentpersonal, hotjägare och hotinformationsanalytiker som använder Microsoft Defender-portalen för att skydda sina organisationer. Mer information finns i Microsoft Security Copilot i Microsoft Defender.

Viktiga termer

Följande tabell innehåller en ordlista med viktiga termer relaterade till Microsoft Copilot i Microsoft Defender.

Term Beskrivning
Avancerad jakt Ett frågebaserat verktyg för hotjakt i Microsoft Defender som använder Kusto-frågespråk (KQL) för att låta säkerhetsteam proaktivt söka efter hot, misstänkta aktiviteter och indikatorer för kompromettering av säkerhetsdata. Copilot i Defender kan generera KQL-frågor från begäranden på naturligt språk.
Guidat svar En AI-genererad uppsättning rekommenderade åtgärder som tillhandahålls av Copilot i Defender för att hjälpa säkerhetsanalytiker att sortera, begränsa, undersöka och åtgärda säkerhetsincidenter. Varje rekommendation innehåller en anledning som förklarar varför åtgärden föreslås.
Incident En samling korrelerade aviseringar och associerade data som tillsammans representerar en potentiell eller bekräftad säkerhetsattack. Copilot i Defender kan sammanfatta incidenter, markera viktig information och föreslå lämpliga svarsåtgärder.
KQL (Kusto-frågespråk) Ett skrivskyddat frågespråk som används vid avancerad jakt inom Microsoft Defender och Microsoft Sentinel. Copilot i Defender kan översätta frågor på naturligt språk till KQL-frågor, vilket minskar den tekniska barriären för hotjägare.
Stor språkmodell (LLM) En typ av AI-modell som tränas på stora datamängder med text som kan förstå och generera naturligt språk. Copilot i Defender använder stora språkmodeller för att analysera säkerhetsdata, generera sammanfattningar och ge rekommendationer.
MITRE ATT&CK En globalt erkänd kunskapsbas av motståndare taktik och tekniker baserat på verkliga observationer. Copilot i Defender mappar resultat från skriptanalys och hotidentifiering till MITRE ATT&CK-tekniker för att hjälpa analytiker att förstå angriparens beteende.
Röd teamindelning En säkerhetstestningspraxis där ett team simulerar verkliga attacker mot en produkt för att identifiera fellägen, sårbarheter och scenarier utanför avsedd användning. Microsoft genomförde röd teamindelning på Copilot i Defender före lanseringen.
SKU:er (Security Compute Units) De etablerade kapacitetsenheter som mäter och hanterar de beräkningsresurser som förbrukas av Microsoft Security Copilot. Åtkomst till Copilot i Defender kräver etablerad SCU-kapacitet.
Security Copilot Microsofts säkerhetsplattform som samlar AI och mänsklig expertis för att hjälpa säkerhetsteam att reagera på hot snabbare och mer effektivt. Copilot i Defender är den inbäddade upplevelsen av Security Copilot i Microsoft Defender-portalen.

Viktiga funktioner

De viktigaste funktionerna i följande tabell beskriver vad Microsoft Copilot i Microsoft Defender är utformad för att göra och hur den fungerar för alla aktiviteter som stöds.

Funktion Beskrivning
Sammanfattning av incidenter Copilot genererar automatiskt en kortfattad sammanfattning när en analytiker öppnar en incident, inklusive tidslinjen för attacker, berörda tillgångar, indikatorer på kompromisser och namn på hotskådespelare. Detta hjälper analytiker att omedelbart förstå omfattningen och allvarlighetsgraden för en attack utan att granska varje avisering manuellt. Sammanfattningar kan innehålla upp till 100 korrelerade aviseringar och cachelagras i upp till en vecka utan extra beräkningskostnad om incidenten inte har ändrats.

Mer information finns i Sammanfatta en incident med Microsoft Copilot i Microsoft Defender.
Guidade svar Copilot tillhandahåller sammanhangsbaserade, AI-genererade rekommendationer som hjälper analytiker att svara på incidenter. Rekommendationerna är ordnade i fyra kategorier: prioritering (klassificera incidenten), inneslutning (förhindra att attacken sprids), undersökning (ytterligare analyssteg) och reparation (specifika svarsåtgärder för berörda entiteter). Administratörer kan också ladda upp organisationsspecifika svarsriktlinjer för att anpassa rekommendationerna till sin miljö.

Mer information finns i Använda guidade svar med Copilot i Microsoft Defender.
Skript- och kommandoradsanalys Copilot analyserar potentiellt skadliga eller dolda skript, till exempel PowerShell-kommandorader, och ger en tydlig förklaring av vad skriptet gör, om det är skadligt och vilka MITRE ATT-&CK-tekniker som används. Detta minskar behovet av externa analysverktyg och gör det möjligt för analytiker med varierande erfarenhet att utvärdera hot snabbt.

Mer information finns i Skriptanalys med Microsoft Copilot i Microsoft Defender.
Filanalys Copilot utvärderar misstänkta filer genom att generera en sammanfattning som innehåller identifieringsinformation, relaterade filcertifikat, en lista över API-anrop och strängar som finns i filen. Analysresultat genereras automatiskt när en analytiker öppnar en filsida, vilket påskyndar undersökningen av potentiellt skadliga filer.

Mer information finns i Filanalys med Microsoft Copilot i Microsoft Defender.
Enhetssammanfattning Copilot genererar en sammanfattning av en enhets säkerhetsstatus, inklusive status för skyddsfunktioner som minskning av attackytan och manipuleringsskydd, ovanlig användaraktivitet, en lista över sårbar programvara, brandväggsinställningar och relevant Microsoft Intune information. Detta gör det möjligt för analytiker att snabbt utvärdera om en enhet är i fara.

Mer information finns i Enhetssammanfattning med Microsoft Copilot i Microsoft Defender.
Identitetssammanfattning Copilot ger en sammanhangsbaserad översikt över en användaridentitet, inklusive datum för kontoskapande, allvarlighetsnivå, roll- och rolländringar, inloggningsbeteenden och mönster, autentiseringsmetoder, risker från Microsoft Entra ID och kontaktinformation. Detta hjälper analytiker att snabbt bedöma om ett användarkonto komprometteras eller är i fara.

Mer information finns i Sammanfatta identitetsinformation med Microsoft Copilot i Microsoft Defender.
Incidentrapportgenerering Copilot sammanställer all incidentinformation, inklusive hanteringsåtgärder, tidsstämplar, berörda analytiker, klassificeringsskäl, undersöknings- och reparationsåtgärder samt uppföljningsrekommendationer till en strukturerad rapport som kan exporteras till PDF eller publiceras i en incidentaktivitetslogg.

Mer information finns i Skapa en incidentrapport med Microsoft Copilot i Microsoft Defender.
Fråga assistent med naturligt språk Copilot konverterar frågor om hotjakt på naturligt språk till färdiga KQL-frågor för användning i avancerad jakt. Detta minskar den tid och expertis som krävs för att skriva jaktfrågor från grunden, vilket gör det möjligt för analytiker att fokusera på hotundersökning i stället för frågesyntax.

Mer information finns i Skapa KQL-frågor för jakt med hjälp av Microsoft Copilot i Microsoft Defender.
Information om hotinformation Informationsagenten för hotinformation samlar in och syntetiserar relevanta hotinformationsdata autonomt och levererar anpassade genomgångar som innehåller den senaste hotaktörens aktivitet, sårbarhetsinformation och aktiv sårbarhetsinformation. Genomgångar kan schemaläggas eller genereras på begäran och kan anpassas efter insiktsdjup, återblicksperiod, region och bransch.

Mer information finns i Informationsagent för hotinformation.
Sortering av säkerhetsaviseringar Triage-agenten för säkerhetsaviseringar är en autonom agent som hjälper säkerhetsteam att sortera aviseringar i stor skala. Den tillämpar AI-drivna, dynamiska resonemang över bevis för att leverera tydliga omdömen för säkerhetsarbetsbelastningar som stöds, inklusive nätfiske, identiteter och molnaviseringar. Genom att identifiera vilka aviseringar som representerar verkliga attacker och vilka som är falska positiva identifieringar gör agenten det möjligt för analytiker att fokusera på att undersöka verkliga hot, med transparenta, stegvisa resonemang som stöder varje beslut.

Mer information finns i Triage Agent för säkerhetsaviseringar i Microsoft Defender.
Dynamisk hotidentifiering Dynamic Threat Detection Agent är en alltid aktiv, anpassningsbar serverdelstjänst som använder AI för att identifiera luckor i traditionell regelbaserad identifiering genom att korrelera aviseringar, händelser, avvikelser och hotinformation i Microsoft Defender och Microsoft Sentinel miljöer. När ett dolt hot identifieras genererar agenten en dynamisk avisering med fullständig kontext, förklaringar av naturligt språk, mappade MITRE ATT-&CK-tekniker och skräddarsydda reparationssteg.

Mer information finns i Dynamic Threat Detection Agent i Microsoft Defender.
Analys av hotinformation Copilot konsoliderar och sammanfattar hotinformation så att säkerhetsteam kan prioritera hot baserat på exponeringsnivåer, förstå hotaktörer som kan rikta sig mot sin bransch och hålla sig informerade om nya sårbarheter och kampanjer.

Mer information finns i Microsoft Defender Hotinformation.
Defender Chat-upplevelse (förhandsversion) En chatt med öppen uppmaning assistent som möjliggör konversationer med naturligt språk direkt i Microsoft Defender-portalen. Det ger sidkontextmedvetenhet så att analytiker kan ställa uppföljningsfrågor om den aktuella incidenten, aviseringen, enheten eller entiteten utan att ange ID:n eller namn. Chatten har fullständig konversationshistorik, kan presentera stegvisa undersökningsplaner för komplexa begäranden och stöder export av svar för ytterligare analys. Den här förhandsversionen är ännu inte tillgänglig i Australien eller Nya Zeeland.

Mer information finns i Microsoft Security Copilot och chatta i Microsoft Defender.

Avsedda användningsområden

Microsoft Copilot i Microsoft Defender kan användas i flera scenarier i olika branscher. Några exempel på användningsfall är:

  • Snabbare incidentundersökning och incidenthantering: En säkerhetsanalytiker på en organisation för finansiella tjänster får en incidentavisering med hög allvarlighetsgrad som omfattar flera korrelerade aviseringar mellan slutpunkter och e-post. Med Hjälp av Copilot får analytikern omedelbart en sammanfattning av attackens tidslinje, berörda tillgångar och indikatorer på kompromisser. Copilot ger sedan guidade svarsrekommendationer för att begränsa hotet och åtgärda berörda system, vilket minskar undersökningstiden från timmar till minuter och möjliggör snabbare inneslutning av attacken.

  • Prioritera användarrapporterat nätfiske i stor skala: Ett stort företag får hundratals användarrapporterade nätfiskemeddelanden varje dag. Nätfisketriageagenten utvärderar autonomt varje överföring, klassificerar den som ett verkligt hot eller en falsk positiv identifiering och ger en naturlig språkgrund för dess bestämning. SOC-analytiker kan sedan fokusera sin tid på bekräftade hot snarare än att manuellt granska varje rapporterad e-post, vilket förbättrar både svarshastigheten och analytikernas effektivitet.

  • Gör det möjligt för yngre analytiker att utföra avancerad hotjakt: En myndighets SOC-team inkluderar analytiker som ännu inte är skickliga i KQL. Med hjälp av frågan om naturligt språk assistent kan dessa analytiker beskriva vad de letar efter på klar engelska, och Copilot genererar lämplig KQL-fråga. Detta gör det möjligt för mindre erfarna teammedlemmar att delta i proaktiv hotjakt tillsammans med seniora analytiker, vilket breddar teamets täckning utan ytterligare utbildningskostnader.

  • Analysera dolda skript och misstänkta filer: Under en undersökning av en potentiell utpressningstrojanattack stöter en analytiker på ett fördunklat PowerShell-skript. I stället för att förlita sig på externa analysverktyg eller vänta på en senior teammedlem använder analytikern Copilots skriptanalysfunktion för att få en klarspråkig förklaring av skriptets beteende, dess risknivå och MITRE ATT-&CK-tekniker som används. Detta förkortar avsevärt tiden för att avgöra om skriptet är skadligt och vilka reparationssteg som behövs.

  • Håll dig före nya hot med informationsgenomgångar: Ett säkerhetsteam på en sjukvårdsorganisation vill hålla sig informerade om hotaktörer och sårbarheter som är relevanta för deras bransch. Informationsagenten för hotinformation levererar schemalagda, anpassade genomgångar som sammanfattar den senaste aktiviteten för hotskådespelare, exploateringstrender och avslöjande av sårbarheter, vilket gör det möjligt för teamet att proaktivt justera sitt försvar och prioritera korrigeringsinsatser.

  • Effektivisera incidentdokumentation och rapportering: När du har löst en komplex incident med flera aviseringar måste ett säkerhetsteam ta fram en detaljerad incidentrapport för efterlevnad och granskning av chefer. Copilot sammanställer automatiskt incidentens tidslinje, svarsåtgärder, berörda analytiker och klassificeringsskäl till en strukturerad rapport som kan exporteras till PDF, vilket sparar analytiker betydande tid på dokumentationen.

  • Utvärdera identitets- och enhetsrisk under undersökningar: När en analytiker undersöker en misstänkt inloggningsincident använder han Copilot för att generera en identitetssammanfattning som visar användarens roll, de senaste rolländringarna, inloggningsmönster och riskflaggor från Microsoft Entra ID. Analytikern genererar också en enhetssammanfattning för slutpunkten som berörs och avslöjar sårbar programvara och ovanlig aktivitet. Tillsammans gör dessa sammanfattningar det möjligt för analytikern att snabbt fastställa omfattningen av kompromissen och vidta riktade åtgärder.

Modeller och träningsdata

Microsoft Defender utökar Microsoft Security Copilot och utnyttjar befintliga agenter och underliggande AI-modeller. Därför är den beroende av alla externa konfigurationer som dessa tillhandahåller. Till exempel modellval för Microsoft Security Copilot för den inbäddade frågan om naturligt språk. Mer information finns i vanliga frågor och svar om Microsoft Security Copilot ansvarsfull AI.

Kunddata delas inte med OpenAI eller används för att träna Azure OpenAI Foundation-modeller. Administratörer har fullständig kontroll över hur organisationens data används, inklusive om microsoft ska kunna samla in data för produktvalidering eller förbättra AI-modellens säkerhet. Inställningar för datadelning kan konfigureras när som helst och kunddata lagras på den geografiska plats som valts under installationen. Detaljerad information om kontroller för datahantering, lagring, kvarhållning och delning finns i Sekretess och datasäkerhet i Microsoft Security Copilot.

Prestanda

Microsoft Copilot i Microsoft Defender är utformat för att fungera tillförlitligt i en rad olika arbetsflöden för säkerhetsundersökningar och svar i Microsoft Defender-portalen. Programmet fungerar i miljöer där säkerhetsanalytiker interagerar med incidentdata, aviseringar, hotinformation, enhet och identitetsinformation, filmetadata och skript. Copilot bearbetar textbaserade indata, inklusive frågor på naturligt språk, skriptinnehåll och strukturerade säkerhetsdata, och genererar textbaserade utdata som sammanfattningar, rekommendationer, KQL-frågor, rapporter och klassificeringsutfall. Den bearbetar eller genererar inte bild-, video- eller ljudinnehåll.

Programmet är utformat och utvärderat främst för användning på engelska. Analytiker som skickar frågor och granskar Copilot-genererade utdata på engelska kan förvänta sig den högsta nivån av noggrannhet och konsekvens. Även om Microsoft Defender-portalen stöder flera språk för sitt bredare gränssnitt är Copilots funktioner för förståelse av naturligt språk och generering optimerade för engelska. Om du använder språk som inte stöds kan det leda till minskad noggrannhet eller mindre relevanta utdata, och användarna bör vara försiktiga när de arbetar utanför det avsedda språkomfånget.

Copilot i Defender presterar bäst när analytiker interagerar med den i de avsedda undersökningsarbetsflödena, till exempel att öppna en incidentsida för att få en sammanfattning, begära guidade svar under prioriteringen eller ange en fråga med naturligt språk i den avancerade jaktfrågan assistent. Programmet använder data från de arbetsbelastningar som Microsoft Defender övervakar, inklusive Microsoft Defender för Endpoint, Microsoft Defender for Identity, Microsoft Defender för Office 365, Microsoft Defender for Cloud Apps och Microsoft Defender – hantering av säkerhetsrisker samt Microsoft Sentinel data när de är tillgängliga. Kvaliteten och fullständigheten i Copilot-utdata beror på tillgängligheten och rikedomen av data i kundens miljö.

Prestanda påverkas också av indatans komplexitet. Enkla, tydligt begränsade frågor tenderar att ge mer exakta och användbara resultat, medan frågor som är tvetydiga, extremt långa eller utanför säkerhetsdomänen kan ge mindre relevanta utdata. För autonoma agenter som Phishing Triage Agent och Dynamic Threat Detection Agent mäts prestanda genom precision och identifieringsprecision för klassificering, med kontinuerlig förbättring som drivs av analytikernas feedback och pågående modellförfining.

Begränsningar

Det är viktigt att förstå Microsoft Copilot i Microsoft Defender begränsningar för att avgöra om den används inom säkra och effektiva gränser. Vi uppmuntrar kunderna att utnyttja Microsoft Copilot i Microsoft Defender i sina innovativa lösningar eller program, men det är viktigt att notera att Microsoft Copilot i Microsoft Defender inte har utformats för alla möjliga scenarier. Vi rekommenderar att användarna refererar till antingen Microsoft Enterprise AI Services Uppförandekod (för organisationer) eller uppförandekodavsnittet i Microsoft-tjänsteavtalet (för enskilda personer) samt följande överväganden när de väljer ett användningsfall:

  • Säkerhetsdomänomfång: Microsoft Copilot i Microsoft Defender är utformat för att generera svar relaterade till säkerhetsdomänen, till exempel incidentundersökning, hotinformation och hotjakt. Promptar utanför säkerhetsomfånget kan resultera i svar som saknar noggrannhet och fullständighet. Användarna bör se till att deras användning av Copilot är begränsad till säkerhetsrelaterade uppgifter i Microsoft Defender portalen.

  • Språkoptimering på engelska: Copilot i Defender utvecklades och utvärderades främst på engelska. Om du använder språk som inte stöds kan det leda till minskad noggrannhet, mindre relevanta utdata eller ofullständiga svar. Användarna bör vara försiktiga när de arbetar utanför det avsedda språkomfånget och kontrollera utdata noggrant i dessa scenarier.

  • Noggrannhet för kodgenerering: Copilot i Defender kan generera kod eller inkludera kodfragment, till exempel KQL-frågor, i sina svar. Även om dessa utdata verkar giltiga kanske de inte alltid är semantiskt eller syntaktiskt korrekta, eller så återspeglar de kanske inte analytikerns avsikt korrekt. Användarna bör alltid granska, testa och verifiera all genererad kod innan de använder den i produktion, enligt samma försiktighetsåtgärder som med all kod som de inte skapade oberoende: rigorös testning, IP-genomsökning och kontroll av säkerhetsrisker.

  • Begränsningar för frågas längd: Systemet kanske inte kan bearbeta mycket långa uppmaningar, till exempel de som innehåller hundratusentals tecken. Analytiker bör hålla prompterna kortfattade och väl omfångsbegränsade för bästa resultat.

  • Svarstid och kapacitet: Att generera och verifiera svar kan ta tid, upp till flera minuter i vissa fall, och kräver betydande beräkningskapacitet. Användningen kan vara föremål för kapacitetsbegränsning, särskilt under perioder med hög efterfrågan. Användare bör planera för potentiella fördröjningar när de förlitar sig på Copilot för tidskänsliga uppgifter.

  • AI-genererad utdatanoggrannhet: Precis som alla AI-baserade tekniker får Copilot i Defender inte allt rätt. Utdata kan vara felaktiga, ofullständiga, partiska eller feljusterade med analytikerns avsikt. Detta kan inträffa på grund av tvetydigheter i indata, begränsningar för de underliggande modellerna eller luckor i tillgängliga data. Användare bör alltid granska Copilot-genererat innehåll innan de agerar på det och använda de inbyggda feedbackverktygen för att rapportera felaktiga eller problematiska utdata.

  • Matchar med offentlig kod: Copilot i Defender genererar kod probabilistiskt, och även om sannolikheten för att producera kod som matchar offentligt tillgänglig kod är låg är det möjligt. Användarna bör vidta försiktighetsåtgärder för att säkerställa lämplighet och originalitet, inklusive rigorös testning, IP-genomsökning och kontroll av säkerhetsrisker.

  • Inte en ersättning för mänskligt omdöme: Copilot i Defender är utformat för att hjälpa, inte ersätta, säkerhetsanalytiker. Alla rekommendationer, sammanfattningar och klassificeringar bör granskas av en kvalificerad analytiker innan åtgärder vidtas, särskilt för följdbeslut som inneslutning, reparation eller eskalering.

Recensioner

Prestanda- och säkerhetsutvärderingar utvärderar om AI-program fungerar tillförlitligt och säkert genom att undersöka faktorer som grundinställning, relevans och konsekvens samtidigt som riskerna med att generera skadligt innehåll identifieras. Följande utvärderingar har genomförts med säkerhetskomponenter som redan finns på plats, som även beskrivs i Säkerhetskomponenter och säkerhetsreducerande åtgärder.

Utvärderingar av prestanda och kvalitet

Prestandautvärderingar för AI-program är viktiga för att förbättra deras tillförlitlighet i verkliga program. Mått som grund, relevans och konsekvens hjälper till att utvärdera noggrannheten och konsekvensen i AI-genererade utdata, så att de faktiskt stöds i scenarier med jordat innehåll, sammanhangsmässigt lämpligt och logiskt strukturerat. För Microsoft Copilot i Microsoft Defender genomförde vi prestandautvärderingar för följande mått, som är tillgängliga via Microsoft Foundry:

  • Grundstötning
  • Samstämmighet
  • Flyt
  • Likhet

Utvärderingsmetoder för prestanda och kvalitet

Prestandautvärderingar för Microsoft Copilot i Microsoft Defender utfördes på textbaserade utdata som genererades över alla funktioner som stöds, inklusive incidentsammanfattning, guidade svar, skript- och filanalys, identitets- och enhetssammanfattning, KQL-frågegenerering och informationsgenomgångar för hotinformation. Utvärderingar använde AI-assisterade automatiserade utvärderare som är tillgängliga via Microsoft Foundry, tillämpade mot organiserade datauppsättningar med realistiska säkerhetsundersökningsscenarier som hämtas från syntetiska och representativa verkliga indata.

Groundedness mäter om genererade utdata faktiskt stöds av de källdata som är tillgängliga i miljön, till exempel incidentaviseringar, hotinformationssignaler och säkerhetstelemetri. Ett idealiskt resultat är ett resultat där alla anspråk i utdata kan spåras till och överensstämmer med underliggande data. Ett icke-optimalt resultat innehåller anspråk som är fabricerade, hallucinerade eller inkonsekventa med källdata som tillhandahålls till modellen.

Konsekvens mäter den logiska strukturen, tydligheten och den interna konsekvensen för genererade utdata. Ett idealiskt resultat är välorganiserat, lätt att följa och fritt från motsägelser. Ett icke-optimalt resultat är osammanhängande, självsägande eller svårt för en analytiker att tolka och agera på.

Fluency mäter den grammatiska korrektheten och språkkvaliteten hos genererad text. Ett idealiskt resultat läser naturligt och är fritt från grammatiska fel eller besvärliga konstruktioner. Ett suboptimalt resultat innehåller grammatiska misstag eller frasering som hindrar läsbarhet eller analytikerförståelse.

Likheten mäter graden av justering mellan genererade utdata och referensutdata som tagits fram av ämnesexperter för samma indata. Ett idealiskt resultat speglar noggrant avsikten, täckningen och noggrannheten hos expertreferensen. Ett icke-optimalt resultat avviker avsevärt från det förväntade svaret i innehåll, omfattning eller noggrannhet.

Varje mått har poängsatts i numerisk skala med hjälp av AI-assisterade domare kalibrerade mot mänskliga anteckningar. Utvärderingar kördes iterativt över datauppsättningsuppdateringar för att spåra kvalitet över tid och stödja kontinuerliga förbättringar.

Risk- och säkerhetsutvärderingar

Det är viktigt att utvärdera potentiella risker som är kopplade till AI-genererat innehåll för att skydda mot innehållsrisker med varierande allvarlighetsgrad. Detta inkluderar utvärdering av ett AI-programs predisposition för att generera skadligt innehåll eller testa sårbarheter för jailbreak-attacker. För Microsoft Copilot i Microsoft Defender genomförde vi risk- och säkerhetsutvärderingar för följande mått som är tillgängliga via Microsoft Foundry:

  • Hat och orättvisa
  • Sexuella
  • Våld
  • Självskadebeteende
  • Skyddat material
  • Indirekt jailbreak
  • Direkt jailbreak
  • Säkerhetsrisk för kod
  • Ojordade attribut

Metoder för risk- och säkerhetsutvärdering

Risk- och säkerhetsutvärderingar för Microsoft Copilot i Microsoft Defender genomfördes med hjälp av adversariella datamängder och AI-assisterade klassificerare som är tillgängliga via Microsoft Foundry, tillämpade på textbaserade indata och utdata. Kontradiktoriska uppmaningar utformades för att simulera försök att framkalla skadligt, principöverträdande eller innehåll utanför ämnet i en rad olika riskkategorier. Utdata poängsatts för förekomsten av sådant innehåll med hjälp av klassificerare som tränats och kalibrerats enligt Microsofts säkerhetsstandarder.

Hat och orättvisa utvärderar om utdata innehåller nedsättande, diskriminerande eller skadligt innehåll som riktar sig till individer eller grupper baserat på skyddade egenskaper. Ett idealiskt resultat innehåller inget sådant innehåll. Ett icke-optimalt resultat innehåller språk som förnedrar, stereotyper eller orättvist karakteriserar individer eller grupper.

Sexuellt utvärderar om utdata innehåller sexuellt explicit eller olämpligt innehåll. Ett idealiskt resultat innehåller inget sådant innehåll. Ett icke-optimalt resultat innehåller språk av sexuell natur som är olämpligt för en professionell säkerhetsåtgärdskontext.

Våld utvärderar om utdata innehåller innehåll som förhärligar, instruerar eller uppmuntrar till våldshandlingar. Ett idealiskt resultat innehåller inget sådant innehåll. Ett icke-optimalt resultat omfattar språk som främjar eller underlättar skada för individer eller grupper.

Självskadebeteende utvärderar om utdata innehåller innehåll som främjar, instruerar eller uppmuntrar till självskadande beteende. Ett idealiskt resultat innehåller inget sådant innehåll. Ett icke-optimalt resultat innehåller språk som kan bidra till självskadebeteende.

Skyddat material utvärderar om utdata återskapar upphovsrättsskyddad text, kod eller annat skyddat innehåll ordagrant eller på ett sätt som skapar juridisk exponering. Ett idealiskt resultat återskapar inte skyddat material. Ett icke-optimalt resultat innehåller ordagrann reproduktion av skyddat innehåll från tredje part.

Indirekt jailbreak utvärderar programmets motståndskraft för att uppmana till inmatningsattacker inbäddade i externt innehåll, till exempel data som hämtats från e-postmeddelanden, dokument eller säkerhetsaviseringar, som försöker omdirigera modellens beteende. Ett idealiskt resultat är ett resultat där modellen inte följer inmatade instruktioner. Ett icke-optimalt resultat är ett resultat där inmatade instruktioner ändrar modellens utdata eller beteende.

Direkt jailbreak utvärderar programmets motståndskraft mot explicita försök från användare att kringgå säkerhetsbegränsningar, åsidosätta systeminstruktioner eller framkalla innehåll utanför programmets avsedda omfattning. Ett idealiskt resultat är ett resultat där modellen vägrar eller hanterar sådana försök på lämpligt sätt. Ett icke-optimalt resultat är ett resultat där modellen följer instruktioner som är utformade för att kringgå säkerhetskontroller.

Sårbarheten i koden utvärderar om genererade kodutdata, till exempel KQL-frågor eller skriptfragment, innehåller säkerhetsproblem som kan utsätta analytikern eller deras miljö för risker. Ett perfekt resultat är kod som är fri från sårbarheter som kan utnyttjas. Ett icke-optimalt resultat innehåller kod med kända sårbarhetsmönster, till exempel inmatningsrisker eller osäkra konstruktioner.

Ojordade attribut utvärderar om utdata tilldelar egenskaper, beteenden eller attribut till entiteter, till exempel användare, enheter eller hotaktörer, som inte stöds av underliggande data. Ett idealiskt resultat attribut endast vad som visas i tillgängliga säkerhetsdata. Ett icke-optimalt resultat fabricerar eller härleder attribut utan bevisgrund, vilket kan leda till att en analytiker drar felaktiga slutsatser.

Varje mått har poängsatts med HJÄLP av AI-assisterade klassificerare, med poäng kalibrerade mot mänskliga anteckningar. Utvärderingarna genomfördes iterativt och informerade utformningen av säkerhetsreducerande åtgärder som beskrivs i Säkerhetskomponenter och åtgärder.

Utvärderingsdata för kvalitet och säkerhet

Våra utvärderingsdata är specialbyggda för att utvärdera AI-programprestanda inom viktiga områden av säkerhet och kvalitet, vilket simulerar verkliga scenarier och risker. Vi börjar med att identifiera relevanta utvärderingsaspekter av intresse baserat på tvärvetenskaplig forskning och expertinmatning. Dessa problem översätts till målinriktade utvärderingsmål och guideformulering av utvärderingsmått. För säkerhet skapar vi kontradiktoriska uppmaningar för att få oönskade eller kantfallssvar, som sedan poängsätts med hjälp av AI-assisterade anteckningar som tränats för att bedöma anpassningen till Microsofts säkerhetsstandarder. För kvalitet skapar vi rubric-based prompter som är relevanta för scenarier, inklusive utvärdering av RAG-program och agenter (hämtningsförhöjd generation). Datauppsättningar kureras från olika källor, inklusive syntetiska och offentliga datamängder för att simulera verkliga användarscenarier. Med hjälp av de granskade datauppsättningarna genomgår båda utvärderingarna iterativ förfining och mänsklig anpassning för att förbättra måttets effektivitet och tillförlitlighet. Den här metoden utgör grunden för repeterbara, rigorösa utvärderingar som återspeglar hur kunderna använder utvärderingar för att skapa bättre och säkrare AI.

Anpassade utvärderingar

Microsoft Copilot i Microsoft Defender genomgick betydande anpassad utvärdering och testning före lanseringen. Detta inkluderade omfattande röd teamindelning, en praxis där dedikerade team noggrant testar produkten för att identifiera fellägen och scenarier som kan få programmet att producera utdata utanför dess avsedda användning eller som inte överensstämmer med Microsoft AI-principerna. Röda teamindelningsövningar utformades för att utvärdera programmets motståndskraft mot kontradiktoriska indata, försök att framkalla skadligt eller ämnesbaserat innehåll och scenarier med gränsfall som kan äventyra säkerheten eller tillförlitligheten.

Förutom röd teamindelning genomförde Microsoft iterativ testning över hela utbudet av Copilot i Defender-funktioner, inklusive incidentsammanfattning, guidade svar, skriptanalys, filanalys, identitets- och enhetssammanfattning, KQL-frågegenerering och informationsgenomgångar för hotinformation. Dessa utvärderingar bedömde noggrannheten, grunderna, relevansen och konsekvensen hos genererade utdata mellan textbaserade metoder (naturligt språk och KQL-kod). Ett idealiskt resultat är ett resultat som är sakligt korrekt, grundat i tillgängliga säkerhetsdata, relevanta för analytikerns fråga och tydligt strukturerade. Ett icke-optimalt resultat skulle vara ett resultat som är sakligt felaktigt, som inte stöds av data, irrelevant för analytikerns avsikt eller svårt att följa.

Ett program för tidig åtkomst med endast inbjudan gav en ytterligare utvärderingsmekanism som gjorde det möjligt för verkliga användare att interagera med programmet och ge strukturerad feedback före allmän tillgänglighet. Användarfeedback, som samlas in via knapparna "Off-target", "Report" och "Confirm" för varje Copilot-svar, är en pågående utvärderingssignal som Microsoft använder för att identifiera kvalitetsproblem och driva på kontinuerliga förbättringar. För autonoma agenter, till exempel Phishing Triage Agent, innehåller utvärderingen även klassificeringsnoggrannhetsmått och analytikernas feedback om prioriteringsbeslut för att kontinuerligt förfina agentens prestanda.

Säkerhetskomponenter och åtgärder

  • Red teamindelning och kontradiktorisk testning: Före lanseringen genomförde Microsoft omfattande röd teamindelning för att identifiera fellägen och villkor under vilka programmet kunde generera utdata utanför det avsedda omfånget. Dedikerade team simulerade kontradiktoriska indata, jailbreak-försök och scenarier med gränsfall för att utvärdera programmets motståndskraft och informera utformningen av säkerhetskontroller.

  • Design av människor i loopen: Copilot i Defender håller människor i centrum för alla arbetsflöden. Alla genererade utdata, inklusive sammanfattningar, rekommendationer, klassificeringar och kod, presenteras för analytiker för granskning innan några åtgärder vidtas. Den här designen säkerställer att mänsklig bedömning är den slutliga beslutspunkten för alla säkerhetsåtgärder.

  • Innehållsfiltrering och säkerhetssystem: Ett säkerhetssystem med flera lager är utformat för att minimera generering av skadligt innehåll och förhindra missbruk. Detta inkluderar skadlig innehållsanteckning, innehållsklassificerare och inbyggda skydd som visar både indata och utdata för innehåll utanför ämnet, skadligt eller på annat sätt olämpligt innehåll.

  • Driftövervakning: Microsoft övervakar kontinuerligt copilots driftprestanda i Defender för att identifiera avvikelser, försämrad prestanda och potentiell missbruk. Den här övervakningen möjliggör snabb identifiering och lösning av problem som kan påverka programmets kvalitet eller säkerhet.

  • Mekanism för användarfeedback: Varje Copilot-svar innehåller feedbackkontroller, särskilt knapparna "Off-target", "Report" och "Confirm", som gör det möjligt för analytiker att flagga felaktiga, ofullständiga eller stötande utdata. Den här feedbacken går direkt till Microsoft och används för att förbättra programmets kvalitet och säkerhet över tid.

  • Tillämpning av omfångsgräns: Copilot i Defender är utformat för att endast svara på frågor som rör säkerhetsdomänen. Promptar som omfattas av säkerhetsåtgärder, till exempel förfrågningar om orelaterade allmänna kunskaper eller icke-säkerhetsrelaterade uppgifter, hanteras med lämpliga skyddsmekanismer för att minska risken för att generera icke-ämnesbaserat eller vilseledande innehåll.

  • Rollbaserad åtkomst och behörigheter: Åtkomst till Copilot i Defender styrs av rollbaserade åtkomstkontroller. Användare måste ha etablerad åtkomst till Microsoft Security Copilot, och specifika funktioner och agenter kräver ytterligare behörigheter, till exempel säkerhetsläsare, säkerhetsadministratör eller specifika Microsoft Entra roller. Detta begränsar exponeringen för behörig personal och tillämpar principen om lägsta behörighet.

  • Transparent resonemang för autonoma agenter: För agentiska funktioner som nätfisketriageagenten ger programmet en transparent motivering för klassificeringsutfallet på naturligt språk med information om resonemanget och bevisen bakom slutsatser. En visuell representation av resonemangsprocessen är också tillgänglig, vilket gör det möjligt för analytiker att förstå och verifiera agentens beslutsprocess.

  • Feedbackslinga för analytiker för agentisk AI: Analytiker kan ge feedback om autonoma agentklassificeringar, till exempel beslut om nätfisketriage. Med tiden hjälper den här feedbacken till att förfina agentens beteende för att bättre återspegla organisationens kontext, minska falska positiva identifieringar och förbättra klassificeringsprecisionen.

  • Efterlevnad av EU AI Act: Microsoft har åtagit sig att följa EU:s AI-lag. Programmet har utvecklats i enlighet med Microsofts ansvarsfulla AI-standard, som står för regelförslag, inklusive EU AI Act. Mer information finns i Microsofts efterlevnad av EU AI Act.

Metodtips för att distribuera och implementera Microsoft Copilot i Microsoft Defender

Ansvarsfull AI är ett delat åtagande mellan Microsoft och dess kunder. Microsoft skapar AI-program med säkerhet, rättvisa och transparens i grunden, men kunderna spelar en viktig roll när det gäller att distribuera och använda dessa tekniker på ett ansvarsfullt sätt i sina egna sammanhang. För att stödja det här samarbetet erbjuder vi följande metodtips för distribuerare och slutanvändare för att hjälpa kunder att implementera ansvarsfull AI effektivt.

Distribuerare och slutanvändare bör:

  • Var försiktig och utvärdera resultat när du använder Microsoft Copilot i Microsoft Defender för följdbeslut eller inom känsliga områden: Följdbeslut är sådana som kan ha en rättslig eller betydande inverkan på en persons tillgång till utbildning, sysselsättning, finansiella plattformar, statliga förmåner, hälso- och sjukvård, bostäder, försäkring, juridiska plattformar eller som kan leda till fysisk, psykisk eller ekonomisk skada. Känsliga områden som finansiella plattformar, hälso- och sjukvård och bostäder kräver särskild vård på grund av risken för oproportionerlig påverkan på olika grupper av människor. När du använder AI för beslut inom dessa områden ska du se till att berörda intressenter kan förstå hur beslut fattas, överklaga beslut och uppdatera relevanta indata.

  • Utvärdera juridiska och regelmässiga överväganden: Kunder måste utvärdera potentiella specifika juridiska och regelmässiga skyldigheter när de använder ai-plattformar och lösningar, som kanske inte är lämpliga för användning i alla branscher eller scenarion. Dessutom är AI-plattformar eller lösningar inte utformade för och får inte användas på sätt som är förbjudna i tillämpliga användningsvillkor och relevanta uppförandekoder.

Slutanvändare bör:

  • Utöva mänsklig tillsyn när det är lämpligt: Mänsklig tillsyn är ett viktigt skydd när du interagerar med AI-program. Även om vi ständigt förbättrar våra AI-program kan AI fortfarande göra misstag. Utdata som genereras kan vara felaktiga, ofullständiga, partiska, feljusterade eller irrelevanta för dina avsedda mål. Detta kan inträffa på grund av olika orsaker, till exempel tvetydighet i indata eller begränsningar för de underliggande modellerna. Därför bör användarna granska svaren som genereras av Microsoft Copilot i Microsoft Defender och kontrollera att de matchar deras förväntningar och krav.

  • Var medveten om risken för övertillit: Övertro på AI sker när användare accepterar felaktiga eller ofullständiga AI-utdata, främst för att misstag i AI-utdata kan vara svåra att identifiera. För slutanvändare kan övertro leda till minskad produktivitet, förlust av förtroende, övergivande av program, ekonomisk förlust, psykisk skada eller fysisk skada. Säkerhetsanalytiker bör behandla Copilot-utdata som en startpunkt för undersökning, inte som ett slutgiltigt beslut, och bör oberoende verifiera kritiska resultat innan de vidtar följdåtgärder.

  • Var försiktig när du utformar agentisk AI i känsliga domäner: Användarna bör vara försiktiga när de utformar och/eller distribuerar agentiska AI-program i känsliga domäner där agentåtgärder inte kan ångras eller är mycket följdriktiga. Ytterligare försiktighetsåtgärder bör också vidtas när du skapar autonom agentisk AI enligt beskrivningen i antingen Microsoft Enterprise AI Services Code of Conduct (för organisationer) eller i avsnittet Uppförandekod i Microsoft-tjänsteavtalet (för enskilda personer).

  • Ge feedback för att förbättra Copilot-kvaliteten: När ett svar är felaktigt, ofullständigt eller oklart använder du knapparna "Off-target" och "Report" för att flagga problematiska utdata. När svaren är användbara och korrekta använder du knappen "Bekräfta". Dessa feedbackkontroller visas längst ned i varje Copilot-svar och hjälper Microsoft att kontinuerligt förbättra programmets prestanda.

  • Använd tydliga och specifika frågor: För bästa resultat skickar du frågor som är koncisa, sammanhangsrika och relaterade till säkerhetsdomänen. I stället för en vag fråga som "Berätta om hot" frågar du till exempel "Sammanfatta de senaste hotaktörerna som riktar sig mot sjukvården under de senaste 30 dagarna". Specifika uppmaningar hjälper Copilot att generera mer exakta och användbara resultat.

  • Övervaka prestandaavvikelser: Om du ser en minskning av kvaliteten på Copilot-utdata över tid rapporterar du problemet med hjälp av feedbackverktygen. Konsekvent feedback hjälper Microsoft att identifiera och åtgärda prestandaavvikelser i användarbasen.

Distribuerare bör:

  • Se till att åtkomstetablering och rolltilldelning är rätt: Innan du distribuerar Copilot i Defender ska du se till att användarna har etablerat åtkomst till Microsoft Security Copilot med tillräcklig kapacitet för säkerhetsberäkningsenheter. Tilldela rollbaserade behörigheter med principen om lägsta behörighet så att analytiker, administratörer och agenter bara har den åtkomst som krävs för deras ansvarsområden. För agentfunktioner som nätfisketriageagenten och hotinformationsagenten kontrollerar du att nödvändiga Microsoft Entra roller och krav uppfylls innan du aktiverar dessa funktioner.

  • Ladda upp riktlinjer för organisationsspecifikt svar: Administratörer kan ladda upp anpassade svarsriktlinjer som Copilot använder för att skräddarsy guidade svarsrekommendationer efter organisationens principer och procedurer. Detta säkerställer att Copilots rekommendationer överensstämmer med organisationens säkerhetsstatus och driftskrav.

  • Konfigurera inställningarna för incidentsammanfattning på rätt sätt: Copilots automatiska sammanfattning av incidenter kan konfigureras för att köra "Always", "Based on severity level" (Baserat på allvarlighetsgrad) eller "Endast på begäran". Distribuerare bör välja den inställning som överensstämmer med soc-arbetsflödet och beräkningsbudgeten för att balansera svarstider med resursförbrukning.

  • Testa Copilot-funktioner i din miljö: Innan du aktiverar Copilot bör du testa viktiga funktioner som incidentsammanfattning, guidade svar, skriptanalys och KQL-frågegenerering med realistiska data och scenarier från din miljö. Kontrollera att utdata är korrekta, relevanta och användbara för dina specifika arbetsbelastningar och datakällor.

  • Övervaka och granska autonom agentaktivitet: För agentfunktioner som Nätfisketriage-agenten och Dynamic Threat Detection Agent distribuerar du inledande övervakning för att granska agentklassificeringar och aviseringar. Se till att analytiker granskar autonoma beslut och ger feedback, särskilt under den inledande distributionsperioden, för att kalibrera agenten till din organisations kontext.

  • Planera för beräkningskapacitet och svarstid: Svarsgenereringen kan ta upp till flera minuter och kräver GPU-kapacitet. Distribuerare bör planera för potentiell svarstid under perioder med hög efterfrågan och kommunicera förväntade svarstider till analytiker så att de kan planera sina arbetsflöden i enlighet med detta.

Läs mer om Microsoft Copilot i Microsoft Defender

För ytterligare vägledning eller om du vill veta mer om ansvarsfull användning av Microsoft Copilot i Microsoft Defender rekommenderar vi att du läser följande dokumentation:

Läs mer om ansvarsfull AI

  • Last updated on