Programkort: Microsoft Copilot i Microsoft Defender

Hvad er et programkort?

Microsofts program- og platformkort er beregnet til at hjælpe dig med at forstå, hvordan vores AI-teknologi fungerer, de valg, programejere kan foretage, der påvirker programmets ydeevne og funktionsmåde, og vigtigheden af at overveje hele programmet, herunder teknologien, personerne og miljøet. Programkort oprettes til AI-programmer, og platformkort oprettes til AI-platformtjenester. Disse ressourcer kan understøtte udvikling eller udrulning af dine egne programmer og kan deles med brugere eller interessenter, der påvirkes af dem.

Som en del af sin forpligtelse til ansvarlig ai overholder Microsoft seks kerneprincipper: retfærdighed, pålidelighed og sikkerhed, beskyttelse af personlige oplysninger og sikkerhed, inkluderelse, gennemsigtighed og ansvarlighed. Disse principper er integreret i Standard med ansvarlig kunstig intelligens, som hjælper teams med at designe, bygge og teste AI-programmer. Program- og platformkort spiller en central rolle i driften af disse principper ved at tilbyde gennemsigtighed omkring funktioner, tilsigtede anvendelser og begrænsninger. For at få yderligere indsigt opfordres læserne til at udforske Microsofts ansvarlige rapport over ai-gennemsigtighed og ordensregler, som beskriver, hvordan virksomhedskunder og enkeltpersoner kan engagere sig ansvarligt i ai.

Oversigt

Microsoft Copilot i Microsoft Defender er integration af Microsoft Security Copilot i Microsoft Defender-portalen. Det er et AI-drevet sikkerhedsprogram, der er udviklet til at hjælpe sikkerhedsanalytikere med at undersøge og reagere på cybersikkerhedstrusler mere effektivt og effektivt. Ved at kombinere store sprogmodeller med sikkerhedsspecifikke data og intelligens giver Copilot i Defender kontekstafhængig indsigt, automatiseret analyse og handlingsorienterede anbefalinger direkte i de sikkerhedsarbejdsprocesser, som analytikere bruger hver dag.

SOC-teams (Security Operations Center) står over for voksende mængder af beskeder, stadig mere avancerede angreb og udfordringen med at bemande erfarne analytikere. Copilot i Defender håndterer disse udfordringer ved at fremskynde efterforskningen af hændelser, reducere den tid, der kræves for at analysere komplekse trusler, og gøre det muligt for analytikere på alle erfaringsniveauer at udføre opgaver, der traditionelt krævede dyb ekspertise. Programmet trækker på data fra de arbejdsbelastninger, der Microsoft Defender overvåger, herunder slutpunkter, identiteter, mail, cloudprogrammer og meget mere, for at levere relevant og kontekstualiseret hjælp.

Microsoft Copilot i Microsoft Defender er beregnet til virksomhedskunder, især sikkerhedsanalytikere, hændelsesreagere, trusselsjægere og analytikere af trusselsintelligens, der bruger Microsoft Defender portalen til at beskytte deres organisationer. Du kan få flere oplysninger under Microsoft Security Copilot i Microsoft Defender.

Nøgleord

Følgende tabel indeholder en ordliste over nøgleord, der er relateret til Microsoft Copilot i Microsoft Defender.

Vigtige funktioner eller egenskaber

De vigtigste funktioner og egenskaber i følgende tabel beskriver, hvad Microsoft Copilot i Microsoft Defender er designet til at gøre, og hvordan den udfører på tværs af understøttede opgaver.

Tiltænkt anvendelse

Microsoft Copilot i Microsoft Defender kan bruges i flere scenarier på tværs af forskellige brancher. Eksempler på use cases omfatter:

• Fremskyndelse af undersøgelse og svar på hændelser: En sikkerhedsanalytiker i en organisation for finansielle tjenester modtager en hændelsesbesked med høj alvorsgrad, der involverer flere korrelerede beskeder på tværs af slutpunkter og mail. Ved hjælp af Copilot modtager analytikeren straks en oversigt over angrebstidslinjen, berørte aktiver og indikatorer for kompromis. Copilot giver derefter guidede svaranbefalinger, der indeholder truslen og afhjælper de berørte systemer, hvilket reducerer undersøgelsestiden fra timer til minutter og muliggør hurtigere indeslutning af angrebet.

• Triaging af brugerrapporteret phishing i stor skala: En stor virksomhed modtager hundredvis af brugerrapporterede phishing-mails hver dag. Phishing-triageagenten evaluerer automatisk hver indsendelse, klassificerer den som en ægte trussel eller falsk positiv og giver et naturligt sprog rationale for dens bestemmelse. SOC-analytikere kan derefter fokusere deres tid på bekræftede trusler i stedet for manuelt at gennemgå hver rapporterede mail og forbedre både svarhastigheden og analytikerens effektivitet.

• Gør det muligt for junioranalytikere at udføre avanceret trusselsjagt: Et regeringsagenturs SOC-team omfatter analytikere, der endnu ikke er dygtige i KQL. Ved hjælp af forespørgselsassistenten til naturligt sprog kan disse analytikere beskrive, hvad de leder efter på almindeligt engelsk, og Copilot genererer den relevante KQL-forespørgsel. Dette gør det muligt for mindre erfarne teammedlemmer at deltage i proaktiv trusselsjagt sammen med senioranalytikere og udvide teamets dækning uden ekstra træningsspild.

• Analyse af slørede scripts og mistænkelige filer: Under en undersøgelse af et potentielt ransomware-angreb støder en analytiker på et sløret PowerShell-script. I stedet for at stole på eksterne analyseværktøjer eller vente på et ledende teammedlem bruger analytikeren Copilots scriptanalysefunktionalitet til at modtage en tydelig sproglig forklaring af scriptets adfærd, dets risikoniveau og MITRE ATT-&CK-teknikker, det anvender. Dette forkorter tiden væsentligt for at afgøre, om scriptet er skadeligt, og hvilke afhjælpningstrin der er nødvendige.

• Hold dig foran nye trusler med efterretnings briefinger: Et sikkerhedsteam i en sundhedsorganisation ønsker at holde sig orienteret om trusselsaktører og sårbarheder, der er relevante for deres branche. Threat Intelligence Briefing Agent leverer planlagte, tilpassede briefinger, der opsummerer den seneste trusselsaktøraktivitet, udnyttelsestendenser og sårbarheds afsløringer, hvilket gør det muligt for teamet proaktivt at justere deres forsvar og prioritere reparationsindsatsen.

• Strømlining af dokumentation og rapportering om hændelser: Når en kompleks hændelse med flere advarsler er løst, skal et sikkerhedsteam oprette en detaljeret hændelsesrapport med henblik på overholdelse af angivne standarder og gennemgang af ledelsen. Copilot kompilerer automatisk hændelsestidslinjen, svarhandlinger, involverede analytikere og klassificeringsårsager til en struktureret rapport, der kan eksporteres til PDF, hvilket sparer analytikere lang tid på dokumentationen.

• Vurdering af identitets- og enhedsrisiko under undersøgelser: Under undersøgelse af en mistænkelig logonhændelse bruger en analytiker Copilot til at generere en identitetsoversigt, der fremhæver brugerens rolle, de seneste rolleændringer, logonmønstre og risikoflag fra Microsoft Entra ID. Analytikeren genererer også en enhedsoversigt for det involverede slutpunkt, der afslører sårbar software og usædvanlig aktivitet. Tilsammen giver disse oversigter analytikeren mulighed for hurtigt at bestemme omfanget af kompromiset og foretage målrettede handlinger.

Modeller og oplæringsdata

Microsoft Defender udvider Microsoft Security Copilot og udnytter sine eksisterende agenter og underliggende AI-modeller. Det afhænger derfor af en hvilken som helst ekstern konfiguration, som disse leverer. Det kan f.eks. være modelvalg til Microsoft Security Copilot til promptoplevelsen for integreret naturligt sprog. Du kan få mere at vide under ofte stillede spørgsmål om Microsoft Security Copilot ansvarlig AI.

Kundedata deles ikke med OpenAI eller bruges til at oplære Azure OpenAI Foundation-modeller. Administratorer har fuld kontrol over, hvordan deres organisations data bruges, herunder om de vil give Microsoft mulighed for at registrere data til produktvalidering eller forbedring af ai-sikkerhedsmodel. Indstillinger for datadeling kan konfigureres når som helst, og kundedata gemmes på den geografiske placering, der er valgt under konfigurationen. Du kan finde detaljerede oplysninger om datahåndtering, lagring, opbevaring og deling af kontrolelementer under Beskyttelse af personlige oplysninger og datasikkerhed i Microsoft Security Copilot.

Ydeevne

Microsoft Copilot i Microsoft Defender er designet til at fungere pålideligt på tværs af en række arbejdsprocesser til sikkerhedsundersøgelser og svar på Microsoft Defender-portalen. Programmet fungerer i miljøer, hvor sikkerhedsanalytikere interagerer med hændelsesdata, beskeder, trusselsintelligens, enheds- og identitetsoplysninger, filmetadata og scripts. Copilot behandler tekstbaserede input, herunder prompter om naturligt sprog, scriptindhold og strukturerede sikkerhedsdata, og genererer tekstbaserede output, f.eks. resuméer, anbefalinger, KQL-forespørgsler, rapporter og klassificeringssigelser. Den behandler eller genererer ikke billed-, video- eller lydindhold.

Programmet er designet og evalueret primært til brug på engelsk. Analytikere, der indsender prompter og gennemser Copilot-genererede output på engelsk, kan forvente den højeste grad af nøjagtighed og sammenhæng. Selvom Microsoft Defender-portalen understøtter flere sprog for sin bredere grænseflade, er Copilots naturlige sprogforståelse og oprettelsesfunktioner optimeret til engelsk. Brug af ikke-understøttede sprog kan resultere i reduceret nøjagtighed eller mindre relevante output, og brugerne skal være forsigtige, når de arbejder uden for det ønskede sprogområde.

Copilot i Defender fungerer bedst, når analytikere interagerer med den i de tiltænkte undersøgelsesarbejdsprocesser, f.eks. åbning af en hændelsesside for at modtage en oversigt, anmodning om guidede svar under triage eller angivelse af et naturligt sprogspørgsmål i den avancerede assistent til jagtforespørgsler. Programmet udnytter data fra de arbejdsbelastninger, der Microsoft Defender overvåger, herunder Microsoft Defender for Endpoint, Microsoft Defender for Identity Microsoft Defender til Office 365, Microsoft Defender for Cloud Apps og Admininstration af håndtering af sikkerhedsrisici til Microsoft Defender samt Microsoft Sentinel data, når de er tilgængelige. Kvaliteten og fuldstændigheden af Copilot-output afhænger af tilgængeligheden og mængden af data i kundens miljø.

Ydeevnen påvirkes også af inputtets kompleksitet. Enkle, klart omfangserede prompter har en tendens til at give mere nøjagtige og handlingsrelaterede resultater, mens prompts, der er tvetydige, ekstremt lange eller uden for sikkerhedsdomænet, kan give mindre relevante output. For selvstændige agenter som Phishing Triage Agent og Dynamic Threat Detection Agent måles ydeevnen gennem klassificeringsnøjagtighed og registreringspræcision med løbende forbedring baseret på analytikerfeedback og løbende modelafgrænsning.

Begrænsninger

Det er afgørende at forstå Microsoft Copilot i Microsoft Defender begrænsninger for at afgøre, om den bruges inden for sikre og effektive grænser. Selvom vi opfordrer kunderne til at udnytte Microsoft Copilot i Microsoft Defender i deres innovative løsninger eller programmer, er det vigtigt at bemærke, at Microsoft Copilot i Microsoft Defender ikke var designet til alle mulige scenarier. Vi opfordrer brugerne til enten at henvise til Microsoft Enterprise AI Services Code of Conduct (for organisationer) eller afsnittet Ordensregler i Microsoft-serviceaftalen (for enkeltpersoner) samt følgende overvejelser, når de vælger en use case:

• Sikkerhedsdomæneomfang: Microsoft Copilot i Microsoft Defender er designet til at generere svar, der er relateret til sikkerhedsdomænet, f.eks. undersøgelse af hændelser, trusselsintelligens og trusselsjagt. Prompter uden for sikkerhedsområdet kan resultere i svar, der mangler nøjagtighed og omfattendehed. Brugerne skal sikre, at deres brug af Copilot er begrænset til sikkerhedsrelaterede opgaver på Microsoft Defender portalen.

• Optimering af engelsksprog: Copilot i Defender blev udviklet og evalueret primært på engelsk. Brug af ikke-understøttede sprog kan resultere i reduceret nøjagtighed, mindre relevante output eller ufuldstændige svar. Brugerne skal være forsigtige, når de arbejder uden for det ønskede sprogområde, og kontrollere output omhyggeligt i disse scenarier.

• Nøjagtighed af kodeoprettelse: Copilot i Defender kan generere kode eller inkludere kodestykker, f.eks. KQL-forespørgsler, i sine svar. Selvom disse output ser ud til at være gyldige, er de muligvis ikke altid semantisk eller syntaktisk korrekte, eller de afspejler muligvis ikke analytikerens hensigt. Brugerne skal altid gennemse, teste og validere genereret kode, før de bruger den i produktion, og følge de samme forholdsregler, som de ville gøre med enhver kode, som de ikke uafhængigt af hinanden oprettede: strenge test, IP-scanning og kontrol af sikkerhedsrisici.

• Længdebegrænsninger for prompt: Systemet kan muligvis ikke behandle meget lange prompts, f.eks. dem, der indeholder hundredtusindvis af tegn. Analytikere bør holde prompter præcise og velomfangede for at få de bedste resultater.

• Ventetid for svar og kapacitet: Det kan tage op til flere minutter i nogle tilfælde at generere og bekræfte svar, og det kræver en betydelig beregningskapacitet. Forbruget kan være underlagt kapacitetsbegrænsning, især i perioder med høj efterspørgsel. Brugerne bør planlægge potentielle forsinkelser, når de er afhængige af Copilot til tidsfølsomme opgaver.

• Ai-genereret outputnøjagtighed: Som enhver anden AI-drevet teknologi får Copilot i Defender ikke alt rigtigt. Output kan være unøjagtige, ufuldstændige, forudindtaget eller forkert justeret i forhold til analytikerens hensigt. Dette kan ske på grund af flertydighed i input, begrænsninger for de underliggende modeller eller huller i tilgængelige data. Brugerne skal altid gennemse copilot-genereret indhold, før de reagerer på det, og bruge de indbyggede feedbackværktøjer til at rapportere unøjagtige eller problematiske output.

• Matcher med offentlig kode: Copilot i Defender genererer kode probabilistically, og selvom sandsynligheden for at producere kode, der matcher offentlig tilgængelig kode, er lav, er det muligt. Brugerne skal tage forholdsregler for at sikre egnethed og originalitet, herunder strenge test, IP-scanning og kontrol af sikkerhedsrisici.

• Ikke en erstatning for menneskelig dom: Copilot i Defender er designet til at hjælpe, ikke erstatte, sikkerhedsanalytikere. Alle anbefalinger, resuméer og klassificeringer bør gennemgås af en kvalificeret analytiker, før der træffes foranstaltninger, især i forbindelse med følgebeslutninger som indeslutning, afhjælpning eller eskalering.

Evalueringer

Evalueringer af ydeevne og sikkerhed vurderer, om AI-programmer fungerer pålideligt og sikkert, ved at undersøge faktorer som jordforbindelse, relevans og sammenhæng, samtidig med at man identificerer risikoen for at generere skadeligt indhold. Følgende evalueringer blev udført med sikkerhedskomponenter, der allerede er på plads, som også er beskrevet i Sikkerhedskomponenter og afhjælpninger.

Evalueringer af ydeevne og kvalitet

Evaluering af ydeevnen for AI-programmer er afgørende for at forbedre deres pålidelighed i virkelige programmer. Målepunkter som jordforbindelse, relevans og sammenhæng hjælper med at vurdere nøjagtigheden og konsekvensen af AI-genererede output, så de faktisk understøttes i scenarier med jordbaseret indhold, kontekstuelt passende og logisk struktureret. For Microsoft Copilot i Microsoft Defender gennemførte vi evalueringer af ydeevnen for følgende målepunkter, som er tilgængelige via Microsoft Foundry:

• Jordforbindelse
• Sammenhæng
• Flydende
• Lighed

Metoder til evaluering af ydeevne og kvalitet

Evalueringer af ydeevnen for Microsoft Copilot i Microsoft Defender blev udført på tekstbaserede output, der er genereret på tværs af alle understøttede funktioner, herunder opsummering af hændelser, guidede svar, script- og filanalyse, identitets- og enhedsopsummering, oprettelse af KQL-forespørgsler og briefinger om trusselsintelligens. Evalueringer brugte AI-assisterede automatiserede evaluatorer, der er tilgængelige via Microsoft Foundry, og anvendes mod organiserede datasæt med realistiske sikkerhedsundersøgelsesscenarier, der er hentet fra syntetiske og repræsentative input fra den virkelige verden.

Jordforbindelse måler, om genererede output faktisk understøttes af de kildedata, der er tilgængelige i miljøet, f.eks. hændelsesbeskeder, trusselsintelligenssignaler og sikkerhedstelemetri. Et ideelt resultat er et, hvor alle krav i outputtet kan spores til og er i overensstemmelse med de underliggende data. Et resultat, der ikke er optimalt, indeholder krav, der er fremstillet, administreret eller inkonsistent med de kildedata, der er angivet for modellen.

Sammenhæng måler den logiske struktur, klarhed og interne konsistens i genererede output. Et ideelt resultat er velorganiseret, let at følge og uden modsætninger. Et ikke-optimalt resultat er usammenhængende, selvkonsekvent eller svært for en analytiker at fortolke og reagere på.

Flydende måler den grammatiske korrekthed og den sproglige kvalitet af genereret tekst. Et ideelt resultat aflæser naturligt og er fri for grammatiske fejl eller akavede konstruktioner. Et ikke-optimalt resultat indeholder grammatiske fejl eller udtryk, der forhindrer læsbarhed eller analytikerforståelse.

Lighed måler graden af justering mellem genererede output og referenceoutput, der produceres af eksperter inden for de samme input. Et ideelt resultat afspejler nøje hensigten, dækningen og nøjagtigheden af ekspertreferencen. Et ikke-optimalt resultat afviger væsentligt fra det forventede svar i indhold, omfang eller nøjagtighed.

Hver metrikværdi blev scoret på en numerisk skala ved hjælp af AI-assisterede dommere, der er kalibreret i forhold til menneskelige anmærkninger. Evalueringer blev kørt iterativt på tværs af datasætopdateringer for at spore kvaliteten over tid og understøtte løbende forbedringer.

Risiko- og sikkerhedsevalueringer

Evaluering af potentielle risici, der er forbundet med AI-genereret indhold, er afgørende for at sikre mod indholdsrisici med varierende grader af alvorsgrad. Dette omfatter evaluering af et AI-programs forholdsord til generering af skadeligt indhold eller test af sårbarheder i forbindelse med jailbreak-angreb. For Microsoft Copilot i Microsoft Defender gennemførte vi risiko- og sikkerhedsevalueringer for følgende målepunkter, der er tilgængelige via Microsoft Foundry:

• Had og uretfærdighed
• Seksuel
• Vold
• Selvbelastende
• Beskyttet materiale
• Indirekte fængselsbrud
• Direkte jailbreak
• Kodesårbarhed
• Ikke-jordiske attributter

Metoder til evaluering af risici og sikkerhed

Risiko- og sikkerhedsevalueringer for Microsoft Copilot i Microsoft Defender blev udført ved hjælp af adversarial-datasæt og AI-assisterede klassificeringer, der er tilgængelige via Microsoft Foundry, anvendt på tekstbaserede input og output. Der blev udformet adversarial-prompts for at simulere forsøg på at fremkalde skadeligt, politikforbryderindhold eller indhold uden for emnet på tværs af en række risikokategorier. Output blev scoret for tilstedeværelsen af sådant indhold ved hjælp af klassificeringer, der er oplært og kalibreret i forhold til Microsofts sikkerhedsstandarder.

Had og urimelighed evaluerer, om output indeholder nedsættende, diskriminerende eller præjudielt indhold, der er målrettet til enkeltpersoner eller grupper, der er baseret på beskyttede egenskaber. Et ideelt resultat indeholder ikke noget sådant indhold. Et ikke-optimalt resultat omfatter sprog, der nedgøres, stereotyper eller uretfærdigt karakteriserer enkeltpersoner eller grupper.

Seksuel evaluerer, om output indeholder seksuelt eksplicit eller upassende indhold. Et ideelt resultat indeholder ikke noget sådant indhold. Et ikke-optimalt resultat omfatter sprog af seksuel karakter, der er upassende for en professionel sikkerhedsdriftskontekst.

Vold evaluerer, om output indeholder indhold, der glorificerer, instruerer eller opfordrer til voldelige handlinger. Et ideelt resultat indeholder ikke noget sådant indhold. Et ikke-optimalt resultat omfatter sprog, der fremmer eller faciliterer skade på enkeltpersoner eller grupper.

Selvbesigtigelse evaluerer, om output indeholder indhold, der fremmer, instruerer eller opfordrer til selvskadelig adfærd. Et ideelt resultat indeholder ikke noget sådant indhold. Et ikke-optimalt resultat omfatter sprog, der kan bidrage til selvskadelse.

Beskyttet materiale evaluerer, om output gengiver ophavsretligt beskyttet tekst, kode eller andet beskyttet indhold ordret eller på en måde, der skaber juridisk eksponering. Et ideelt resultat reproducerer ikke beskyttet materiale. Et ikke-optimalt resultat indeholder en ordret gengivelse af beskyttet indhold fra tredjepart.

Indirekte jailbreak evaluerer programmets robusthed over for promptinjektionsangreb, der er integreret i eksternt indhold, f.eks. data, der hentes fra mails, dokumenter eller sikkerhedsbeskeder, som forsøger at omdirigere modellens funktionsmåde. Et ideelt resultat er et, hvor modellen ikke følger indsprøjtede instruktioner. Et ikke-optimalt resultat er et resultat, hvor indsprøjtede instruktioner ændrer modellens output eller funktionsmåde.

Direkte jailbreak evaluerer programmets robusthed over for eksplicitte forsøg fra brugere på at omgå sikkerhedsbegrænsninger, tilsidesætte systeminstruktioner eller fremkalde indhold uden for programmets tilsigtede omfang. Et ideelt resultat er et, hvor modellen nægter eller håndterer sådanne forsøg korrekt. Et ikke-optimalt resultat er et resultat, hvor modellen overholder instruktioner, der er designet til at omgå sikkerhedskontroller.

Kodesårbarhed evaluerer, om genererede kodeoutput, f.eks. KQL-forespørgsler eller scriptstykker, indeholder sikkerhedsrisici, der kan udsætte analytikeren eller deres miljø for risiko. Et ideelt resultat er kode, der er fri for sårbarheder, der kan udnyttes. Et ikke-optimalt resultat indeholder kode med kendte sårbarhedsmønstre, f.eks. injektionsrisici eller usikre konstruktioner.

Ikke-jordede attributter evaluerer, om output tildeler egenskaber, funktionsmåder eller attributter til objekter, f.eks. brugere, enheder eller trusselsaktører, som ikke understøttes af de underliggende data. Ideelle resultatattributter er kun det, der fremgår af de tilgængelige sikkerhedsdata. Et ikke-optimalt resultat fremstiller eller udleder attributter uden bevisgrundlag, hvilket kan føre en analytiker til forkerte konklusioner.

Hver metrikværdi blev scoret ved hjælp af AI-assisterede klassificeringer med scorer kalibreret i forhold til menneskelige anmærkninger. Evalueringerne blev udført iterativt og informeret om designet af sikkerhedsmitigeringer, der er beskrevet i Sikkerhedskomponenter og -afhjælpninger.

Evalueringsdata for kvalitet og sikkerhed

Vores evalueringsdata er specialbygget til at vurdere ydeevne af AI-programmer på tværs af vigtige områder af sikkerhed og kvalitet og simulere scenarier og risici i den virkelige verden. Vi begynder med at identificere relevante evalueringsaspekter af bekymring baseret på tværfaglig forskning og ekspertinput. Disse bekymringer oversættes til målrettede evalueringsmål og vejledning til formulering af evalueringsmålepunkter. Af sikkerhedsmæssige årsager opretter vi adversarial prompts for at fremkalde uønskede eller edge-case-svar, som derefter scores ved hjælp af AI-assisterede anmærkninger, der er uddannet til at vurdere tilpasningen til Microsofts sikkerhedsstandarder. I forbindelse med kvalitet udformer vi rubricbaserede prompts, der er relevante for scenarier, herunder evaluering af RAG-programmer og -agenter (retrieveal-augmented generation). Datasæt er udvalgt fra forskellige kilder, herunder syntetiske og offentlige datasæt, for at simulere brugerscenarier i den virkelige verden. Ved hjælp af de organiserede datasæt gennemgår begge evalueringer iterativ forfining og menneskelig justering for at forbedre metrikværdiens effektivitet og pålidelighed. Denne metode er grundlaget for gentagne, strenge vurderinger, der afspejler, hvordan kunderne bruger evalueringer til at opbygge bedre og sikrere KUNSTIG INTELLIGENS.

Brugerdefinerede evalueringer

Microsoft Copilot i Microsoft Defender gennemgik en betydelig brugerdefineret evaluering og test før udgivelsen. Dette omfattede omfattende red teaming, en praksis, hvor dedikerede teams nøje tester produktet for at identificere fejltilstande og scenarier, der kan få programmet til at producere output uden for dets tilsigtede anvendelse, eller som ikke stemmer overens med principperne for Microsoft AI. Røde teamøvelser er designet til at evaluere programmets robusthed over for adversarial input, forsøg på at fremkalde skadeligt indhold eller indhold uden for emnet samt edge-case-scenarier, der kan kompromittere sikkerheden eller pålideligheden.

Ud over red teaming udførte Microsoft iterative test på tværs af det fulde udvalg af Copilot i Defender-funktioner, herunder opsummering af hændelser, guidede svar, scriptanalyse, filanalyse, identitets- og enhedsopsummering, oprettelse af KQL-forespørgsler og briefinger om trusselsintelligens. Disse evalueringer vurderede nøjagtigheden, jordforbindelse, relevans og sammenhæng i genererede output på tværs af tekstbaserede modaliteter (naturligt sprog og KQL-kode). Et ideelt resultat er et resultat, der er faktuelt nøjagtigt, med begrundelse i de tilgængelige sikkerhedsdata, som er relevant for analytikerens forespørgsel, og som er klart struktureret. Et ikke-optimalt resultat er et resultat, der er faktuelt forkert, ikke understøttes af dataene, som er irrelevant for analytikerens hensigt eller er svært at følge.

Et program til tidlig adgang, der kun tillader tidlig adgang, indeholdt en ekstra evalueringsmekanisme, der gør det muligt for brugere i den virkelige verden at interagere med programmet og give struktureret feedback, før de bliver offentligt tilgængelige. Brugerfeedback, der indsamles via knapperne "Off-target", "Report" og "Confirm" på hvert Copilot-svar, er et løbende evalueringssignal, som Microsoft bruger til at identificere kvalitetsproblemer og skabe løbende forbedringer. For selvstændige agenter, f.eks. Phishing-triageagenten, omfatter evalueringen også målepunkter for klassificeringsnøjagtighed og analytikerfeedback om triagebeslutninger for løbende at tilpasse agentens ydeevne.

Sikkerhedskomponenter og -afhjælpninger

• Red teaming og adversarial test: Før udgivelsen udførte Microsoft et omfattende rødt team for at identificere fejltilstande og betingelser, som programmet kunne bruge til at generere output uden for dets tilsigtede omfang. Dedikerede teams simulerede adversarial input, forsøg på jailbreak og edge-case-scenarier for at vurdere programmets robusthed og informere designet af sikkerhedskontroller.

• Design af mennesker i løkken: Copilot i Defender holder mennesker i centrum for alle arbejdsprocesser. Alle genererede output, herunder oversigter, anbefalinger, klassificeringer og kode, præsenteres for analytikere til gennemsyn, før der udføres nogen handling. Dette design sikrer, at menneskelig dømmekraft er det endelige beslutningspunkt for alle sikkerhedsoperationer.

• Indholdsfiltrering og sikkerhedssystemer: Et flerlagssikkerhedssystem er designet til at afhjælpe skadelig generering af indhold og forhindre misbrug. Dette omfatter skadelig indholdsanmærkning, indholdsklassificering og indbyggede sikkerhedsforanstaltninger, der screener både input og output for indhold uden for emnet, skadeligt eller på anden måde upassende indhold.

• Operationel overvågning: Microsoft overvåger løbende Copilots driftsmæssige ydeevne i Defender for at registrere uregelmæssigheder, forringet ydeevne og potentielt misbrug. Denne overvågning gør det muligt hurtigt at identificere og løse problemer, der kan påvirke applikationens kvalitet eller sikkerhed.

• Mekanisme til brugerfeedback: Alle Copilot-svar indeholder feedbackkontrolelementer, især "Off-target"," "Report" og "Confirm", som gør det muligt for analytikere at markere unøjagtige, ufuldstændige eller anstødelige output. Denne feedback sendes direkte til Microsoft og bruges til at forbedre kvaliteten og sikkerheden af programmet over tid.

• Håndhævelse af områdegrænse: Copilot i Defender er designet til kun at reagere på prompts, der er relateret til sikkerhedsdomænet. Prompter, der falder uden for sikkerhedshandlingers anvendelsesområde, f.eks. anmodninger om ikke-sikkerhedsrelaterede generelle eller ikke-sikkerhedsrelaterede opgaver, håndteres med passende gelændere for at reducere risikoen for at generere vildledende indhold uden for emnet eller vildledende indhold.

• Rollebaseret adgang og tilladelser: Adgang til Copilot i Defender er underlagt rollebaserede adgangskontroller. Brugerne skal have klargjort adgang til Microsoft Security Copilot, og bestemte funktioner og agenter kræver yderligere tilladelser, f.eks. sikkerhedslæser, sikkerhedsadministrator eller bestemte Microsoft Entra roller. Dette begrænser eksponeringen for autoriseret personale og håndhæver princippet om færrest mulige rettigheder.

• Gennemsigtig begrundelse for selvstændige agenter: For agentiske funktioner som Phishing-triageagenten giver programmet en gennemsigtig begrundelse for sine klassificeringsdomme på et naturligt sprog, der beskriver begrundelsen og beviserne bag konklusioner. Der findes også en visuel repræsentation af ræsonneringsprocessen, som gør det muligt for analytikere at forstå og bekræfte agentens beslutningstagningsproces.

• Feedbackløkke for analytikere for agentisk kunstig intelligens: Analytikere kan give feedback om autonome agentklassificeringer, f.eks. phishing-sorteringsbeslutninger. Med tiden hjælper denne feedback med at tilpasse agentens funktionsmåde, så den bedre afspejler organisationens kontekst, reducerer falske positiver og forbedrer klassificeringsnøjagtigheden.

• Overholdelse af EU's AI-lov: Microsoft er forpligtet til at overholde EU's AI-lov. Programmet er udviklet i overensstemmelse med Microsofts Ansvarlige AI-Standard, som står for lovgivningsforslag, herunder EU AI Act. Du kan få flere oplysninger under Microsofts overholdelse af EU's AI-lov.

Bedste praksis for installation og implementering af Microsoft Copilot i Microsoft Defender

Ansvarlig kunstig intelligens er en delt forpligtelse mellem Microsoft og microsofts kunder. Selvom Microsoft bygger AI-programmer med sikkerhed, retfærdighed og gennemsigtighed centralt, spiller kunderne en vigtig rolle i forbindelse med udrulning og anvendelse af disse teknologier ansvarligt i deres egne kontekster. For at understøtte dette partnerskab tilbyder vi følgende bedste praksis for udrulningsmaskiner og slutbrugere for at hjælpe kunderne med at implementere ansvarlig ai effektivt.

Installatorer og slutbrugere skal:

• Vær forsigtig, og evaluer resultaterne, når du bruger Microsoft Copilot i Microsoft Defender til følgebeslutninger eller på følsomme områder: Følgebeslutninger er dem, der kan have en juridisk eller betydelig indvirkning på en persons adgang til uddannelse, beskæftigelse, finansielle platforme, offentlige ydelser, sundhedspleje, boliger, forsikringer, juridiske platforme, eller som kan resultere i fysisk, psykologisk eller økonomisk skade. Følsomme områder såsom finansielle platforme, sundhedspleje og boliger kræver særlig pleje på grund af risikoen for uforholdsmæssige konsekvenser for forskellige grupper af mennesker. Når du bruger kunstig intelligens til beslutninger på disse områder, skal du sørge for, at berørte interessenter kan forstå, hvordan beslutninger træffes, appellerer og opdaterer relevante inputdata.

• Evaluer juridiske og lovmæssige overvejelser: Kunderne skal evaluere potentielle specifikke juridiske og lovgivningsmæssige forpligtelser, når de bruger AI-platforme og -løsninger, hvilket muligvis ikke er hensigtsmæssigt til brug i alle brancher eller scenarier. Derudover er AI-platforme eller -løsninger ikke designet til og må ikke bruges på måder, der er forbudt i relevante servicebetingelser og relevante ordensregler.

Slutbrugere skal:

• Udfør menneskeligt tilsyn, når det er relevant: Menneskelig overvågning er en vigtig sikkerhedsforanstaltning, når du interagerer med AI-programmer. Selvom vi løbende forbedrer vores AI-programmer, kan kunstig intelligens stadig lave fejl. De genererede output kan være unøjagtige, ufuldstændige, forudindtaget, forkert justeret eller irrelevante i forhold til dine tilsigtede mål. Dette kan ske på grund af forskellige årsager, f.eks. tvetydighed i input eller begrænsninger i de underliggende modeller. Brugerne bør derfor gennemse de svar, der genereres af Microsoft Copilot i Microsoft Defender og bekræfte, at de opfylder deres forventninger og krav.

• Vær opmærksom på risikoen for overreeliance: Der forekommer overreeliance på kunstig intelligens, når brugerne accepterer forkerte eller ufuldstændige AI-output, primært fordi fejl i AI-output kan være svære at registrere. For slutbrugere kan overrelidenhed resultere i nedsat produktivitet, tab af tillid, programafgivelse, økonomisk tab, psykologisk skade eller fysisk skade. Sikkerhedsanalytikere bør behandle Copilot-output som et udgangspunkt for undersøgelsen, ikke som en endelig afgørelse, og bør uafhængigt kontrollere kritiske resultater, før de tager følgehandlinger.

• Vær forsigtig, når du designer agentisk kunstig intelligens i følsomme domæner: Brugerne skal være forsigtige, når de designer og/eller udruller agentiske AI-programmer på følsomme domæner, hvor agenthandlinger ikke kan fortrydes eller i høj grad følger heraf. Der skal også træffes yderligere forholdsregler, når du opretter selvbetjent kunstig intelligens, som beskrevet yderligere i enten Microsoft Enterprise AI Services Code of Conduct (for organisationer) eller afsnittet Ordensregler i Microsoft-serviceaftalen (for enkeltpersoner).

• Giv feedback for at forbedre copilotkvaliteten: Når et svar er unøjagtigt, ufuldstændigt eller uklart, skal du bruge knapperne "Off-target" og "Report" til at markere problematisk output. Når svar er nyttige og nøjagtige, skal du bruge knappen "Bekræft". Disse feedbackkontrolelementer vises nederst i alle Copilot-svar og hjælper Microsoft med løbende at forbedre programmets ydeevne.

• Brug tydelige og specifikke prompts: Du opnår det bedste resultat ved at indsende prompter, der er kortfattet, kontekstrige og relateret til sikkerhedsdomænet. I stedet for et vagt spørgsmål som "Fortæl mig om trusler" kan du f.eks. stille "Opsummer de seneste trusselsaktører, der er målrettet til sundhedssektoren inden for de sidste 30 dage". Specifikke prompter hjælper Copilot med at generere mere nøjagtige og handlingsvenlige resultater.

• Overvågning af drift af ydeevnen: Hvis du ser et fald i kvaliteten af Copilot-output over tid, skal du rapportere problemet ved hjælp af feedbackværktøjerne. Konsekvent feedback hjælper Microsoft med at registrere og håndtere drift af ydeevnen på tværs af brugerbasen.

Deployere skal:

• Sørg for korrekt klargøring af adgang og rolletildeling: Før du udruller Copilot i Defender, skal du sikre, at brugerne har klargjort adgang til Microsoft Security Copilot med tilstrækkelig kapacitet til sikkerhedsberegningsenheder. Tildel rollebaserede tilladelser ved hjælp af princippet om færrest mulige rettigheder, så analytikere, administratorer og agenter kun har den adgang, der kræves til deres ansvar. For agentiske funktioner, f.eks. Phishing Triage Agent og Threat Intelligence Briefing Agent, skal du bekræfte, at de påkrævede Microsoft Entra roller og forudsætninger er opfyldt, før du aktiverer disse funktioner.

• Upload retningslinjer for organisationsspecifikke svar: Administratorer kan uploade brugerdefinerede svarretningslinjer, som Copilot bruger til at skræddersy vejledningsbefalinger til organisationens politikker og procedurer. Dette hjælper med at sikre, at Copilots anbefalinger justeres i forhold til organisationens sikkerhedsholdning og driftsmæssige krav.

• Konfigurer indstillingerne for hændelsesoversigten korrekt: Copilots automatiske opsummering af hændelser kan konfigureres til at køre "Altid", "Baseret på alvorsgradsniveau" eller "Kun efter behov". Udrulningsværter skal vælge den indstilling, der er i overensstemmelse med deres SOC-arbejdsproces og beregningsbudget, for at balancere svartid med ressourceforbrug.

• Test funktioner til copilot på tværs af dit miljø: Før du aktiverer Copilot bredt, skal du teste vigtige funktioner, f.eks. opsummering af hændelser, automatiserede svar, scriptanalyse og generering af KQL-forespørgsler ved hjælp af realistiske data og scenarier fra dit miljø. Valider, at output er nøjagtige, relevante og handlingsvenlige for dine specifikke arbejdsbelastninger og datakilder.

• Overvåg og gennemse selvstændig agentaktivitet: I forbindelse med agentiske funktioner, f.eks. Phishing-triageagenten og Dynamic Threat Detection Agent, skal du installere indledende overvågning for at gennemse agentklassificeringer og -beskeder. Sørg for, at analytikere gennemgår autonome beslutninger og giver feedback, især i den indledende udrulningsperiode, for at kalibrere agenten i forhold til din organisations kontekst.

• Planlæg beregningskapacitet og ventetid: Det kan tage op til flere minutter at oprette svar, og det kræver GPU-kapacitet. Udrulningsmedarbejdere skal planlægge potentiel ventetid i perioder med høj efterspørgsel og kommunikere de forventede svartider til analytikere, så de kan planlægge deres arbejdsprocesser i overensstemmelse hermed.

Få mere at vide om Microsoft Copilot i Microsoft Defender

Hvis du vil have yderligere vejledning eller få mere at vide om ansvarlig brug af Microsoft Copilot i Microsoft Defender, anbefaler vi, at du gennemser følgende dokumentation:

• Microsoft Security Copilot i Microsoft Defender
• Hvad er Microsoft Security Copilot?
• Beskyttelse af personlige oplysninger og datasikkerhed i Security Copilot
• Microsofts overholdelse af EU's AI-lov
• Kom i gang med Microsoft Security Copilot

Få mere at vide om ansvarlig ai

• principper for Microsoft AI
• Microsofts ansvarlige AI-ressourcer
• Microsoft Azure Learning-kurser om ansvarlig AI