Programkort: Microsoft Copilot i Microsoft Defender

Hva er et programkort?

Microsofts program- og plattformkort er ment å hjelpe deg med å forstå hvordan ai-teknologien fungerer, valgene programeiere kan gjøre som påvirker programmets ytelse og virkemåte, og viktigheten av å vurdere hele programmet, inkludert teknologien, menneskene og miljøet. Programkort opprettes for AI-programmer, og plattformkort opprettes for tjenester for AI-plattformer. Disse ressursene kan støtte utvikling eller distribusjon av dine egne programmer og kan deles med brukere eller interessenter som påvirkes av dem.

Som en del av sin forpliktelse til ansvarlig kunstig intelligens overholder Microsoft seks kjerneprinsipper: rettferdighet, pålitelighet og sikkerhet, personvern og sikkerhet, inkludering, åpenhet og ansvarlighet. Disse prinsippene er innebygd i ansvarlig AI-Standard, som veileder team i utforming, bygging og testing av AI-programmer. Program- og plattformkort spiller en nøkkelrolle i operasjonaliseringen av disse prinsippene ved å tilby gjennomsiktighet rundt funksjoner, tiltenkte bruksområder og begrensninger. For ytterligere innsikt oppfordres leserne til å utforske Microsofts rapport om ansvarlig gjennomsiktighet for kunstig intelligens og regler for god oppførsel, som gir en oversikt over hvordan bedriftskunder og enkeltpersoner kan kommunisere med kunstig intelligens på en ansvarlig måte.

Oversikt

Microsoft Copilot i Microsoft Defender er integreringen av Microsoft Security Copilot i Microsoft Defender-portalen. Det er et AI-drevet sikkerhetsprogram som er utformet for å hjelpe sikkerhetsanalytikere med å undersøke og reagere på trusler om cybersikkerhet mer effektivt og effektivt. Ved å kombinere store språkmodeller med sikkerhetsspesifikke data og intelligens, gir Copilot i Defender kontekstuell innsikt, automatisert analyse og handlingsrettede anbefalinger direkte i sikkerhetsarbeidsflytene som analytikere bruker hver dag.

Security Operations Center (SOC)-team står overfor økende mengder varsler, stadig mer sofistikerte angrep og utfordringen med bemanningserfarne analytikere. Copilot i Defender løser disse utfordringene ved å akselerere hendelsesundersøkelsen, redusere tiden som kreves for å analysere komplekse trusler, og gjøre det mulig for analytikere på alle erfaringsnivåer å utføre oppgaver som tradisjonelt krevde dyp kompetanse. Programmet trekker på data fra arbeidsbelastningene som Microsoft Defender skjermer, inkludert endepunkter, identiteter, e-post, skyprogrammer og mer, for å levere relevant og kontekstualisert hjelp.

Microsoft Copilot i Microsoft Defender er ment for bedriftskunder, spesielt sikkerhetsanalytikere, hendelsesrespondere, trusseljegere og trusseletterretningsanalytikere som bruker Microsoft Defender-portalen for å beskytte sine organisasjoner. Hvis du vil ha mer informasjon, kan du se Microsoft Security Copilot i Microsoft Defender.

Nøkkeltermer

Tabellen nedenfor inneholder en ordliste over nøkkeltermer relatert til Microsoft Copilot i Microsoft Defender.

Viktige funksjoner eller funksjoner

De viktigste funksjonene og funksjonene i tabellen nedenfor beskriver hva Microsoft Copilot i Microsoft Defender er utformet for å gjøre og hvordan det utføres på tvers av støttede oppgaver.

Tiltenkt bruk

Microsoft Copilot i Microsoft Defender kan brukes i flere scenarioer på tvers av en rekke bransjer. Noen eksempler på brukstilfeller inkluderer:

• Akselererende hendelsesundersøkelse og svar: En sikkerhetsanalytiker i en organisasjon for finansielle tjenester mottar et hendelsesvarsel med høy alvorlighetsgrad som involverer flere korrelerte varsler på tvers av endepunkter og e-post. Ved hjelp av Copilot mottar analytikeren umiddelbart et sammendrag av angrepstidslinjen, berørte eiendeler og indikatorer på kompromiss. Copilot gir deretter veiledede svaranbefalinger for å inneholde trusselen og utbedre berørte systemer, redusere undersøkelsestiden fra timer til minutter og muliggjøre raskere oppdebygging av angrepet.

• Sideveksling av brukerrapporterte phishing i skala: En stor virksomhet mottar hundrevis av brukerrapporterte phishing-e-poster hver dag. Phishing-triageagenten evaluerer autonomt hver innsending, klassifiserer den som en ekte trussel eller en falsk positiv, og gir en naturlig språkbegrunnelse for sin besluttsomhet. SOC-analytikere kan deretter fokusere tiden sin på bekreftede trusler i stedet for å manuelt gjennomgå hver rapporterte e-post, noe som forbedrer både responshastigheten og analytikereffektiviteten.

• Gjør det mulig for junioranalytikere å utføre avansert trusseljakt: Et statlig byrås SOC-team inkluderer analytikere som ennå ikke er dyktige i KQL. Ved hjelp av spørringsassistenten for naturlig språk kan disse analytikerne beskrive hva de leter etter på vanlig engelsk, og Copilot genererer riktig KQL-spørring. Dette gjør det mulig for mindre erfarne teammedlemmer å delta i proaktiv trusseljakt sammen med senioranalytikere, noe som utvider lagets dekning uten ekstra opplæringskostnader.

• Analysere obfuscated skript og mistenkelige filer: Under en undersøkelse av et potensielt ransomware-angrep møter en analytiker et obfuscated PowerShell-skript. I stedet for å stole på eksterne analyseverktøy eller vente på et seniorteammedlem, bruker analytikeren Copilots skriptanalyseevne til å motta en vanlig språkforklaring av skriptets oppførsel, risikonivået og MITRE ATT-&CK-teknikkene den bruker. Dette forkorter tiden betydelig for å avgjøre om skriptet er skadelig og hvilke utbedringstrinn som er nødvendige.

• Hold deg i forkant av nye trusler med etterretningsorienteringer: Et sikkerhetsteam i en helseorganisasjon ønsker å holde seg informert om trusselaktører og sårbarheter som er relevante for deres bransje. Threat Intelligence Briefing Agent leverer planlagte, tilpassede orienteringer som oppsummerer den nyeste trusselaktøraktiviteten, utnyttelsestrender og avsløringer av sårbarheter, slik at teamet proaktivt kan justere sitt forsvar og prioritere patching-innsats.

• Effektivisere hendelsesdokumentasjon og rapportering: Etter å ha løst en kompleks hendelse med flere varsler, må et sikkerhetsteam produsere en detaljert hendelsesrapport for samsvar og gjennomgang av ledelsen. Copilot kompilerer automatisk hendelsen tidslinje, responshandlinger, analytikere involvert, og klassifisering resonnement i en strukturert rapport som kan eksporteres til PDF, sparer analytikere betydelig tid på dokumentasjon.

• Vurdering av identitets- og enhetsrisiko under undersøkelser: Mens han undersøker en mistenkelig påloggingshendelse, bruker en analytiker Copilot til å generere et identitetssammendrag som fremhever brukerens rolle, nylige rolleendringer, påloggingsmønstre og risikoflagg fra Microsoft Entra ID. Analytikeren genererer også et enhetssammendrag for endepunktet som er involvert, og avslører sårbar programvare og uvanlig aktivitet. Sammen gjør disse sammendragene det mulig for analytikeren å raskt bestemme omfanget av kompromisset og iverksette målrettede tiltak.

Modeller og opplæringsdata

Microsoft Defender utvider Microsoft Security Copilot, og utnytter sine eksisterende agenter og underliggende AI-modeller. Derfor er det avhengig av eventuelle eksterne konfigurasjoner som disse gir. For eksempel modellvalg for Microsoft Security Copilot for den innebygde ledetekstopplevelsen for naturlig språk. Hvis du vil ha mer informasjon, kan du se Microsoft Security Copilot Vanlige spørsmål om ansvarlig kunstig intelligens.

Kundedata deles ikke med OpenAI eller brukes til å lære opp Azure OpenAI foundation-modeller. Administratorer har full kontroll over hvordan organisasjonens data brukes, inkludert om Microsoft kan registrere data for produktvalidering eller forbedring av ai-modell for sikkerhet. Innstillinger for datadeling kan konfigureres når som helst, og kundedata lagres i den geografiske plasseringen som velges under konfigurasjonen. Hvis du vil ha detaljert informasjon om databehandling, lagring, oppbevaring og delingskontroller, kan du se Personvern og datasikkerhet i Microsoft Security Copilot.

Ytelse

Microsoft Copilot i Microsoft Defender er utformet for å fungere pålitelig på tvers av en rekke sikkerhetsundersøkelser og responsarbeidsflyter i Microsoft Defender-portalen. Programmet opererer i miljøer der sikkerhetsanalytikere samhandler med hendelsesdata, varsler, trusselintelligens, enhets- og identitetsinformasjon, filmetadata og skript. Copilot behandler tekstbaserte inndata, inkludert spørsmål om naturlig språk, skriptinnhold og strukturerte sikkerhetsdata, og genererer tekstbaserte utdata som sammendrag, anbefalinger, KQL-spørringer, rapporter og klassifiseringsvurderinger. Den behandler eller genererer ikke bilde-, video- eller lydinnhold.

Programmet er utformet og evaluert hovedsakelig for bruk på engelsk. Analytikere som sender inn ledetekster og gjennomgår Copilot-genererte utdata på engelsk, kan forvente det høyeste nivået av nøyaktighet og sammenheng. Selv om Microsoft Defender-portalen støtter flere språk for det bredere grensesnittet, er Copilots naturlige språkforståelse og generasjonsfunksjoner optimalisert for engelsk. Bruk av språk som ikke støttes, kan føre til redusert nøyaktighet eller mindre relevante utdata, og brukerne bør være forsiktige når de opererer utenfor det tiltenkte språkomfanget.

Copilot i Defender yter best når analytikere samhandler med den i de tiltenkte undersøkelsesarbeidsflytene, for eksempel å åpne en hendelsesside for å motta et sammendrag, be om veiledede svar under triage eller skrive inn et naturlig språkspørsmål i assistenten for avansert jaktspørring. Programmet drar nytte av data fra arbeidsbelastningene som Microsoft Defender skjermer, inkludert Microsoft Defender for endepunkt, Microsoft Defender for identitet, Microsoft Defender for Office 365, Microsoft Defender for Cloud Apps og Microsoft Defender Vulnerability Management samt Microsoft Sentinel data når de er tilgjengelige. Kvaliteten og fullføringen av Copilot-utdata avhenger av tilgjengeligheten og rikdommen til data i kundens miljø.

Ytelsen påvirkes også av kompleksiteten til inndataene. Enkle, tydelig begrensede ledetekster har en tendens til å gi mer nøyaktige og gjennomførbare resultater, mens ledetekster som er tvetydige, ekstremt lange eller utenfor sikkerhetsdomenet, kan gi mindre relevante utdata. For autonome agenter som Phishing Triage Agent og Dynamic Threat Detection Agent måles ytelsen gjennom klassifiseringsnøyaktighet og gjenkjenningspresisjon, med kontinuerlig forbedring drevet av tilbakemeldinger fra analytikere og pågående modellforbedring.

Begrensninger

Å forstå Microsoft Copilot i begrensningene til Microsoft Defender er avgjørende for å avgjøre om den brukes innenfor trygge og effektive grenser. Selv om vi oppfordrer kunder til å dra nytte av Microsoft Copilot i Microsoft Defender i sine innovative løsninger eller programmer, er det viktig å merke seg at Microsoft Copilot i Microsoft Defender ikke ble utformet for alle mulige scenarioer. Vi oppfordrer brukere til å referere til enten Microsoft Enterprise AI Services Code of Conduct (for organisasjoner) eller delen Regler for god oppførsel i Microsofts tjenesteavtale (for enkeltpersoner) samt følgende vurderinger når de velger et brukstilfelle:

• Sikkerhetsdomeneomfang: Microsoft Copilot i Microsoft Defender er utformet for å generere svar relatert til sikkerhetsdomenet, for eksempel hendelsesundersøkelse, trusselintelligens og trusseljakt. Spørsmål utenfor sikkerhetsomfanget kan resultere i svar som mangler nøyaktighet og omfattendehet. Brukere bør sørge for at bruken av Copilot er begrenset til sikkerhetsrelaterte oppgaver i Microsoft Defender-portalen.

• Engelsk språkoptimalisering: Copilot i Defender ble utviklet og evaluert hovedsakelig på engelsk. Bruk av språk som ikke støttes, kan føre til redusert nøyaktighet, mindre relevante utdata eller ufullstendige svar. Brukere bør være forsiktige når de opererer utenfor det tiltenkte språkomfanget og kontrollerer utdataene nøye i disse scenariene.

• Nøyaktighet for kodegenerering: Copilot i Defender kan generere kode eller inkludere kodesnutter, for eksempel KQL-spørringer, i svarene. Selv om disse utdataene virker gyldige, er de kanskje ikke alltid semantisk eller syntaktisk korrekte, eller de gjenspeiler kanskje ikke analytikerens hensikt nøyaktig. Brukere bør alltid se gjennom, teste og validere eventuell generert kode før de bruker den i produksjon, ved å følge de samme forholdsregler som de ville gjort med en hvilken som helst kode som de ikke uavhengig skrev: streng testing, IP-skanning og kontroll av sikkerhetsproblemer.

• Betingelser for ledetekstlengde: Systemet kan kanskje ikke behandle veldig lange ledetekster, for eksempel de som inneholder hundretusener av tegn. Analytikere bør holde ledetekster konsise og godt omfang for best resultat.

• Ventetid og kapasitet for svar: Generering og verifisering av svar kan ta tid, opptil flere minutter i noen tilfeller, og krever betydelig databehandlingskapasitet. Bruk kan være underlagt kapasitetsbegrensning, spesielt i perioder med høy etterspørsel. Brukere bør planlegge potensielle forsinkelser når de er avhengige av Copilot for tidssensitive oppgaver.

• Nøyaktighet for ai-generert utdata: Som enhver AI-drevet teknologi får ikke Copilot i Defender alt riktig. Utdata kan være unøyaktige, ufullstendige, forutinntatte eller feiljusterte med analytikerens hensikt. Dette kan oppstå på grunn av tvetydighet i inndata, begrensninger for de underliggende modellene eller hull i tilgjengelige data. Brukere bør alltid se gjennom Copilot-generert innhold før de handler på det, og bruke de innebygde tilbakemeldingsverktøyene til å rapportere unøyaktige eller problematiske utdata.

• Samsvar med offentlig kode: Copilot i Defender genererer kode probabilistically, og selv om sannsynligheten for å produsere kode som samsvarer med offentlig tilgjengelig kode er lav, er det mulig. Brukere bør ta forholdsregler for å sikre egnethet og originalitet, inkludert streng testing, IP-skanning og kontroll av sikkerhetsproblemer.

• Ikke en erstatning for menneskelig dømmekraft: Copilot i Defender er utformet for å hjelpe, ikke erstatte, sikkerhetsanalytikere. Alle anbefalinger, sammendrag og klassifiseringer bør gjennomgås av en kvalifisert analytiker før det iverksettes tiltak, spesielt for følgebeslutninger som innesikting, utbedring eller eskalering.

Evalueringer

Ytelses- og sikkerhetsevalueringer vurderer om AI-programmer fungerer pålitelig og sikkert ved å undersøke faktorer som jordethet, relevans og sammenheng samtidig som de identifiserer risikoen ved å generere skadelig innhold. Følgende evalueringer ble utført med sikkerhetskomponenter som allerede er på plass, som også er beskrevet i sikkerhetskomponenter og begrensninger.

Ytelses- og kvalitetsevalueringer

Ytelsesevalueringer for AI-programmer er avgjørende for å forbedre påliteligheten i virkelige programmer. Måledata som jording, relevans og sammenheng bidrar til å vurdere nøyaktigheten og konsistensen til AI-genererte utdata, slik at de faktisk støttes i jordede innholdsscenarioer, kontekstuelt passende og logisk strukturert. For Microsoft Copilot i Microsoft Defender gjennomførte vi ytelsesevalueringer for følgende måledata, som er tilgjengelige via Microsoft Foundry:

• Jordethet
• Sammenheng
• Flyt
• Likheten

Evalueringsmetoder for ytelse og kvalitet

Ytelsesevalueringer for Microsoft Copilot i Microsoft Defender ble utført på tekstbaserte utdata generert på tvers av hele spekteret av støttede funksjoner, inkludert hendelsesoppsummering, veiledede svar, skript- og filanalyse, identitets- og enhetsoppsummering, KQL-spørringsgenerering og trusselintelligensorienteringer. Evalueringer brukte ai-assisterte automatiserte evaluatorer som er tilgjengelige gjennom Microsoft Foundry, brukt mot kuraterte datasett av realistiske sikkerhetsundersøkelsesscenarioer hentet fra syntetiske og representative virkelige innganger.

Jording måler om genererte utdata faktisk støttes av kildedataene som er tilgjengelige i miljøet, for eksempel hendelsesvarsler, trusselintelligenssignaler og sikkerhetstelemetri. Et ideelt resultat er et resultat der alle krav i utdataene kan spores til og samsvare med de underliggende dataene. Et suboptimalt resultat inneholder krav som er fabrikkert, hallusinert eller inkonsekvent med kildedataene som leveres til modellen.

Sammenheng måler den logiske strukturen, klarheten og den interne konsistensen til genererte utdata. Et ideelt resultat er godt organisert, lett å følge, og fri for motsetninger. Et suboptimalt resultat er usammenhengende, selvmotsigende eller vanskelig for en analytiker å tolke og handle på.

Flyt måler grammatisk korrekthet og lingvistisk kvalitet på generert tekst. Et ideelt resultat leser naturlig og er fri for grammatiske feil eller vanskelige konstruksjoner. Et suboptimalt resultat inneholder grammatiske feil eller uttrykk som hindrer lesbarhet eller analytikerforståelse.

Likhet måler graden av justering mellom genererte utdata og referanseutdata produsert av fageksperter for de samme inndataene. Et ideelt resultat gjenspeiler nøye hensikten, dekningen og nøyaktigheten til ekspertreferansen. Et suboptimalt resultat avviker betydelig fra det forventede svaret i innhold, omfang eller nøyaktighet.

Hver måleverdi ble scoret på numerisk skala ved hjelp av AI-assisterte dommere kalibrert mot menneskelige merknader. Evalueringer ble kjørt iterativt på tvers av datasettoppdateringer for å spore kvalitet over tid og støtte kontinuerlig forbedring.

Risiko- og sikkerhetsevalueringer

Evaluering av potensielle risikoer knyttet til ai-generert innhold er avgjørende for å beskytte mot innholdsrisiko med varierende grad av alvorlighetsgrad. Dette inkluderer evaluering av et AI-programs predisposisjon mot generering av skadelig innhold eller testing av sårbarheter til jailbreak-angrep. For Microsoft Copilot i Microsoft Defender gjennomførte vi risiko- og sikkerhetsevalueringer for følgende måledata som er tilgjengelige via Microsoft Foundry:

• Hat og urettferdighet
• Seksuell
• Vold
• Selvskading
• Beskyttet materiale
• Indirekte jailbreak
• Direkte jailbreak
• Kodesårbarhet
• Ujordede attributter

Evalueringsmetoder for risiko og sikkerhet

Risiko- og sikkerhetsevalueringer for Microsoft Copilot i Microsoft Defender ble utført ved hjelp av adversarial datasett og AI-assisterte klassifiers tilgjengelig gjennom Microsoft Foundry, brukt på tekstbaserte inndata og utganger. Adversarial ledetekster ble laget for å simulere forsøk på å fremkalle skadelig, policy-brudd eller off-topic innhold på tvers av en rekke risikokategorier. Utdata ble oppnådd for tilstedeværelse av slikt innhold ved hjelp av klassifiere som er opplært og kalibrert til Microsofts sikkerhetsstandarder.

Hat og urettferdighet vurderer om utdataene inneholder nedsettende, diskriminerende eller prejudicial innhold rettet mot enkeltpersoner eller grupper basert på beskyttede egenskaper. Et ideelt resultat inneholder ikke noe slikt innhold. Et suboptimalt resultat inkluderer språk som nedverdiger, stereotypier eller urettferdig karakteriserer enkeltpersoner eller grupper.

Seksuell evaluerer om utdata inneholder seksuelt eksplisitt eller upassende innhold. Et ideelt resultat inneholder ikke noe slikt innhold. Et suboptimalt resultat inkluderer språk av seksuell natur som er upassende for en profesjonell sikkerhetsoperasjonskontekst.

Vold vurderer om utdataene inneholder innhold som forherliger, instruerer eller oppfordrer til voldelige handlinger. Et ideelt resultat inneholder ikke noe slikt innhold. Et suboptimalt resultat inkluderer språk som fremmer eller forenkler skade på enkeltpersoner eller grupper.

Selvskading evaluerer om utdata inneholder innhold som fremmer, instruerer eller oppfordrer til selvskading. Et ideelt resultat inneholder ikke noe slikt innhold. Et suboptimalt resultat inkluderer språk som kan bidra til selvskading.

Beskyttet materiale evaluerer om utdata gjengir opphavsrettsbeskyttet tekst, kode eller annet beskyttet innhold ordrett eller på en måte som skaper juridisk eksponering. Et ideelt resultat gjengir ikke beskyttet materiale. Et suboptimalt resultat inneholder ordrett reproduksjon av tredjeparts beskyttet innhold.

Indirekte jailbreak evaluerer programmets robusthet for å be om injeksjonsangrep innebygd i eksternt innhold, for eksempel data hentet fra e-postmeldinger, dokumenter eller sikkerhetsvarsler, som forsøker å omdirigere modellens virkemåte. Et ideelt resultat er et resultat der modellen ikke følger injiserte instruksjoner. Et suboptimalt resultat er et resultat der injiserte instruksjoner endrer modellens utdata eller virkemåte.

Direkte jailbreak evaluerer programmets motstandskraft mot eksplisitte forsøk fra brukere på å omgå sikkerhetsbegrensninger, overstyre systeminstruksjoner eller fremkale innhold utenfor programmets tiltenkte omfang. Et ideelt resultat er et resultat der modellen nekter eller håndterer slike forsøk på riktig måte. Et suboptimalt resultat er et resultat der modellen overholder instruksjonene som er utformet for å omgå sikkerhetskontroller.

Kodesårbarhet evaluerer om genererte kodeutdata, for eksempel KQL-spørringer eller skriptsnutter, inneholder sikkerhetsproblemer som kan utsette analytikeren eller deres miljø for risiko. Et ideelt resultat er kode som er fri for utnyttelige sårbarheter. Et suboptimalt resultat inneholder kode med kjente sårbarhetsmønstre, for eksempel injeksjonsrisiko eller usikre konstruksjoner.

Ujordede attributter evaluerer om utdata tilordner egenskaper, virkemåter eller attributter til enheter, for eksempel brukere, enheter eller trusselaktører, som ikke støttes av de underliggende dataene. Et ideelt resultat attributterer bare det som fremgår av de tilgjengelige sikkerhetsdataene. Et suboptimalt resultat produserer eller utleder attributter uten bevisgrunnlag, noe som kan føre til at en analytiker får feil konklusjoner.

Hver måleverdi ble scoret ved hjelp av AI-assisterte klassifiere, med poengsummer kalibrert mot menneskelige merknader. Evalueringer ble gjennomført iterativt og informert om utformingen av sikkerhetsbegrensninger som er beskrevet i sikkerhetskomponenter og begrensninger.

Evalueringsdata for kvalitet og sikkerhet

Evalueringsdataene våre er spesialbygd for å vurdere ytelsen til kunstig intelligens på tvers av viktige områder av sikkerhet og kvalitet, som simulerer virkelige scenarier og risikoer. Vi begynner med å identifisere relevante evalueringsaspekter av bekymring basert på tverrfaglige undersøkelser og ekspertinndata. Disse bekymringene oversettes til målrettede evalueringsmål og veileder formuleringen av evalueringsmåledata. For sikkerhets skyld oppretter vi motstridende ledetekster for å frembringe uønskede eller edge-case-svar, som deretter blir scoret ved hjelp av AI-assisterte merknader som er opplært til å vurdere justering med Microsofts sikkerhetsstandarder. For kvalitet lager vi rubrikkbaserte ledetekster som er relevante for scenarioer, inkludert evaluering av henting-utvidet generasjon (RAG) programmer og agenter. Datasett er kuratert fra ulike kilder, inkludert syntetiske og offentlige datasett for å simulere virkelige brukerscenarioer. Ved hjelp av de kuraterte datasettene gjennomgår begge evalueringene iterativ forbedring og menneskelig justering for å forbedre metrisk effekt og pålitelighet. Denne metodikken danner grunnlaget for repeterbare, strenge vurderinger som gjenspeiler hvordan kundene bruker evalueringer til å bygge bedre og tryggere kunstig intelligens.

Egendefinerte evalueringer

Microsoft Copilot i Microsoft Defender gjennomgikk betydelig tilpasset evaluering og testing før utgivelsen. Dette inkluderte omfattende rød teaming, en praksis der dedikerte team tester produktet grundig for å identifisere feilmoduser og scenarier som kan føre til at programmet produserer utdata utenfor de tiltenkte bruksområdene, eller som ikke samsvarer med Microsoft AI-prinsippene. Røde teamøvelser ble utformet for å evaluere programmets motstandskraft mot motstridende innganger, forsøk på å fremkalle skadelig innhold eller off-topic innhold, og edge-case scenarier som kan kompromittere sikkerhet eller pålitelighet.

I tillegg til rød teaming gjennomførte Microsoft iterativ testing på tvers av hele utvalget av Copilot i Defender-funksjoner, inkludert hendelsesoppsummering, veiledede svar, skriptanalyse, filanalyse, identitet og enhetsoppsummering, KQL-spørringsgenerering og trusselintelligensorienteringer. Disse evalueringene vurderte nøyaktigheten, jordingen, relevansen og sammenhengen til genererte utdata på tvers av tekstbaserte modaliteter (naturlig språk og KQL-kode). Et ideelt resultat er et resultat som faktisk er nøyaktig, jordet i tilgjengelige sikkerhetsdata, relevant for analytikerens spørring og tydelig strukturert. Et suboptimalt resultat vil være et som faktisk er feil, støttes ikke av dataene, irrelevant for analytikerens hensikt eller vanskelig å følge.

Et program med bare tidlig tilgang til invitasjon ga en ekstra evalueringsmekanisme, slik at virkelige brukere kunne samhandle med programmet og gi strukturerte tilbakemeldinger før generell tilgjengelighet. Tilbakemeldinger fra brukere, samlet inn via knappene «Mål ikke oppnådd», «Rapport» og «Bekreft» på hvert Copilot-svar, er et kontinuerlig evalueringssignal som Microsoft bruker til å identifisere kvalitetsproblemer og drive kontinuerlig forbedring. Evalueringen inkluderer også klassifiseringsnøyaktighetsmålinger og tilbakemeldinger fra analytikere om triage-beslutninger for kontinuerlig å begrense agentens ytelse for autonome agenter.

Sikkerhetskomponenter og begrensninger

• Rød teaming og adversarial testing: Før utgivelsen gjennomførte Microsoft omfattende rød teaming for å identifisere feilmoduser og betingelser der programmet kunne generere utdata utenfor det tiltenkte omfanget. Dedikerte team simulerte adversariale innspill, jailbreak-forsøk og edge-case-scenarier for å vurdere programmets motstandskraft og informere utformingen av sikkerhetskontroller.

• Design av mennesker i løkken: Copilot i Defender holder mennesker i sentrum for alle arbeidsflyter. Alle genererte utdata, inkludert sammendrag, anbefalinger, klassifiseringer og kode, presenteres for analytikere for gjennomgang før noen handling utføres. Denne utformingen sikrer at menneskelig dømmekraft er det endelige beslutningspunktet for alle sikkerhetsoperasjonsaktiviteter.

• Innholdsfiltrerings- og sikkerhetssystemer: Et flerlags sikkerhetssystem er utformet for å redusere generering av skadelig innhold og hindre misbruk. Dette omfatter skadelig innholdsmerknad, innholdsklassifierere og innebygde beskyttelser som beskytter både inndata og utdata for eksternt, skadelig eller på annen måte upassende innhold.

• Driftsovervåking: Microsoft overvåker kontinuerlig driftsytelsen til Copilot i Defender for å oppdage avvik, redusert ytelse og potensiell misbruk. Denne overvåkingen muliggjør rask identifisering og løsning av problemer som kan påvirke kvaliteten eller sikkerheten til programmet.

• Mekanisme for tilbakemelding fra brukere: Hvert Copilot-svar inkluderer tilbakemeldingskontroller, spesielt «Off-target», «Report» og «Confirm»-knapper, som gjør det mulig for analytikere å flagge unøyaktige, ufullstendige eller upassende utdata. Denne tilbakemeldingen går direkte til Microsoft og brukes til å forbedre kvaliteten og sikkerheten til programmet over tid.

• Omfangsgrensehåndhevelse: Copilot i Defender er utformet for å svare bare på spørsmål relatert til sikkerhetsdomenet. Spørsmål som faller utenfor omfanget av sikkerhetsoperasjoner, for eksempel forespørsler om ikke-relatert generell kunnskap eller ikke-sikkerhetsrelaterte oppgaver, håndteres med passende rekkverk for å redusere risikoen for å generere off-topic eller villedende innhold.

• Rollebasert tilgang og tillatelser: Tilgang til Copilot i Defender styres av rollebaserte tilgangskontroller. Brukere må ha klargjort tilgang til Microsoft Security Copilot, og bestemte funksjoner og agenter krever flere tillatelser, for eksempel sikkerhetsleser, sikkerhetsadministrator eller bestemte Microsoft Entra roller. Dette begrenser eksponering for autorisert personell og håndhever prinsippet om minst mulig privilegium.

• Gjennomsiktig resonnement for autonome agenter: For agentiske funksjoner som Phishing Triage Agent, gir programmet en gjennomsiktig begrunnelse for sine klassifiseringsvurderinger på naturlig språk, med detaljer om resonnementet og bevisene bak konklusjoner. En visuell fremstilling av resonneringsprosessen er også tilgjengelig, slik at analytikere kan forstå og verifisere agentens beslutningsprosess.

• Tilbakemeldingssløyfe for analytiker for agentisk KUNSTIG INTELLIGENS: Analytikere kan gi tilbakemelding om autonome agentklassifiseringer, for eksempel phishing-triage-beslutninger. Over tid bidrar denne tilbakemeldingen til å begrense agentens virkemåte for bedre å gjenspeile organisasjonskontekst, redusere falske positiver og forbedre nøyaktigheten til klassifiseringen.

• Overholdelse av EUs ai-lov: Microsoft er forpliktet til å overholde EUs ai-lov. Programmet er utviklet i tråd med Microsofts ansvarlige AI-Standard, som står for regulatoriske forslag, inkludert EUs ai-lov. Hvis du vil ha mer informasjon, kan du se Microsofts overholdelse av EUs ai-lov.

Anbefalte fremgangsmåter for distribusjon og innføring av Microsoft Copilot i Microsoft Defender

Ansvarlig kunstig intelligens er en delt forpliktelse mellom Microsoft og kundene. Mens Microsoft bygger AI-programmer med sikkerhet, rettferdighet og gjennomsiktighet i kjernen, spiller kundene en viktig rolle i å distribuere og bruke disse teknologiene ansvarlig i sine egne sammenhenger. For å støtte dette partnerskapet tilbyr vi følgende anbefalte fremgangsmåter for deployers og sluttbrukere for å hjelpe kunder med å implementere ansvarlig kunstig intelligens effektivt.

Distributører og sluttbrukere bør:

• Vær forsiktig og vurder resultater når du bruker Microsoft Copilot i Microsoft Defender for følgebeslutninger eller i sensitive domener: Følgebeslutninger er de som kan ha en juridisk eller betydelig innvirkning på en persons tilgang til utdanning, sysselsetting, finansielle plattformer, offentlige fordeler, helsetjenester, bolig, forsikring, juridiske plattformer, eller som kan resultere i fysisk, psykisk eller økonomisk skade. Sensitive domener som finansielle plattformer, helsetjenester og boliger krever spesiell omsorg på grunn av potensialet for uforholdsmessig innvirkning på ulike grupper av mennesker. Når du bruker kunstig intelligens til beslutninger på disse områdene, må du sørge for at berørte interessenter kan forstå hvordan beslutninger tas, anke beslutninger og oppdatere eventuelle relevante inndata.

• Vurder juridiske og regulatoriske hensyn: Kunder må evaluere potensielle spesifikke juridiske og regulatoriske forpliktelser når de bruker ai-plattformer og løsninger, som kanskje ikke passer for bruk i alle bransjer eller scenarioer. Ai-plattformer eller løsninger er i tillegg ikke utformet for og kan ikke brukes på måter som er forbudt i gjeldende vilkår for bruk og relevante regler for god oppførsel.

Sluttbrukere bør:

• Utøv menneskelig tilsyn når det passer: Menneskelig tilsyn er en viktig beskyttelse når du samhandler med AI-programmer. Selv om vi kontinuerlig forbedrer AI-programmene våre, kan AI fortsatt gjøre feil. Utdataene som genereres, kan være unøyaktige, ufullstendige, forutinntatte, feiljusterte eller irrelevante for dine tiltenkte mål. Dette kan skje på grunn av ulike årsaker, for eksempel tvetydighet i inndataene eller begrensningene til de underliggende modellene. Derfor bør brukere se gjennom svarene som genereres av Microsoft Copilot i Microsoft Defender, og kontrollere at de samsvarer med forventningene og kravene.

• Vær oppmerksom på risikoen for overavhengighet: Overavhengighet av kunstig intelligens skjer når brukere godtar feil eller ufullstendige AI-utdata, hovedsakelig fordi feil i AI-utdata kan være vanskelig å oppdage. For sluttbrukere kan overavhengighet føre til redusert produktivitet, tap av tillit, programoppgivelse, økonomisk tap, psykisk skade eller fysisk skade. Sikkerhetsanalytikere bør behandle Copilot-utdata som et utgangspunkt for undersøkelse, ikke som en endelig beslutning, og bør uavhengig verifisere kritiske funn før de tar følgehandlinger.

• Vær forsiktig når du utformer agentisk kunstig intelligens i sensitive domener: Brukere bør være forsiktige når de utformer og/eller distribuerer agentiske AI-programmer i sensitive domener der agenthandlinger er irreversible eller svært følgemessige. Ytterligere forholdsregler bør også tas når du oppretter autonom agentisk kunstig intelligens, som beskrevet videre i enten Microsoft Enterprise AI Services Code of Conduct (for organisasjoner) eller code of Conduct-delen i Microsofts tjenesteavtale (for enkeltpersoner).

• Gi tilbakemelding for å forbedre Copilot-kvaliteten: Når et svar er unøyaktig, ufullstendig eller uklart, kan du bruke knappene "Off-target" og "Report" til å flagge problematiske utdata. Når svarene er nyttige og nøyaktige, bruker du Bekreft-knappen. Disse tilbakemeldingskontrollene vises nederst i hvert Copilot-svar og hjelper Microsoft med å kontinuerlig forbedre programmets ytelse.

• Bruk klare og spesifikke ledetekster: Du får best resultat ved å sende inn ledetekster som er konsise, kontekstrike og relatert til sikkerhetsdomenet. I stedet for et vagt spørsmål som «Fortell meg om trusler», kan du for eksempel spørre «Oppsummer de nyeste trusselaktørene rettet mot helsesektoren de siste 30 dagene». Spesifikke ledetekster hjelper Copilot med å generere mer nøyaktige og handlingsbare resultater.

• Overvåk for ytelsesdrift: Hvis du ser en nedgang i kvaliteten på Copilot-utdata over tid, kan du rapportere problemet ved hjelp av tilbakemeldingsverktøyene. Konsekvent tilbakemelding hjelper Microsoft med å oppdage og adressere ytelsesdrift på tvers av brukerbasen.

Distributører bør:

• Sikre riktig tilgangsklargjøring og rolletilordning: Før du distribuerer Copilot i Defender, må du sørge for at brukere har klargjort tilgang til Microsoft Security Copilot med tilstrekkelig kapasitet for sikkerhetsdatabehandlingsenheter. Tilordne rollebaserte tillatelser ved hjelp av prinsippet om minst mulig rettighet, slik at analytikere, administratorer og agenter bare har tilgangen som kreves for deres ansvarsområder. For agentiske funksjoner som Phishing Triage Agent og Threat Intelligence Briefing Agent må du kontrollere at de nødvendige Microsoft Entra roller og forutsetninger er oppfylt før du aktiverer disse funksjonene.

• Last opp organisasjonsspesifikke svarretningslinjer: Administratorer kan laste opp egendefinerte svarretningslinjer som Copilot bruker til å skreddersy anbefalte svaranbefalinger til organisasjonens policyer og prosedyrer. Dette bidrar til å sikre at Copilots anbefalinger er på linje med organisasjonens sikkerhetsstilling og operasjonelle krav.

• Konfigurer innstillinger for hendelsessammendrag på riktig måte: Copilots automatiske hendelsesoppsummering kan konfigureres til å kjøre «Always», «Based on severity level» eller «On demand only». Distributører bør velge innstillingen som samsvarer med SOC-arbeidsflyten og beregne budsjettet for å balansere svartid med ressursforbruket.

• Test Copilot-funksjoner på tvers av miljøet ditt: Før du aktiverer Copilot bredt, bør du teste viktige funksjoner som hendelsesoppsummering, veiledede svar, skriptanalyse og generering av KQL-spørringer ved hjelp av realistiske data og scenarioer fra miljøet ditt. Valider at utdata er nøyaktige, relevante og gjennomførbare for bestemte arbeidsbelastninger og datakilder.

• Overvåk og se gjennom aktivitet for autonome agenter: For agentiske funksjoner som Phishing Triage Agent og Dynamic Threat Detection Agent kan du distribuere innledende overvåking for å se gjennom agentklassifiseringer og varsler. Sørg for at analytikere gjennomgår autonome bestemmelser og gir tilbakemelding, spesielt i løpet av den første distribusjonsperioden, for å kalibrere agenten til organisasjonens kontekst.

• Plan for databehandlingskapasitet og ventetid: Responsgenerering kan ta opptil flere minutter og krever GPU-kapasitet. Deployers should plan for potential latency during periods of high demand and communicate expected response times to analysts so they can plan their workflows accordingly.

Mer informasjon om Microsoft Copilot i Microsoft Defender

Hvis du vil ha mer veiledning eller lære mer om ansvarlig bruk av Microsoft Copilot i Microsoft Defender, anbefaler vi at du ser gjennom følgende dokumentasjon:

• Microsoft Sikkerhet Copilot i Microsoft Defender
• Hva er Microsoft Security Copilot?
• Personvern og datasikkerhet i Sikkerhet Copilot
• Microsofts overholdelse av EUs ai-lov
• Kom i gang med Sikkerhet Copilot

Mer informasjon om ansvarlig kunstig intelligens

• Microsoft AI prinsipper
• Ressurser for microsofts ansvarlige kunstig intelligens
• Opplæringskurs i Microsoft Azure om ansvarlig kunstig intelligens