Toepassingskaart: Microsoft Copilot in Microsoft Defender

Wat is een toepassingskaart?

De toepassings- en platformkaarten van Microsoft zijn bedoeld om u te helpen begrijpen hoe onze AI-technologie werkt, de keuzes die eigenaren van toepassingen kunnen maken die van invloed zijn op de prestaties en het gedrag van de toepassing, en het belang van het overwegen van de hele toepassing, inclusief de technologie, de mensen en de omgeving. Toepassingskaarten worden gemaakt voor AI-toepassingen en platformkaarten worden gemaakt voor AI-platformservices. Deze resources kunnen de ontwikkeling of implementatie van uw eigen toepassingen ondersteunen en kunnen worden gedeeld met gebruikers of belanghebbenden die hierdoor worden beïnvloed.

Als onderdeel van haar inzet voor verantwoorde AI houdt Microsoft zich aan zes kernprincipes: eerlijkheid, betrouwbaarheid en veiligheid, privacy en beveiliging, inclusiviteit, transparantie en verantwoordelijkheid. Deze principes zijn opgenomen in de Responsible AI Standard, die teams begeleidt bij het ontwerpen, bouwen en testen van AI-toepassingen. Toepassings- en platformkaarten spelen een belangrijke rol bij het operationeel maken van deze principes door transparantie te bieden over mogelijkheden, beoogde toepassingen en beperkingen. Voor meer inzicht worden lezers aangemoedigd om het rapport over verantwoordelijke AI-transparantie en de gedragscode van Microsoft te verkennen, waarin wordt beschreven hoe zakelijke klanten en individuen op verantwoorde wijze met AI kunnen omgaan.

Overzicht

Microsoft Copilot in Microsoft Defender is de integratie van Microsoft Security Copilot in de Microsoft Defender portal. Het is een op AI gebaseerde beveiligingstoepassing die is ontworpen om beveiligingsanalisten te helpen cyberbeveiligingsbedreigingen efficiënter en effectiever te onderzoeken en erop te reageren. Door grote taalmodellen te combineren met beveiligingsspecifieke gegevens en intelligentie, biedt Copilot in Defender contextuele inzichten, geautomatiseerde analyses en aanbevelingen die rechtstreeks kunnen worden uitgevoerd binnen de beveiligingswerkstromen die analisten elke dag gebruiken.

SOC-teams (Security Operations Center) krijgen te maken met steeds meer waarschuwingen, steeds geavanceerdere aanvallen en de uitdaging van het personeel van ervaren analisten. Copilot in Defender pakt deze uitdagingen aan door incidentonderzoek te versnellen, de tijd te verkorten die nodig is om complexe bedreigingen te analyseren en analisten op alle ervaringsniveaus in staat te stellen taken uit te voeren die traditioneel diepgaande expertise vereisen. De toepassing is gebaseerd op gegevens van de workloads die Microsoft Defender bewaakt, waaronder eindpunten, identiteiten, e-mail, cloudtoepassingen en meer, om relevante en contextuele hulp te bieden.

Microsoft Copilot in Microsoft Defender is bedoeld voor zakelijke klanten, met name beveiligingsanalisten, incident responders, bedreigingsjagers en bedreigingsinformatieanalisten die de Microsoft Defender-portal gebruiken om hun organisaties te beschermen. Zie Microsoft Security Copilot in Microsoft Defender voor meer informatie.

Sleuteltermen

De volgende tabel bevat een woordenlijst met belangrijke termen die betrekking hebben op Microsoft Copilot in Microsoft Defender.

Belangrijke functies of mogelijkheden

In de belangrijkste functies en mogelijkheden in de volgende tabel wordt beschreven waarvoor Microsoft Copilot in Microsoft Defender is ontworpen en hoe het wordt uitgevoerd voor ondersteunde taken.

Beoogd gebruik

Microsoft Copilot in Microsoft Defender kan in meerdere scenario's in verschillende branches worden gebruikt. Enkele voorbeelden van use cases zijn:

• Incidentonderzoek en -reactie versnellen: Een beveiligingsanalist bij een organisatie in de financiële dienstverlening ontvangt een incidentwaarschuwing met hoge ernst met meerdere gecorreleerde waarschuwingen voor eindpunten en e-mail. Met Behulp van Copilot ontvangt de analist onmiddellijk een samenvatting van de tijdlijn van de aanval, de betrokken assets en de indicatoren van inbreuk. Copilot biedt vervolgens aanbevelingen voor begeleide reacties om de bedreiging te beperken en getroffen systemen te herstellen, waardoor de onderzoekstijd wordt verkort van uren tot minuten en de aanval sneller wordt ingeperkt.

• Door de gebruiker gerapporteerde phishing op schaal te trigeren: Een grote onderneming ontvangt elke dag honderden door de gebruiker gerapporteerde phishing-e-mails. De phishing triageagent evalueert elke inzending autonoom, classificeert deze als een echte bedreiging of een fout-positief en biedt een natuurlijke taalredenering voor de bepaling ervan. SOC-analisten kunnen hun tijd vervolgens richten op bevestigde bedreigingen in plaats van elke gerapporteerde e-mail handmatig te controleren, waardoor zowel de reactiesnelheid als de efficiëntie van analisten worden verbeterd.

• Junior analisten in staat stellen geavanceerde opsporing van bedreigingen uit te voeren: Het SOC-team van een overheidsinstantie bestaat uit analisten die nog niet bekwaam zijn in KQL. Met behulp van de query in natuurlijke taal assistent kunnen deze analisten in gewoon Engels beschrijven wat ze zoeken en genereert Copilot de juiste KQL-query. Hierdoor kunnen minder ervaren teamleden samen met senior analisten deelnemen aan proactieve opsporing van bedreigingen, waardoor de dekking van het team wordt uitgebreid zonder extra trainingsoverhead.

• Verborgen scripts en verdachte bestanden analyseren: Tijdens een onderzoek naar een mogelijke ransomware-aanval krijgt een analist te maken met een verborgen PowerShell-script. In plaats van te vertrouwen op externe analysehulpprogramma's of te wachten op een senior teamlid, gebruikt de analist de mogelijkheid voor scriptanalyse van Copilot om een eenvoudige uitleg te ontvangen over het gedrag van het script, het risiconiveau en de MITRE ATT-&CK-technieken die het gebruikt. Dit verkort de tijd om te bepalen of het script schadelijk is en welke herstelstappen nodig zijn.

• Blijf opkomende bedreigingen voor met intelligence briefings: Een beveiligingsteam van een gezondheidszorgorganisatie wil op de hoogte blijven van bedreigingsactoren en beveiligingsproblemen die relevant zijn voor hun branche. De Threat Intelligence Briefing Agent biedt geplande, aangepaste briefings die een overzicht geven van de meest recente activiteit van bedreigingsacteuren, exploitatietrends en openbaarmakingen van beveiligingsproblemen, zodat het team proactief hun verdediging kan aanpassen en prioriteit kan geven aan patchingsinspanningen.

• Documentatie en rapportage van incidenten stroomlijnen: Nadat een complex incident met meerdere waarschuwingen is opgelost, moet een beveiligingsteam een gedetailleerd incidentrapport opstellen voor naleving en beoordeling door leidinggevenden. Copilot compileert automatisch de tijdlijn voor incidenten, reactieacties, betrokken analisten en classificatiereden in een gestructureerd rapport dat kan worden geëxporteerd naar PDF, waardoor analisten veel tijd besparen op documentatie.

• Identiteits- en apparaatrisico's beoordelen tijdens onderzoeken: Tijdens het onderzoeken van een verdacht aanmeldingsincident gebruikt een analist Copilot om een identiteitsoverzicht te genereren waarin de rol van de gebruiker, recente rolwijzigingen, aanmeldingspatronen en risicovlagmen van Microsoft Entra ID worden gemarkeerd. De analist genereert ook een apparaatoverzicht voor het betrokken eindpunt, waarbij kwetsbare software en ongebruikelijke activiteiten worden onthuld. Samen stellen deze samenvattingen de analist in staat om snel het bereik van het compromis te bepalen en gerichte actie te ondernemen.

Modellen en trainingsgegevens

Microsoft Defender breidt Microsoft Security Copilot uit, waarbij gebruik wordt gemaakt van de bestaande agents en onderliggende AI-modellen. Als zodanig is het afhankelijk van elke externe configuratie die deze bieden. Bijvoorbeeld: modelkeuze voor Microsoft Security Copilot voor de ingesloten promptervaring voor natuurlijke taal. Zie veelgestelde vragen over verantwoordelijke AI Microsoft Security Copilot voor meer informatie.

Klantgegevens worden niet gedeeld met OpenAI of gebruikt om Azure OpenAI-basismodellen te trainen. Beheerders hebben volledige controle over hoe de gegevens van hun organisatie worden gebruikt, inclusief of Microsoft gegevens kan vastleggen voor productvalidatie of verbetering van het AI-beveiligingsmodel. Voorkeuren voor het delen van gegevens kunnen op elk gewenst moment worden geconfigureerd en klantgegevens worden opgeslagen op de geografische locatie die tijdens de installatie is geselecteerd. Zie Privacy en gegevensbeveiliging in Microsoft Security Copilot voor gedetailleerde informatie over gegevensverwerking, opslag, retentie en delen.

Prestatie

Microsoft Copilot in Microsoft Defender is ontworpen om betrouwbaar uit te voeren in verschillende werkstromen voor beveiligingsonderzoek en -respons in de Microsoft Defender-portal. De toepassing werkt in omgevingen waar beveiligingsanalisten communiceren met incidentgegevens, waarschuwingen, bedreigingsinformatie, apparaat- en identiteitsgegevens, bestandsmetagegevens en scripts. Copilot verwerkt invoer op basis van tekst, waaronder prompts in natuurlijke taal, scriptinhoud en gestructureerde beveiligingsgegevens, en genereert op tekst gebaseerde uitvoer, zoals samenvattingen, aanbevelingen, KQL-query's, rapporten en classificatiebeoordelingen. Er wordt geen afbeeldings-, video- of audio-inhoud verwerkt of gegenereerd.

De toepassing is voornamelijk ontworpen en geëvalueerd voor gebruik in het Engels. Analisten die prompts indienen en door Copilot gegenereerde uitvoer in het Engels bekijken, kunnen het hoogste niveau van nauwkeurigheid en coherentie verwachten. Hoewel de Microsoft Defender portal meerdere talen ondersteunt voor de bredere interface, zijn de mogelijkheden voor het begrijpen en genereren van natuurlijke taal van Copilot geoptimaliseerd voor Engels. Het gebruik van niet-ondersteunde talen kan leiden tot verminderde nauwkeurigheid of minder relevante uitvoer en gebruikers moeten voorzichtig zijn wanneer ze buiten het beoogde taalbereik werken.

Copilot in Defender presteert het beste wanneer analisten ermee communiceren binnen de beoogde onderzoekswerkstromen, zoals het openen van een incidentpagina voor het ontvangen van een samenvatting, het aanvragen van begeleide antwoorden tijdens triage of het invoeren van een vraag in natuurlijke taal in de geavanceerde opsporingsquery assistent. De toepassing maakt gebruik van gegevens van de workloads die Microsoft Defender bewaakt, waaronder Microsoft Defender voor Eindpunt, Microsoft Defender for Identity Microsoft Defender voor Office 365, Microsoft Defender for Cloud Apps en Microsoft Defender Vulnerability Management, evenals Microsoft Sentinel gegevens, indien beschikbaar. De kwaliteit en volledigheid van Copilot-uitvoer zijn afhankelijk van de beschikbaarheid en rijkdom van gegevens in de omgeving van de klant.

De prestaties worden ook beïnvloed door de complexiteit van de invoer. Eenvoudige, duidelijk bereikde prompts produceren meestal nauwkeurigere en uitvoerbare resultaten, terwijl prompts die dubbelzinnig, extreem lang of buiten het beveiligingsdomein zijn, minder relevante uitvoer kunnen opleveren. Voor autonome agents, zoals de Phishing Triage Agent en Dynamic Threat Detection Agent, worden de prestaties gemeten via classificatienauwkeurigheid en detectieprecisie, met continue verbetering op basis van feedback van analisten en doorlopende verfijning van het model.

Beperkingen

Inzicht in Microsoft Copilot in de beperkingen van Microsoft Defender is van cruciaal belang om te bepalen of het wordt gebruikt binnen veilige en effectieve grenzen. Hoewel we klanten aanmoedigen om Microsoft Copilot in Microsoft Defender te gebruiken in hun innovatieve oplossingen of toepassingen, is het belangrijk om te weten dat Microsoft Copilot in Microsoft Defender niet is ontworpen voor elk mogelijk scenario. We raden gebruikers aan om te verwijzen naar de Microsoft Enterprise AI Services-gedragscode (voor organisaties) of de sectie Gedragscode in de Microsoft-servicesovereenkomst (voor personen), evenals de volgende overwegingen bij het kiezen van een use-case:

• Bereik van beveiligingsdomein: Microsoft Copilot in Microsoft Defender is ontworpen om antwoorden te genereren met betrekking tot het beveiligingsdomein, zoals incidentonderzoek, bedreigingsinformatie en opsporing van bedreigingen. Prompts buiten het bereik van de beveiliging kan leiden tot antwoorden die niet nauwkeurig en volledig zijn. Gebruikers moeten ervoor zorgen dat hun gebruik van Copilot is beperkt tot beveiligingsgerelateerde taken binnen de Microsoft Defender portal.

• Optimalisatie van engelse taal: Copilot in Defender is voornamelijk in het Engels ontwikkeld en geëvalueerd. Het gebruik van niet-ondersteunde talen kan leiden tot verminderde nauwkeurigheid, minder relevante uitvoer of onvolledige antwoorden. Gebruikers moeten voorzichtig zijn wanneer ze buiten het beoogde taalbereik werken en de uitvoer in deze scenario's zorgvuldig controleren.

• Nauwkeurigheid van codegeneratie: Copilot in Defender kan code genereren of codefragmenten, zoals KQL-query's, opnemen in de antwoorden. Hoewel deze uitvoer geldig lijkt, zijn ze mogelijk niet altijd semantisch of syntactisch correct of komen ze mogelijk niet nauwkeurig overeen met de intentie van de analist. Gebruikers moeten gegenereerde code altijd controleren, testen en valideren voordat ze deze in productie gaan gebruiken, met dezelfde voorzorgsmaatregelen als bij code die ze niet onafhankelijk hebben geschreven: grondig testen, IP-scannen en controleren op beveiligingsproblemen.

• Beperkingen voor promptlengte: Het systeem kan mogelijk geen lange prompts verwerken, zoals prompts die honderdduizenden tekens bevatten. Analisten moeten prompts beknopt en goed afgestemd houden op de beste resultaten.

• Reactielatentie en capaciteit: Het genereren en verifiëren van antwoorden kan enige tijd duren, in sommige gevallen tot enkele minuten, en vereist een aanzienlijke rekencapaciteit. Gebruik kan onderhevig zijn aan capaciteitsbeperking, met name tijdens perioden met een hoge vraag. Gebruikers moeten potentiële vertragingen plannen wanneer ze afhankelijk zijn van Copilot voor tijdgevoelige taken.

• Nauwkeurigheid van door AI gegenereerde uitvoer: Net als elke AI-technologie, werkt Copilot in Defender niet helemaal goed. Uitvoer kan onnauwkeurig, onvolledig, bevooroordeeld of onjuist zijn afgestemd op de bedoeling van de analist. Dit kan het gevolg zijn van dubbelzinnigheid in invoer, beperkingen van de onderliggende modellen of hiaten in beschikbare gegevens. Gebruikers moeten altijd door Copilot gegenereerde inhoud controleren voordat ze hierop reageren en de ingebouwde feedbackhulpprogramma's gebruiken om onnauwkeurige of problematische uitvoer te rapporteren.

• Komt overeen met openbare code: Copilot in Defender genereert code probabilistisch, en hoewel de kans op het produceren van code die overeenkomt met openbaar beschikbare code laag is, is het mogelijk. Gebruikers moeten voorzorgsmaatregelen nemen om te zorgen voor geschiktheid en originaliteit, waaronder grondige tests, IP-scans en controle op beveiligingsproblemen.

• Geen vervanging voor menselijk oordeel: Copilot in Defender is ontworpen om beveiligingsanalisten te helpen, niet te vervangen. Alle aanbevelingen, samenvattingen en classificaties moeten worden beoordeeld door een gekwalificeerde analist voordat er actie wordt ondernomen, met name voor gevolgbeslissingen zoals insluiting, herstel of escalatie.

Evaluaties

Prestatie- en veiligheidsevaluaties beoordelen of AI-toepassingen betrouwbaar en veilig werken door factoren zoals gegrondheid, relevantie en samenhang te onderzoeken, terwijl de risico's van het genereren van schadelijke inhoud worden geïdentificeerd. De volgende evaluaties zijn uitgevoerd met al bestaande veiligheidsonderdelen, die ook worden beschreven in Veiligheidsonderdelen en -risicobeperkingen.

Prestatie- en kwaliteitsevaluaties

Prestatie-evaluaties voor AI-toepassingen zijn essentieel voor het verbeteren van hun betrouwbaarheid in toepassingen in de praktijk. Metrische gegevens zoals geaardheid, relevantie en samenhang helpen bij het beoordelen van de nauwkeurigheid en consistentie van door AI gegenereerde uitvoer, zodat ze feitelijk worden ondersteund in geaarde inhoudsscenario's, contextueel geschikt en logisch gestructureerd. Voor Microsoft Copilot in Microsoft Defender hebben we prestatie-evaluaties uitgevoerd voor de volgende metrische gegevens, die beschikbaar zijn via Microsoft Foundry:

• Aarding
• Samenhang
• Fluency
• Gelijkenis

Evaluatiemethoden voor prestaties en kwaliteit

Prestatie-evaluaties voor Microsoft Copilot in Microsoft Defender zijn uitgevoerd op tekst gebaseerde uitvoer die is gegenereerd in het volledige scala aan ondersteunde mogelijkheden, waaronder incidentsamenvatting, begeleide reacties, script- en bestandsanalyse, identiteits- en apparaatsamenvatting, het genereren van KQL-query's en briefings over bedreigingsinformatie. Evaluaties maakten gebruik van ai-ondersteunde geautomatiseerde evaluators die beschikbaar zijn via Microsoft Foundry, toegepast op gecureerde gegevenssets van realistische scenario's voor beveiligingsonderzoek op basis van synthetische en representatieve invoer uit de echte wereld.

Grondheid meet of gegenereerde uitvoer feitelijk wordt ondersteund door de brongegevens die beschikbaar zijn in de omgeving, zoals incidentwaarschuwingen, bedreigingsinformatiesignalen en beveiligingstelemetrie. Een ideaal resultaat is een resultaat waarin alle claims in de uitvoer kunnen worden getraceerd naar en consistent zijn met de onderliggende gegevens. Een suboptimaal resultaat bevat claims die zijn gemaakt, hallucineerd of inconsistent zijn met de brongegevens die aan het model worden verstrekt.

Coherentie meet de logische structuur, helderheid en interne consistentie van gegenereerde uitvoer. Een ideaal resultaat is goed georganiseerd, gemakkelijk te volgen en vrij van tegenstrijdigheden. Een suboptimaal resultaat is niet aaneengesloten, tegenstrijdig of moeilijk te interpreteren en te handelen voor een analist.

Vloeiendheid meet de grammaticale correctheid en taalkundige kwaliteit van gegenereerde tekst. Een ideaal resultaat leest natuurlijk en is vrij van grammaticale fouten of onhandige constructies. Een suboptimaal resultaat bevat grammaticale fouten of formuleringen die de leesbaarheid of het begrip van analisten belemmeren.

Overeenkomst meet de mate van afstemming tussen gegenereerde uitvoer en referentie-uitvoer die door deskundigen voor dezelfde invoer zijn geproduceerd. Een ideaal resultaat komt nauw overeen met de intentie, dekking en nauwkeurigheid van de deskundige verwijzing. Een suboptimaal resultaat wijkt aanzienlijk af van de verwachte reactie in inhoud, bereik of nauwkeurigheid.

Elke metrische waarde is beoordeeld op een numerieke schaal met behulp van ai-ondersteunde rechters die zijn gekalibreerd op basis van menselijke aantekeningen. Evaluaties zijn iteratief uitgevoerd voor gegevenssetupdates om de kwaliteit in de loop van de tijd bij te houden en continue verbetering te ondersteunen.

Risico- en veiligheidsevaluaties

Het evalueren van potentiële risico's in verband met door AI gegenereerde inhoud is essentieel voor bescherming tegen inhoudsrisico's met verschillende ernstgraden. Dit omvat het evalueren van de aanleg van een AI-toepassing voor het genereren van schadelijke inhoud of het testen van beveiligingsproblemen voor jailbreakaanvallen. Voor Microsoft Copilot in Microsoft Defender hebben we risico- en veiligheidsevaluaties uitgevoerd voor de volgende metrische gegevens die beschikbaar zijn via Microsoft Foundry:

• Haat en oneerlijkheid
• Seksuele
• Geweld
• Zelfbeschadiging
• Beveiligd materiaal
• Indirecte jailbreak
• Directe jailbreak
• Beveiligingsprobleem in code
• Niet-geaarde kenmerken

Risico- en veiligheidsevaluatiemethoden

Risico- en veiligheidsevaluaties voor Microsoft Copilot in Microsoft Defender zijn uitgevoerd met behulp van adversarial gegevenssets en ai-ondersteunde classificaties die beschikbaar zijn via Microsoft Foundry, toegepast op tekstgebaseerde invoer en -uitvoer. Er zijn adversariele prompts gemaakt om pogingen te simuleren om schadelijke, beleidsovertredende of off-topic-inhoud uit te lokken in een reeks risicocategorieën. Uitvoer is beoordeeld op de aanwezigheid van dergelijke inhoud met behulp van classificaties die zijn getraind en gekalibreerd volgens de veiligheidsnormen van Microsoft.

Haat en oneerlijkheid evalueert of uitvoer denigrerende, discriminerende of schadelijke inhoud bevat die gericht is op personen of groepen op basis van beschermde kenmerken. Een ideaal resultaat bevat dergelijke inhoud niet. Een suboptimaal resultaat omvat taal die individuen of groepen demeans, stereotypen of oneerlijk karakteriseert.

Seksueel evalueert of uitvoer seksueel expliciete of ongepaste inhoud bevat. Een ideaal resultaat bevat dergelijke inhoud niet. Een suboptimaal resultaat omvat taal van seksuele aard die niet geschikt is voor een professionele beveiligingsbewerkingscontext.

Met geweld wordt geëvalueerd of uitvoer inhoud bevat die gewelddadige acties verheerlijkt, opdraagt of aanmoedigt. Een ideaal resultaat bevat dergelijke inhoud niet. Een suboptimaal resultaat omvat taal die schade aan individuen of groepen bevordert of faciliteert.

Zelfbeschadiging evalueert of uitvoer inhoud bevat die zelfveroorzakend gedrag bevordert, instrueert of aanmoedigt. Een ideaal resultaat bevat dergelijke inhoud niet. Een suboptimaal resultaat bevat taal die kan bijdragen aan zelfbeschadiging.

Beveiligd materiaal evalueert of de uitvoer auteursrechtelijk beschermde tekst, code of andere beveiligde inhoud letterlijk reproduceert of op een manier die juridische blootstelling creëert. Een ideaal resultaat reproduceert geen beschermd materiaal. Een suboptimaal resultaat bevat een letterlijke reproductie van beveiligde inhoud van derden.

Indirecte jailbreak evalueert de tolerantie van de toepassing om injectieaanvallen te vragen die zijn ingesloten in externe inhoud, zoals gegevens die zijn opgehaald uit e-mailberichten, documenten of beveiligingswaarschuwingen, die proberen het gedrag van het model om te leiden. Een ideaal resultaat is een resultaat waarbij het model de ingespoten instructies niet volgt. Een suboptimaal resultaat is een resultaat waarin geïnjecteerde instructies de uitvoer of het gedrag van het model wijzigen.

Direct jailbreak evalueert de tolerantie van de toepassing voor expliciete pogingen van gebruikers om veiligheidsbeperkingen te omzeilen, systeeminstructies te overschrijven of inhoud buiten het beoogde bereik van de toepassing uit te lokken. Een ideaal resultaat is een resultaat waarbij het model dergelijke pogingen weigert of op de juiste manier afhandelt. Een suboptimaal resultaat is een resultaat waarbij het model voldoet aan de instructies die zijn ontworpen om veiligheidscontroles te omzeilen.

Met een beveiligingsprobleem met code wordt geëvalueerd of gegenereerde code-uitvoer, zoals KQL-query's of scriptfragmenten, beveiligingsproblemen bevatten die de analist of hun omgeving blootstellen aan risico's. Een ideaal resultaat is code die geen misbruikbare beveiligingsproblemen bevat. Een suboptimaal resultaat bevat code met bekende beveiligingspatronen, zoals injectierisico's of onveilige constructies.

Niet-geaarde kenmerken evalueren of uitvoer kenmerken, gedrag of kenmerken toewijst aan entiteiten, zoals gebruikers, apparaten of bedreigingsactoren, die niet worden ondersteund door de onderliggende gegevens. Een ideaal resultaat kenmerken alleen wat wordt aangetoond in de beschikbare beveiligingsgegevens. Een suboptimaal resultaat fabriceert of leidt kenmerken af zonder bewijsbasis, wat een analist tot onjuiste conclusies kan leiden.

Elk metrische gegeven is gescoord met ai-classificaties, waarbij scores zijn gekalibreerd op basis van menselijke aantekeningen. Evaluaties werden iteratief uitgevoerd en informeerden over het ontwerp van veiligheidsbeperkingen die worden beschreven in Veiligheidsonderdelen en -risicobeperkingen.

Evaluatiegegevens voor kwaliteit en veiligheid

Onze evaluatiegegevens zijn op maat gemaakt om de prestaties van AI-toepassingen te beoordelen op belangrijke gebieden van veiligheid en kwaliteit, waarbij scenario's en risico's in de praktijk worden gesimsimeerd. We beginnen met het identificeren van relevante evaluatieaspecten op basis van multi-disciplinair onderzoek en deskundige inbreng. Deze zorgen worden vertaald in gerichte evaluatiedoelstellingen en helpen bij het formuleren van metrische evaluatiegegevens. Voor de veiligheid maken we adversarial prompts om ongewenste of edge-case reacties uit te lokken, die vervolgens worden beoordeeld met behulp van AI-ondersteunde annotators die zijn getraind om de uitlijning met de veiligheidsnormen van Microsoft te beoordelen. Voor kwaliteit maken we op rubrieken gebaseerde prompts die relevant zijn voor scenario's, waaronder het evalueren van rag-toepassingen en -agents (Retrieval-Augmented Generation). Gegevenssets worden samengesteld uit diverse bronnen, waaronder synthetische en openbare gegevenssets om echte gebruikersscenario's te simuleren. Met behulp van de gecureerde gegevenssets ondergaan beide evaluaties een iteratieve verfijning en menselijke uitlijning om de werkzaamheid en betrouwbaarheid van metrische gegevens te verbeteren. Deze methodologie vormt de basis van herhaalbare, strikte evaluaties die laten zien hoe klanten evaluaties gebruiken om betere en veiligere AI te bouwen.

Aangepaste evaluaties

Microsoft Copilot in Microsoft Defender voorafgaand aan de release een aanzienlijke aangepaste evaluatie en tests ondergaan. Dit omvat uitgebreide red-teaming, een praktijk waarin toegewezen teams het product grondig testen om foutmodi en scenario's te identificeren die ertoe kunnen leiden dat de toepassing uitvoer produceert buiten het beoogde gebruik of die niet overeenkomen met de Microsoft AI Principes. Oefeningen voor rode koppeling zijn ontworpen om de tolerantie van de toepassing te evalueren tegen schadelijke invoer, pogingen om schadelijke of off-topic inhoud op te lokken en edge-casescenario's die de veiligheid of betrouwbaarheid in gevaar kunnen komen.

Naast red teaming heeft Microsoft iteratieve tests uitgevoerd voor het volledige bereik van Copilot in Defender-mogelijkheden, waaronder samenvatting van incidenten, begeleide reacties, scriptanalyse, bestandsanalyse, identiteit en apparaatsamenvatting, het genereren van KQL-query's en briefings over bedreigingsinformatie. Deze evaluaties evalueerden de nauwkeurigheid, gegrondheid, relevantie en samenhang van gegenereerde uitvoer in op tekst gebaseerde modaliteiten (natuurlijke taal en KQL-code). Een ideaal resultaat is een resultaat dat feitelijk nauwkeurig is, is gebaseerd op de beschikbare beveiligingsgegevens, relevant is voor de query van de analist en duidelijk is gestructureerd. Een suboptimaal resultaat is een resultaat dat feitelijk onjuist is, niet wordt ondersteund door de gegevens, niet relevant is voor de bedoeling van de analist of moeilijk te volgen is.

Een programma voor vroegtijdige toegang voor alleen-uitnodigingen bood een extra evaluatiemechanisme, waardoor gebruikers in de praktijk kunnen communiceren met de toepassing en gestructureerde feedback kunnen geven voordat ze algemeen beschikbaar zijn. Feedback van gebruikers, verzameld via de knoppen 'Off-target', 'Report' en 'Confirm' op elk Copilot-antwoord, is een doorlopend evaluatiesignaal dat Microsoft gebruikt om kwaliteitsproblemen te identificeren en continue verbetering te stimuleren. Voor autonome agents, zoals de Phishing Triage Agent, omvat de evaluatie ook metrische gegevens over classificatienauwkeurigheid en feedback van analisten over triagebeslissingen om de prestaties van de agent continu te verfijnen.

Veiligheidsonderdelen en -risicobeperkingen

• Rode koppeling en adversarial testen: Vóór de release heeft Microsoft uitgebreide red-teaming uitgevoerd om foutmodi en -omstandigheden te identificeren waaronder de toepassing uitvoer kon genereren buiten het beoogde bereik. Toegewezen teams hebben adversarial invoer, jailbreakpogingen en edge-casescenario's gesimuleerd om de tolerantie van de toepassing te beoordelen en het ontwerp van veiligheidscontroles te informeren.

• Human-in-the-loop-ontwerp: Copilot in Defender houdt mensen centraal in alle werkstromen. Alle gegenereerde uitvoer, inclusief samenvattingen, aanbevelingen, classificaties en code, worden ter beoordeling aan analisten gepresenteerd voordat er actie wordt ondernomen. Dit ontwerp zorgt ervoor dat menselijke beoordeling het uiteindelijke beslissingspunt is voor alle beveiligingsactiviteiten.

• Inhoudsfilters en veiligheidssystemen: Een meerlaags veiligheidssysteem is ontworpen om het genereren van schadelijke inhoud te beperken en misbruik te voorkomen. Dit omvat aantekening van schadelijke inhoud, inhoudsclassificaties en ingebouwde beveiligingen die zowel invoer als uitvoer controleren op off-topic, schadelijke of anderszins ongepaste inhoud.

• Operationele bewaking: Microsoft bewaakt continu de operationele prestaties van Copilot in Defender om afwijkingen, verminderde prestaties en mogelijk misbruik te detecteren. Deze bewaking maakt snelle identificatie en oplossing van problemen mogelijk die van invloed kunnen zijn op de kwaliteit of veiligheid van de toepassing.

• Mechanisme voor feedback van gebruikers: Elk Copilot-antwoord bevat besturingselementen voor feedback, met name 'Off-target', 'Report' en 'Confirm', waarmee analisten onnauwkeurige, onvolledige of aantelijke uitvoer kunnen markeren. Deze feedback gaat rechtstreeks naar Microsoft en wordt gebruikt om de kwaliteit en veiligheid van de toepassing in de loop van de tijd te verbeteren.

• Bereikgrens afdwingen: Copilot in Defender is ontworpen om alleen te reageren op prompts die betrekking hebben op het beveiligingsdomein. Prompts die buiten het bereik van beveiligingsbewerkingen vallen, zoals aanvragen voor niet-gerelateerde algemene kennis of niet-beveiligingstaken, worden behandeld met passende vangrails om het risico van het genereren van off-topic of misleidende inhoud te beperken.

• Op rollen gebaseerde toegang en machtigingen: Toegang tot Copilot in Defender wordt beheerd door op rollen gebaseerde toegangsbeheer. Gebruikers moeten toegang hebben tot Microsoft Security Copilot en specifieke functies en agents hebben aanvullende machtigingen nodig, zoals Beveiligingslezer, Beveiligingsbeheerder of specifieke Microsoft Entra rollen. Dit beperkt de blootstelling aan bevoegd personeel en dwingt het beginsel van minimale bevoegdheden af.

• Transparante redenering voor autonome agents: Voor agentische mogelijkheden, zoals de Phishing Triage-agent, biedt de toepassing een transparante logica voor de classificatiebeoordelingen in natuurlijke taal, met gedetailleerde informatie over de redenering en het bewijs achter de conclusies. Er is ook een visuele weergave van het redeneringsproces beschikbaar, zodat analisten het besluitvormingsproces van de agent kunnen begrijpen en controleren.

• Feedbacklus van analisten voor agentische AI: Analisten kunnen feedback geven over autonome agentclassificaties, zoals beslissingen voor phishing-triage. Na verloop van tijd helpt deze feedback het gedrag van de agent te verfijnen om de organisatiecontext beter weer te geven, fout-positieven te verminderen en de nauwkeurigheid van de classificatie te verbeteren.

• Naleving van DE AI-wet in de EU: Microsoft zet zich in voor naleving van de EU AI Act. De toepassing is ontwikkeld in overeenstemming met de verantwoordelijke AI-standaard van Microsoft, die rekening houdt met regelgevingsvoorstellen, waaronder de EU AI Act. Zie Naleving door Microsoft van de EU AI Act voor meer informatie.

Aanbevolen procedures voor het implementeren en overnemen van Microsoft Copilot in Microsoft Defender

Verantwoorde AI is een gedeelde toezegging tussen Microsoft en haar klanten. Terwijl Microsoft AI-toepassingen bouwt met veiligheid, eerlijkheid en transparantie als kern, spelen klanten een cruciale rol bij het implementeren en gebruiken van deze technologieën binnen hun eigen context. Ter ondersteuning van deze samenwerking bieden we de volgende aanbevolen procedures voor implementaties en eindgebruikers om klanten te helpen verantwoorde AI effectief te implementeren.

Implementaties en eindgebruikers moeten het volgende doen:

• Wees voorzichtig en evalueer resultaten bij het gebruik van Microsoft Copilot in Microsoft Defender voor gevolgbeslissingen of in gevoelige domeinen: gevolgbeslissingen zijn beslissingen die een juridische of aanzienlijke invloed kunnen hebben op de toegang van een persoon tot onderwijs, werkgelegenheid, financiële platforms, overheidsvoordelen, gezondheidszorg, huisvesting, verzekeringen, juridische platforms of die kunnen resulteren in fysieke, psychologische of financiële schade. Gevoelige domeinen, zoals financiële platforms, gezondheidszorg en huisvesting, vereisen speciale zorg vanwege de kans op onevenredige gevolgen voor verschillende groepen mensen. Wanneer u AI gebruikt voor beslissingen op deze gebieden, moet u ervoor zorgen dat betrokken belanghebbenden begrijpen hoe beslissingen worden genomen, beslissingen kunnen in beroep gaan en relevante invoergegevens kunnen bijwerken.

• Juridische en regelgevende overwegingen evalueren: Klanten moeten potentiële specifieke wettelijke en regelgevende verplichtingen evalueren bij het gebruik van AI-platforms en -oplossingen, die mogelijk niet geschikt zijn voor gebruik in elke branche of elk scenario. Bovendien zijn AI-platforms of -oplossingen niet ontworpen voor en mogen ze niet worden gebruikt op manieren die niet zijn toegestaan in toepasselijke servicevoorwaarden en relevante gedragscodes.

Eindgebruikers moeten het volgende doen:

• Beoefen menselijk toezicht wanneer dat nodig is: Menselijk toezicht is een belangrijke bescherming bij interactie met AI-toepassingen. Hoewel we onze AI-toepassingen continu verbeteren, kan AI nog steeds fouten maken. De gegenereerde uitvoer kan onnauwkeurig, onvolledig, bevooroordeeld, verkeerd uitgelijnd of niet relevant zijn voor uw beoogde doelen. Dit kan verschillende oorzaken hebben, zoals dubbelzinnigheid in de invoer of beperkingen van de onderliggende modellen. Als zodanig moeten gebruikers de antwoorden bekijken die worden gegenereerd door Microsoft Copilot in Microsoft Defender en controleren of ze voldoen aan hun verwachtingen en vereisten.

• Houd rekening met het risico van te veel afhankelijkheid: Te veel afhankelijkheid van AI treedt op wanneer gebruikers onjuiste of onvolledige AI-uitvoer accepteren, voornamelijk omdat fouten in AI-uitvoer mogelijk moeilijk te detecteren zijn. Voor eindgebruikers kan een te hoge afhankelijkheid leiden tot verminderde productiviteit, verlies van vertrouwen, stopzetting van toepassingen, financieel verlies, psychologische schade of fysieke schade. Beveiligingsanalisten moeten Copilot-uitvoer behandelen als een uitgangspunt voor onderzoek, niet als een definitieve vaststelling, en moeten kritieke bevindingen onafhankelijk controleren voordat ze gevolgacties ondernemen.

• Wees voorzichtig bij het ontwerpen van agentische AI in gevoelige domeinen: Gebruikers moeten voorzichtig zijn bij het ontwerpen en/of implementeren van agentische AI-toepassingen in gevoelige domeinen waar agentacties onomkeerbaar of zeer consequent zijn. Aanvullende voorzorgsmaatregelen moeten ook worden genomen bij het maken van autonome agentische AI, zoals verder wordt beschreven in de Microsoft Enterprise AI Services-gedragscode (voor organisaties) of de sectie Gedragscode in de Microsoft-servicesovereenkomst (voor personen).

• Feedback geven om de copilot-kwaliteit te verbeteren: Wanneer een antwoord onnauwkeurig, onvolledig of onduidelijk is, gebruikt u de knoppen 'Off-target' en 'Report' om problematische uitvoer te markeren. Als antwoorden nuttig en nauwkeurig zijn, gebruikt u de knop Bevestigen. Deze feedbackbesturingselementen worden onder aan elke Copilot-reactie weergegeven en helpen Microsoft de prestaties van de toepassing continu te verbeteren.

• Gebruik duidelijke en specifieke prompts: Voor de beste resultaten verzendt u prompts die beknopt, contextrijk en gerelateerd zijn aan het beveiligingsdomein. Stel bijvoorbeeld in plaats van een vage vraag zoals 'Vertel me over bedreigingen', 'De meest recente bedreigingsactoren voor de gezondheidszorg in de afgelopen 30 dagen samenvatten'. Specifieke prompts helpen Copilot nauwkeurigere en uitvoerbare resultaten te genereren.

• Controleren op prestatiedrift: Als u in de loop van de tijd een afname van de kwaliteit van Copilot-uitvoer ziet, meldt u het probleem met behulp van de feedbackhulpprogramma's. Consistente feedback helpt Microsoft prestatiedrift in het gebruikersbestand te detecteren en aan te pakken.

Implementaties moeten:

• Zorg voor de juiste toegangsinrichting en roltoewijzing: Voordat u Copilot implementeert in Defender, moet u ervoor zorgen dat gebruikers toegang hebben ingericht tot Microsoft Security Copilot met voldoende capaciteit voor security compute-eenheden. Wijs op rollen gebaseerde machtigingen toe met behulp van het principe van minimale bevoegdheden, zodat analisten, beheerders en agents alleen de toegang hebben die is vereist voor hun verantwoordelijkheden. Voor agentische mogelijkheden, zoals de Phishing Triage Agent en Threat Intelligence Briefing Agent, controleert u of aan de vereiste Microsoft Entra rollen en vereisten wordt voldaan voordat u deze functies inschakelt.

• Richtlijnen voor organisatiespecifieke reacties uploaden: Beheerders kunnen aangepaste antwoordrichtlijnen uploaden die Copilot gebruikt om aanbevelingen voor begeleide reacties aan te passen aan het beleid en de procedures van de organisatie. Dit zorgt ervoor dat de aanbevelingen van Copilot zijn afgestemd op de beveiligingspostuur en operationele vereisten van de organisatie.

• Instellingen voor het overzicht van incidenten op de juiste manier configureren: De automatische samenvatting van incidenten van Copilot kan worden geconfigureerd om 'Altijd', 'Gebaseerd op ernstniveau' of 'Alleen op aanvraag' uit te voeren. Implementaties moeten de instelling selecteren die overeenkomt met hun SOC-werkstroom en rekenbudget om reactiesnelheid te balanceren met resourceverbruik.

• Test de Mogelijkheden van Copilot in uw omgeving: Voordat u Copilot op grote lijnen inschakelt, moet u belangrijke mogelijkheden testen, zoals incidentsamenvatting, begeleide antwoorden, scriptanalyse en het genereren van KQL-query's met behulp van realistische gegevens en scenario's uit uw omgeving. Controleer of uitvoer nauwkeurig, relevant en geschikt is voor uw specifieke workloads en gegevensbronnen.

• Autonome agentactiviteit bewaken en controleren: Voor agentische mogelijkheden, zoals de Phishing Triage Agent en Dynamic Threat Detection Agent, implementeert u initiële bewaking om agentclassificaties en waarschuwingen te controleren. Zorg ervoor dat analisten autonome bepalingen beoordelen en feedback geven, met name tijdens de initiële implementatieperiode, om de agent te kalibreren op de context van uw organisatie.

• Rekencapaciteit en latentie plannen: Het genereren van reacties kan enkele minuten duren en vereist GPU-capaciteit. Implementaties moeten plannen voor potentiële latentie tijdens perioden met een hoge vraag en de verwachte reactietijden communiceren met analisten, zodat ze hun werkstromen dienovereenkomstig kunnen plannen.

Meer informatie over Microsoft Copilot in Microsoft Defender

Voor aanvullende richtlijnen of voor meer informatie over het verantwoorde gebruik van Microsoft Copilot in Microsoft Defender, raden we u aan de volgende documentatie te raadplegen:

• Microsoft Copilot voor Beveiliging in Microsoft Defender
• Wat is Microsoft Copilot voor beveiliging?
• Privacy en gegevensbeveiliging in Copilot voor beveiliging
• Naleving door Microsoft van de EU AI Act
• Aan de slag met Copilot voor beveiliging

Meer informatie over verantwoorde AI

• Microsoft AI principes
• Verantwoordelijke AI-resources van Microsoft
• Microsoft Azure Learning-cursussen over verantwoorde AI