Carte d’application : Microsoft Copilot dans Microsoft Defender

Qu’est-ce qu’une carte d’application ?

Les cartes d’application et de plateforme de Microsoft sont destinées à vous aider à comprendre le fonctionnement de notre technologie d’IA, les choix que les propriétaires d’applications peuvent faire qui influencent les performances et le comportement de l’application, et l’importance de prendre en compte l’ensemble de l’application, y compris la technologie, les personnes et l’environnement. Les cartes d’application sont créées pour les applications IA et les cartes de plateforme sont créées pour les services de plateforme IA. Ces ressources peuvent prendre en charge le développement ou le déploiement de vos propres applications et peuvent être partagées avec les utilisateurs ou les parties prenantes concernés.

Dans le cadre de son engagement envers l’IA responsable, Microsoft adhère à six principes fondamentaux : l’équité, la fiabilité et la sécurité, la confidentialité et la sécurité, l’inclusion, la transparence et la responsabilité. Ces principes sont incorporés dans le Standard d’IA responsable, qui guide les équipes dans la conception, la création et le test d’applications IA. Les cartes d’application et de plateforme jouent un rôle clé dans l’opérationnalisation de ces principes en offrant une transparence sur les fonctionnalités, les utilisations prévues et les limitations. Pour plus d’informations, les lecteurs sont encouragés à explorer le rapport de transparence de l’IA responsable et le code de conduite de Microsoft, qui décrivent comment les clients d’entreprise et les individus peuvent s’engager avec l’IA de manière responsable.

Vue d’ensemble

Microsoft Copilot dans Microsoft Defender est l’intégration de Microsoft Security Copilot dans le portail Microsoft Defender. Il s’agit d’une application de sécurité basée sur l’IA conçue pour aider les analystes de sécurité à examiner les menaces de cybersécurité et à y répondre de manière plus efficace et plus efficace. En combinant des modèles de langage volumineux avec des données et des informations spécifiques à la sécurité, Copilot dans Defender fournit des insights contextuels, des analyses automatisées et des recommandations actionnables directement dans les workflows de sécurité que les analystes utilisent chaque jour.

Les équipes du centre des opérations de sécurité (SOC) sont confrontées à des volumes croissants d’alertes, à des attaques de plus en plus sophistiquées et à la difficulté de recruter des analystes expérimentés. Copilot dans Defender répond à ces défis en accélérant l’investigation des incidents, en réduisant le temps nécessaire à l’analyse des menaces complexes et en permettant aux analystes de tous les niveaux d’expérience d’effectuer des tâches qui nécessitaient traditionnellement une expertise approfondie. L’application s’appuie sur les données des charges de travail que Microsoft Defender surveillent, notamment les points de terminaison, les identités, la messagerie, les applications cloud, etc., pour fournir une assistance pertinente et contextualisée.

Microsoft Copilot dans Microsoft Defender est destiné aux clients d’entreprise, en particulier aux analystes de sécurité, aux répondants aux incidents, aux chasseurs de menaces et aux analystes de renseignement sur les menaces qui utilisent le portail Microsoft Defender pour protéger leurs organisations. Pour plus d’informations, consultez Microsoft Security Copilot dans Microsoft Defender.

Termes clés

Le tableau suivant fournit un glossaire des termes clés liés à Microsoft Copilot dans Microsoft Defender.

Fonctionnalités clés

Les fonctionnalités clés du tableau suivant décrivent ce que Microsoft Copilot dans Microsoft Defender est conçu et comment il s’exécute sur les tâches prises en charge.

Utilisations prévues

Microsoft Copilot dans Microsoft Defender peut être utilisé dans plusieurs scénarios dans divers secteurs d’activité. Voici quelques exemples de cas d’usage :

• Accélération de l’investigation et de la réponse aux incidents : Un analyste de sécurité d’un organization de services financiers reçoit une alerte d’incident de gravité élevée impliquant plusieurs alertes corrélées entre les points de terminaison et les e-mails. À l’aide de Copilot, l’analyste reçoit immédiatement un résumé des chronologie d’attaque, des ressources affectées et des indicateurs de compromission. Copilot fournit ensuite des recommandations de réponse guidées pour contenir la menace et corriger les systèmes affectés, ce qui réduit le temps d’investigation de quelques heures à quelques minutes et permet une limitation plus rapide de l’attaque.

• Triage de l’hameçonnage signalé par l’utilisateur à grande échelle : Une grande entreprise reçoit des centaines d’e-mails de hameçonnage signalés par l’utilisateur chaque jour. L’agent de triage de hameçonnage évalue de façon autonome chaque soumission, la classe comme une menace réelle ou un faux positif, et fournit une justification en langage naturel pour sa détermination. Les analystes SOC peuvent ensuite concentrer leur temps sur les menaces confirmées plutôt que d’examiner manuellement chaque e-mail signalé, ce qui améliore la vitesse de réponse et l’efficacité des analystes.

• Permettre aux analystes juniors d’effectuer une chasse avancée aux menaces : L’équipe SOC d’une agence gouvernementale comprend des analystes qui ne maîtrisent pas encore KQL. À l’aide du assistant de requête en langage naturel, ces analystes peuvent décrire ce qu’ils recherchent en anglais brut, et Copilot génère la requête KQL appropriée. Cela permet aux membres moins expérimentés de l’équipe de participer à la chasse proactive aux menaces aux côtés des analystes supérieurs, ce qui élargit la couverture de l’équipe sans surcharge de formation supplémentaire.

• Analyse des scripts masqués et des fichiers suspects : Au cours d’une enquête sur une attaque potentielle par ransomware, un analyste rencontre un script PowerShell obfusqué. Au lieu de s’appuyer sur des outils d’analyse externes ou d’attendre un membre supérieur de l’équipe, l’analyste utilise la fonctionnalité d’analyse de script de Copilot pour recevoir une explication en langage simple du comportement du script, de son niveau de risque et des techniques MITRE ATT&CK qu’il utilise. Cela raccourcit considérablement le temps nécessaire pour déterminer si le script est malveillant et quelles étapes de correction sont nécessaires.

• Rester à l’avance sur les menaces émergentes grâce à des réunions d’information sur le renseignement : Une équipe de sécurité d’un organization de santé souhaite rester informée des acteurs des menaces et des vulnérabilités pertinentes pour leur secteur d’activité. L’agent de briefing sur les menaces fournit des réunions d’information planifiées et personnalisées qui résument les dernières activités des acteurs de menace, les tendances d’exploitation et les divulgations de vulnérabilités, ce qui permet à l’équipe d’ajuster de manière proactive ses défenses et de hiérarchiser les efforts de mise à jour corrective.

• Simplification de la documentation et de la création de rapports sur les incidents : Après avoir résolu un incident complexe et multi-alerte, une équipe de sécurité doit produire un rapport d’incident détaillé à des fins de conformité et d’examen par la direction. Copilot compile automatiquement les chronologie d’incident, les actions de réponse, les analystes impliqués et le raisonnement de classification dans un rapport structuré qui peut être exporté au format PDF, ce qui permet aux analystes de gagner beaucoup de temps sur la documentation.

• Évaluation des risques liés aux identités et aux appareils pendant les investigations : Lors de l’examen d’un incident de connexion suspect, un analyste utilise Copilot pour générer un résumé d’identité qui met en évidence le rôle de l’utilisateur, les modifications de rôle récentes, les modèles de connexion et les indicateurs de risque de Microsoft Entra ID. L’analyste génère également un résumé de l’appareil pour le point de terminaison impliqué, révélant les logiciels vulnérables et les activités inhabituelles. Ensemble, ces résumés permettent à l’analyste de déterminer rapidement l’étendue du compromis et de prendre des mesures ciblées.

Modèles et données d’entraînement

Microsoft Defender étend Microsoft Security Copilot en tirant parti de ses agents existants et de ses modèles IA sous-jacents. Par conséquent, elle dépend de toute configuration externe qu’ils fournissent. Par exemple, le choix du modèle pour Microsoft Security Copilot pour l’expérience d’invite en langage naturel incorporé. Pour en savoir plus, consultez Microsoft Security Copilot FAQ sur l’IA responsable.

Les données client ne sont pas partagées avec OpenAI ni utilisées pour entraîner Azure modèles de base OpenAI. Les administrateurs ont un contrôle total sur la façon dont les données de leur organization sont utilisées, notamment s’il faut autoriser Microsoft à capturer des données pour la validation du produit ou l’amélioration du modèle IA de sécurité. Les préférences de partage de données peuvent être configurées à tout moment et les données client sont stockées dans l’emplacement géographique sélectionné lors de l’installation. Pour plus d’informations sur la gestion, le stockage, la conservation et les contrôles de partage des données, consultez Confidentialité et sécurité des données dans Microsoft Security Copilot.

Performances

Microsoft Copilot dans Microsoft Defender est conçu pour s’exécuter de manière fiable sur une gamme de workflows d’investigation et de réponse de sécurité au sein du portail Microsoft Defender. L’application fonctionne dans des environnements où les analystes de sécurité interagissent avec les données d’incident, les alertes, le renseignement sur les menaces, les informations sur les appareils et les identités, les métadonnées de fichier et les scripts. Copilot traite les entrées textuelles, notamment les invites en langage naturel, le contenu de script et les données de sécurité structurées, et génère des sorties textuelles telles que des résumés, des recommandations, des requêtes KQL, des rapports et des verdicts de classification. Il ne traite pas ni ne génère de contenu d’image, vidéo ou audio.

L’application est conçue et évaluée principalement pour une utilisation en anglais. Les analystes qui envoient des invites et examinent les sorties générées par Copilot en anglais peuvent s’attendre à un niveau de précision et de cohérence plus élevé. Bien que le portail Microsoft Defender prenne en charge plusieurs langues pour son interface plus large, les fonctionnalités de compréhension et de génération du langage naturel de Copilot sont optimisées pour l’anglais. L’utilisation de langues non prises en charge peut entraîner une précision réduite ou des sorties moins pertinentes, et les utilisateurs doivent faire preuve de prudence lorsqu’ils fonctionnent en dehors de l’étendue linguistique prévue.

Copilot dans Defender fonctionne mieux lorsque les analystes interagissent avec lui dans les flux de travail d’investigation prévus, comme l’ouverture d’une page d’incident pour recevoir un résumé, la demande de réponses guidées pendant le triage ou l’entrée d’une question en langage naturel dans la assistant de requête de repérage avancée. L’application tire parti des données des charges de travail qui Microsoft Defender surveillent, y compris les Microsoft Defender pour point de terminaison, les Microsoft Defender pour Identity, Microsoft Defender pour les Office 365, les Microsoft Defender for Cloud Apps et les Gestion des vulnérabilités Microsoft Defender, ainsi que les Microsoft Sentinel les données lorsqu’elles sont disponibles. La qualité et l’exhaustivité des sorties Copilot dépendent de la disponibilité et de la richesse des données dans l’environnement du client.

Les performances sont également influencées par la complexité de l’entrée. Les invites simples et clairement délimitées ont tendance à produire des résultats plus précis et actionnables, tandis que les invites ambiguës, extrêmement longues ou en dehors du domaine de sécurité peuvent produire des sorties moins pertinentes. Pour les agents autonomes tels que l’agent de triage de hameçonnage et l’agent de détection dynamique des menaces, les performances sont mesurées par la précision de la classification et de la détection, avec une amélioration continue pilotée par les commentaires des analystes et l’affinement continu du modèle.

Limitations

Il est essentiel de comprendre Microsoft Copilot dans les limites de Microsoft Defender pour déterminer s’il est utilisé dans des limites sûres et efficaces. Bien que nous encourageons les clients à tirer parti des Microsoft Copilot dans Microsoft Defender dans leurs solutions ou applications innovantes, il est important de noter que Microsoft Copilot dans Microsoft Defender n’a pas été conçu pour tous les scénarios possibles. Nous encourageons les utilisateurs à se référer au Code de conduite microsoft Enterprise AI Services (pour les organisations) ou à la section Code de conduite du Contrat de services Microsoft (pour les particuliers) ainsi que les considérations suivantes lors du choix d’un cas d’usage :

• Étendue du domaine de sécurité : Microsoft Copilot dans Microsoft Defender est conçu pour générer des réponses liées au domaine de sécurité, telles que l’investigation des incidents, le renseignement sur les menaces et la chasse aux menaces. Les prompts débordant du domaine de la sécurité peuvent entraîner des réponses qui manquent de précision et d’exhaustivité. Les utilisateurs doivent s’assurer que leur utilisation de Copilot est limitée aux tâches liées à la sécurité dans le portail Microsoft Defender.

• Optimisation de la langue anglaise : Copilot dans Defender a été développé et évalué principalement en anglais. L’utilisation de langages non pris en charge peut entraîner une précision réduite, des sorties moins pertinentes ou des réponses incomplètes. Les utilisateurs doivent faire preuve de prudence lorsqu’ils opèrent en dehors de l’étendue linguistique prévue et vérifier soigneusement les sorties dans ces scénarios.

• Précision de la génération du code : Copilot dans Defender peut générer du code ou inclure des extraits de code, tels que des requêtes KQL, dans ses réponses. Bien que ces sorties semblent valides, elles peuvent ne pas toujours être sémantiquement ou syntaxiquement correctes, ou elles peuvent ne pas refléter avec précision l’intention de l’analyste. Les utilisateurs doivent toujours examiner, tester et valider tout code généré avant de l’utiliser en production, en suivant les mêmes précautions qu’avec tout code qu’ils n’ont pas créé indépendamment : tests rigoureux, analyse IP et vérification des failles de sécurité.

• Contraintes de longueur d’invite : Le système peut ne pas être en mesure de traiter des invites très longues, telles que celles qui contiennent des centaines de milliers de caractères. Les analystes doivent garder des invites concises et bien délimitées pour obtenir de meilleurs résultats.

• Latence et capacité de la réponse : La génération et la vérification des réponses peuvent prendre du temps, jusqu’à plusieurs minutes dans certains cas, et nécessitent une capacité de calcul importante. L’utilisation peut être soumise à une limitation de capacité, en particulier pendant les périodes de forte demande. Les utilisateurs doivent planifier les retards potentiels lorsqu’ils s’appuient sur Copilot pour les tâches sensibles au temps.

• Précision de sortie générée par l’IA : Comme toute technologie basée sur l’IA, Copilot dans Defender ne fait pas tout le bon. Les sorties peuvent être inexactes, incomplètes, biaisées ou mal alignées sur l’intention de l’analyste. Cela peut se produire en raison d’une ambiguïté dans les entrées, de limitations des modèles sous-jacents ou de lacunes dans les données disponibles. Les utilisateurs doivent toujours examiner le contenu généré par Copilot avant d’agir dessus et utiliser les outils de commentaires intégrés pour signaler des sorties inexactes ou problématiques.

• Correspond au code public : Copilot dans Defender génère du code de manière probabiliste, et même si la probabilité de produire du code correspondant au code disponible publiquement est faible, c’est possible. Les utilisateurs doivent prendre des précautions pour garantir la pertinence et l’originalité, notamment des tests rigoureux, une analyse IP et la vérification des failles de sécurité.

• Ne se substitue pas au jugement humain : Copilot dans Defender est conçu pour aider, et non remplacer, les analystes de sécurité. Toutes les recommandations, résumés et classifications doivent être examinés par un analyste qualifié avant de prendre des mesures, en particulier pour prendre des décisions corrélatives telles que l’endiguement, la correction ou l’escalade.

Évaluations

Les évaluations des performances et de la sécurité évaluent si les applications IA fonctionnent de manière fiable et sécurisée en examinant des facteurs tels que la base, la pertinence et la cohérence, tout en identifiant les risques liés à la génération de contenu nuisible. Les évaluations suivantes ont été effectuées avec des composants de sécurité déjà en place, qui sont également décrits dans Composants de sécurité et atténuations.

Évaluations des performances et de la qualité

Les évaluations des performances des applications IA sont essentielles pour améliorer leur fiabilité dans les applications réelles. Des métriques telles que la base, la pertinence et la cohérence permettent d’évaluer la précision et la cohérence des sorties générées par l’IA, afin qu’elles soient prises en charge dans des scénarios de contenu fondé, adaptées au contexte et structurées logiquement. Pour Microsoft Copilot dans Microsoft Defender, nous avons effectué des évaluations des performances pour les métriques suivantes, qui sont disponibles via Microsoft Foundry :

• Fondement
• Cohérence
• Fluidité
• Similitude

Méthodes d’évaluation des performances et de la qualité

Les évaluations des performances des Microsoft Copilot dans Microsoft Defender ont été effectuées sur des sorties textuelles générées dans toute la gamme des fonctionnalités prises en charge, notamment le résumé des incidents, les réponses guidées, l’analyse des scripts et des fichiers, le résumé des identités et des appareils, la génération de requêtes KQL et les briefings de renseignement sur les menaces. Les évaluations utilisaient des évaluateurs automatisés assistés par IA disponibles via Microsoft Foundry, appliqués à des jeux de données organisés de scénarios d’investigation de sécurité réalistes tirés d’entrées réelles synthétiques et représentatives.

Groundedness mesure si les sorties générées sont prises en charge par les données sources disponibles dans l’environnement, telles que les alertes d’incident, les signaux de renseignement sur les menaces et la télémétrie de sécurité. Un résultat idéal est un résultat dans lequel toutes les revendications de la sortie sont traçables et cohérentes avec les données sous-jacentes. Un résultat non optimal contient des revendications qui sont fabriquées, hallucinées ou incohérentes avec les données sources fournies au modèle.

La cohérence mesure la structure logique, la clarté et la cohérence interne des sorties générées. Un résultat idéal est bien organisé, facile à suivre et exempt de contradictions. Un résultat non optimal est disjoint, contradictoire ou difficile à interpréter et à agir pour un analyste.

La fluidité mesure l’exactitude grammaticale et la qualité linguistique du texte généré. Un résultat idéal se lit naturellement et est exempt d’erreurs grammaticales ou de constructions maladroites. Un résultat non optimal contient des erreurs grammaticales ou de formulation qui entravent la lisibilité ou la compréhension de l’analyste.

La similarité mesure le degré d’alignement entre les sorties générées et les sorties de référence produites par des experts en la matière pour les mêmes entrées. Un résultat idéal reflète étroitement l’intention, la couverture et la précision de la référence d’expert. Un résultat non optimal diffère considérablement de la réponse attendue en termes de contenu, d’étendue ou de précision.

Chaque métrique a été notée sur une échelle numérique à l’aide de juges assistés par IA étalonnés par rapport aux annotations humaines. Les évaluations ont été exécutées de manière itérative sur les mises à jour de jeux de données pour suivre la qualité au fil du temps et prendre en charge l’amélioration continue.

Évaluations des risques et de la sécurité

L’évaluation des risques potentiels associés au contenu généré par l’IA est essentielle pour la protection contre les risques de contenu avec différents degrés de gravité. Cela inclut l’évaluation de la prédisposition d’une application IA à générer du contenu dangereux ou le test des vulnérabilités pour les attaques jailbreak. Pour Microsoft Copilot dans Microsoft Defender, nous avons effectué des évaluations des risques et de la sécurité pour les métriques suivantes disponibles via Microsoft Foundry :

• Haine et iniquité
• Sexuelle
• Violence
• Automutilation
• Matériel protégé
• Jailbreak indirect
• Jailbreak direct
• Vulnérabilité du code
• Attributs nongrounded

Méthodes d’évaluation des risques et de la sécurité

Les évaluations des risques et de la sécurité des Microsoft Copilot dans Microsoft Defender ont été effectuées à l’aide de jeux de données contradictoires et de classifieurs assistés par IA disponibles via Microsoft Foundry, appliqués aux entrées et sorties textuelles. Des invites contradictoires ont été conçues pour simuler des tentatives d’obtention de contenu nuisible, de violation de stratégie ou hors sujet dans une gamme de catégories de risques. Les sorties ont été évaluées pour la présence de ce contenu à l’aide de classifieurs entraînés et étalonnés selon les normes de sécurité de Microsoft.

La haine et l’iniquité évaluent si les sorties contiennent du contenu désobligeant, discriminatoire ou préjudiciable ciblant des individus ou des groupes en fonction de caractéristiques protégées. Un résultat idéal ne contient pas de contenu de ce type. Un résultat non optimal inclut un langage qui dévalorise, stéréotypes ou caractérise injustement des individus ou des groupes.

Sexual évalue si les sorties contiennent du contenu sexuellement explicite ou inapproprié. Un résultat idéal ne contient pas de contenu de ce type. Un résultat non optimal comprend un langage de nature sexuelle qui est inapproprié pour un contexte professionnel d’opérations de sécurité.

La violence évalue si les sorties contiennent du contenu qui glorifie, donne des instructions ou encourage des actes violents. Un résultat idéal ne contient pas de contenu de ce type. Un résultat non optimal inclut le langage qui favorise ou facilite les préjudices aux individus ou aux groupes.

L’automutilation évalue si les sorties contiennent du contenu qui promeut, enseigne ou encourage un comportement automutilant. Un résultat idéal ne contient pas de contenu de ce type. Un résultat non optimal inclut le langage qui pourrait contribuer à l’automutilation.

Le matériel protégé évalue si les sorties reproduisent du texte protégé, du code ou d’autres contenus protégés textuellement ou d’une manière qui crée une exposition légale. Un résultat idéal ne reproduit pas le matériel protégé. Un résultat non optimal contient une reproduction textuelle du contenu protégé par un tiers.

Le jailbreak indirect évalue la résilience de l’application aux attaques par injection de invites incorporées dans du contenu externe, telles que les données récupérées à partir d’e-mails, de documents ou d’alertes de sécurité, qui tentent de rediriger le comportement du modèle. Un résultat idéal est un résultat dans lequel le modèle ne suit pas les instructions injectées. Un résultat non optimal est celui dans lequel les instructions injectées modifient les sorties ou le comportement du modèle.

Le jailbreak direct évalue la résilience de l’application aux tentatives explicites des utilisateurs de contourner les contraintes de sécurité, de remplacer les instructions système ou d’obtenir du contenu en dehors de l’étendue prévue de l’application. Le résultat idéal est celui dans lequel le modèle refuse ou gère correctement ces tentatives. Un résultat non optimal est celui dans lequel le modèle est conforme aux instructions conçues pour contourner les contrôles de sécurité.

La vulnérabilité de code évalue si les sorties de code générées, telles que les requêtes KQL ou les extraits de code de script, contiennent des vulnérabilités de sécurité susceptibles d’exposer l’analyste ou son environnement à des risques. Un résultat idéal est le code exempt de vulnérabilités exploitables. Un résultat non optimal contient du code avec des modèles de vulnérabilité connus, tels que des risques d’injection ou des constructions non sécurisées.

Les attributs nongrounded évaluent si les sorties attribuent des caractéristiques, des comportements ou des attributs à des entités, telles que des utilisateurs, des appareils ou des acteurs de menace, qui ne sont pas prises en charge par les données sous-jacentes. Un résultat idéal attribue uniquement ce qui est démontré dans les données de sécurité disponibles. Un résultat non optimal fabrique ou déduit des attributs sans base probante, ce qui pourrait conduire un analyste à des conclusions incorrectes.

Chaque métrique a été notée à l’aide de classifieurs assistés par IA, avec des scores étalonnés par rapport aux annotations humaines. Les évaluations ont été effectuées de manière itérative et ont éclairé la conception des mesures d’atténuation de la sécurité décrites dans Composantes de sécurité et atténuations.

Données d’évaluation pour la qualité et la sécurité

Nos données d’évaluation sont personnalisées pour évaluer les performances des applications IA dans des domaines clés de sécurité et de qualité, en simulant des scénarios et des risques réels. Nous commençons par identifier les aspects pertinents de l’évaluation des préoccupations en nous appuyant sur la recherche multidisciplinaire et les commentaires d’experts. Ces préoccupations se traduisent par des objectifs d’évaluation ciblés et guident la formulation des métriques d’évaluation. Pour la sécurité, nous créons des invites contradictoires pour obtenir des réponses indésirables ou de cas de périphérie, qui sont ensuite notées à l’aide d’annotateurs assistés par IA formés pour évaluer l’alignement avec les normes de sécurité de Microsoft. Pour la qualité, nous créons des invites basées sur des rubriques pertinentes pour les scénarios, y compris l’évaluation des applications et des agents de génération augmentée de récupération (RAG). Les jeux de données sont organisés à partir de diverses sources, notamment des jeux de données synthétiques et publics pour simuler des scénarios utilisateur réels. À l’aide des jeux de données organisés, les deux évaluations font l’objet d’un affinement itératif et d’un alignement humain pour améliorer l’efficacité et la fiabilité des métriques. Cette méthodologie constitue la base d’évaluations reproductibles et rigoureuses qui reflètent la façon dont les clients utilisent les évaluations pour créer une IA meilleure et plus sûre.

Évaluations personnalisées

Microsoft Copilot dans Microsoft Defender fait l’objet d’une évaluation et de tests personnalisés substantiels avant la publication. Cela comprenait l’association rouge complète, une pratique dans laquelle des équipes dédiées testent rigoureusement le produit pour identifier les modes de défaillance et les scénarios susceptibles d’amener l’application à produire des sorties en dehors de ses utilisations prévues ou qui ne s’alignent pas sur les principes Microsoft AI. Les exercices red teaming ont été conçus pour évaluer la résilience de l’application contre les entrées contradictoires, les tentatives d’obtention de contenu nuisible ou hors sujet et les scénarios de cas de périphérie susceptibles de compromettre la sécurité ou la fiabilité.

En plus de l’association rouge, Microsoft a effectué des tests itératifs sur toute la gamme des fonctionnalités de Copilot dans Defender, y compris le résumé des incidents, les réponses guidées, l’analyse de script, l’analyse de fichiers, le résumé des identités et des appareils, la génération de requêtes KQL et les briefings de renseignement sur les menaces. Ces évaluations ont permis d’évaluer l’exactitude, la base, la pertinence et la cohérence des sorties générées dans les modalités textuelles (langage naturel et code KQL). Un résultat idéal est un résultat qui est factuelment précis, ancré dans les données de sécurité disponibles, pertinent pour la requête de l’analyste et clairement structuré. Un résultat non optimal serait un résultat qui est factuelment incorrect, non pris en charge par les données, non pertinent pour l’intention de l’analyste ou difficile à suivre.

Un programme d’accès anticipé sur invitation uniquement a fourni un mécanisme d’évaluation supplémentaire, permettant aux utilisateurs réels d’interagir avec l’application et de fournir des commentaires structurés avant la disponibilité générale. Les commentaires des utilisateurs, collectés via les boutons « Hors cible », « Rapport » et « Confirmer » sur chaque réponse Copilot, sont un signal d’évaluation continu que Microsoft utilise pour identifier les problèmes de qualité et favoriser l’amélioration continue. Pour les agents autonomes tels que l’agent de triage de hameçonnage, l’évaluation inclut également des métriques de précision de classification et des commentaires des analystes sur les décisions de triage afin d’affiner en permanence les performances de l’agent.

Composants de sécurité et atténuations

• Teaming rouge et tests contradictoires : Avant la publication, Microsoft a effectué une association rouge étendue pour identifier les modes d’échec et les conditions dans lesquels l’application pouvait générer des sorties en dehors de son étendue prévue. Des équipes dédiées ont simulé des entrées contradictoires, des tentatives de jailbreak et des scénarios de périphérie pour évaluer la résilience de l’application et informer la conception des contrôles de sécurité.

• Conception humaine dans la boucle : Copilot dans Defender maintient les humains au centre de tous les flux de travail. Toutes les sorties générées, y compris les résumés, les recommandations, les classifications et le code, sont présentées aux analystes pour examen avant toute action. Cette conception garantit que le jugement humain est le point de décision final pour toutes les activités d’opérations de sécurité.

• Systèmes de filtrage et de sécurité du contenu : Un système de sécurité multicouche est conçu pour atténuer la génération de contenu nuisible et empêcher toute utilisation incorrecte. Cela inclut les annotations de contenu nuisibles, les classifieurs de contenu et les protections intégrées qui filtrent à la fois les entrées et les sorties pour le contenu hors rubrique, dangereux ou autrement inapproprié.

• Surveillance opérationnelle : Microsoft surveille en permanence les performances opérationnelles de Copilot dans Defender pour détecter les anomalies, les performances dégradées et les éventuelles mauvaises utilisations. Cette surveillance permet d’identifier et de résoudre rapidement les problèmes susceptibles d’avoir un impact sur la qualité ou la sécurité de l’application.

• Mécanisme de commentaires utilisateur : Chaque réponse Copilot inclut des contrôles de commentaires, en particulier des boutons « Hors cible », « Rapport » et « Confirmer », qui permettent aux analystes de signaler des sorties inexactes, incomplètes ou répréhensibles. Ces commentaires sont directement acheminés à Microsoft et sont utilisés pour améliorer la qualité et la sécurité de l’application au fil du temps.

• Application de la limite d’étendue : Copilot dans Defender est conçu pour répondre uniquement aux invites liées au domaine de sécurité. Requêtes qui ne relèvent pas du cadre des opérations de sécurité, telles que les demandes de tâches de connaissances générales non liées ou non liées à la sécurité, sont gérées avec des garde-fous appropriés pour réduire le risque de générer du contenu hors sujet ou trompeur.

• Accès et autorisations en fonction du rôle : L’accès à Copilot dans Defender est régi par des contrôles d’accès en fonction du rôle. Les utilisateurs doivent disposer d’un accès provisionné à Microsoft Security Copilot, et des fonctionnalités et des agents spécifiques nécessitent des autorisations supplémentaires, telles que Lecteur sécurité, Administrateur de la sécurité ou des rôles Microsoft Entra spécifiques. Cela limite l’exposition au personnel autorisé et applique le principe du moindre privilège.

• Raisonnement transparent pour les agents autonomes : Pour les fonctionnalités agentiques telles que l’agent de triage de hameçonnage, l’application fournit une justification transparente de ses verdicts de classification en langage naturel, en détaillant le raisonnement et les preuves derrière les conclusions. Une représentation visuelle du processus de raisonnement est également disponible, ce qui permet aux analystes de comprendre et de vérifier le processus de prise de décision de l’agent.

• Boucle de commentaires des analystes pour l’IA agentique : Les analystes peuvent fournir des commentaires sur les classifications d’agents autonomes, telles que les décisions de triage d’hameçonnage. Au fil du temps, ces commentaires permettent d’affiner le comportement de l’agent pour mieux refléter le contexte organisationnel, réduire les faux positifs et améliorer la précision de la classification.

• Conformité à la loi sur l’IA de l’UE : Microsoft s’engage à se conformer à la loi sur l’IA de l’UE. L’application est développée en conformité avec l’Standard d’IA responsable de Microsoft, qui tient compte des propositions réglementaires, y compris la loi sur l’IA de l’UE. Pour plus d’informations, consultez Conformité de Microsoft à la loi sur l’IA de l’UE.

Bonnes pratiques pour le déploiement et l’adoption de Microsoft Copilot dans Microsoft Defender

L’IA responsable est un engagement partagé entre Microsoft et ses clients. Bien que Microsoft crée des applications IA avec la sécurité, l’équité et la transparence à la base, les clients jouent un rôle essentiel dans le déploiement et l’utilisation de ces technologies de manière responsable dans leur propre contexte. Pour prendre en charge ce partenariat, nous proposons les meilleures pratiques suivantes pour les déploiements et les utilisateurs finaux afin d’aider les clients à implémenter efficacement une IA responsable.

Les déploiements et les utilisateurs finaux doivent :

• Faites preuve de prudence et évaluez les résultats lors de l’utilisation de Microsoft Copilot dans Microsoft Defender pour des décisions corrélatives ou dans des domaines sensibles : les décisions consécutives sont celles qui peuvent avoir un impact juridique ou significatif sur l’accès d’une personne à l’éducation, à l’emploi, aux plateformes financières, aux prestations gouvernementales, aux soins de santé, au logement, à l’assurance, aux plateformes juridiques, ou qui pourraient entraîner une préjudice physique, psychologique ou financier. Les domaines sensibles tels que les plateformes financières, les soins de santé et le logement nécessitent des soins particuliers en raison du risque d’impact disproportionné sur différents groupes de personnes. Lorsque vous utilisez l’IA pour prendre des décisions dans ces domaines, assurez-vous que les parties prenantes concernées peuvent comprendre comment les décisions sont prises, faire appel des décisions et mettre à jour les données d’entrée pertinentes.

• Évaluer les considérations juridiques et réglementaires : Les clients doivent évaluer les obligations légales et réglementaires spécifiques potentielles lors de l’utilisation de plateformes et de solutions IA, qui peuvent ne pas être appropriées pour une utilisation dans tous les secteurs ou scénarios. En outre, les plateformes ou solutions IA ne sont pas conçues pour et ne peuvent pas être utilisées de manière interdite dans les conditions d’utilisation applicables et les codes de conduite pertinents.

Les utilisateurs finaux doivent :

• Exercez une surveillance humaine le cas échéant : La supervision humaine est une protection importante lors de l’interaction avec les applications IA. Bien que nous améliorions continuellement nos applications IA, l’IA peut toujours faire des erreurs. Les sorties générées peuvent être inexactes, incomplètes, biaisées, mal alignées ou non pertinentes par rapport à vos objectifs prévus. Cela peut se produire pour diverses raisons, telles que l’ambiguïté dans les entrées ou les limitations des modèles sous-jacents. Par conséquent, les utilisateurs doivent examiner les réponses générées par Microsoft Copilot dans Microsoft Defender et vérifier qu’elles correspondent à leurs attentes et à leurs exigences.

• Soyez conscient du risque de sur-dépendance : Une dépendance excessive à l’égard de l’IA se produit lorsque les utilisateurs acceptent des sorties IA incorrectes ou incomplètes, principalement parce que les erreurs dans les sorties IA peuvent être difficiles à détecter. Pour les utilisateurs finaux, une dépendance excessive peut entraîner une diminution de la productivité, une perte de confiance, un abandon d’application, une perte financière, un préjudice psychologique ou physique. Les analystes de sécurité doivent considérer les sorties de Copilot comme un point de départ pour l’investigation, et non comme une détermination finale, et doivent vérifier indépendamment les résultats critiques avant de prendre des mesures conséquentes.

• Soyez prudent lors de la conception d’une IA agentique dans des domaines sensibles : Les utilisateurs doivent faire preuve de prudence lors de la conception et/ou du déploiement d’applications d’IA agentiques dans des domaines sensibles où les actions de l’agent sont irréversibles ou très conséquentes. Des précautions supplémentaires doivent également être prises lors de la création d’une IA agentique autonome, comme décrit plus loin dans le Code de conduite des services Microsoft Enterprise AI ( pour les organisations) ou la section Code de conduite du Contrat de services Microsoft (pour les particuliers).

• Envoyez des commentaires pour améliorer la qualité de Copilot : Lorsqu’une réponse est inexacte, incomplète ou peu claire, utilisez les boutons « Hors cible » et « Rapport » pour signaler la sortie problématique. Lorsque les réponses sont utiles et précises, utilisez le bouton « Confirmer ». Ces contrôles de commentaires apparaissent au bas de chaque réponse Copilot et aident Microsoft à améliorer en permanence les performances de l’application.

• Utilisez des invites claires et spécifiques : Pour obtenir de meilleurs résultats, envoyez des invites concises, riches en contexte et liées au domaine de sécurité. Par exemple, au lieu d’une question vague comme « Parlez-moi des menaces », demandez « Résumez les derniers acteurs des menaces ciblant le secteur de la santé au cours des 30 derniers jours ». Des invites spécifiques aident Copilot à générer des résultats plus précis et exploitables.

• Surveiller la dérive des performances : Si vous constatez une baisse de la qualité des sorties Copilot au fil du temps, signalez le problème à l’aide des outils de commentaires. Des commentaires cohérents permettent à Microsoft de détecter et de traiter la dérive des performances au sein de la base d’utilisateurs.

Les déployeurs doivent :

• Assurez-vous que le provisionnement de l’accès et l’attribution de rôle sont appropriés : Avant de déployer Copilot dans Defender, assurez-vous que les utilisateurs disposent d’un accès provisionné à Microsoft Security Copilot avec une capacité d’unités de calcul de sécurité suffisante. Attribuez des autorisations basées sur des rôles en utilisant le principe du privilège minimum afin que les analystes, les administrateurs et les agents aient uniquement l’accès requis pour leurs responsabilités. Pour les fonctionnalités agentiques telles que l’agent de triage de hameçonnage et l’agent d’information sur les menaces, vérifiez que les rôles de Microsoft Entra et les prérequis requis sont respectés avant d’activer ces fonctionnalités.

• Charger organization instructions de réponse spécifiques : les administrateurs peuvent charger des instructions de réponse personnalisées que Copilot utilise pour adapter les recommandations de réponse guidée aux stratégies et procédures du organization. Cela permet de s’assurer que les recommandations de Copilot sont alignées sur la posture de sécurité et les exigences opérationnelles du organization.

• Configurez les paramètres de résumé des incidents de manière appropriée : Le résumé automatique des incidents de Copilot peut être configuré pour exécuter « Toujours », « En fonction du niveau de gravité » ou « À la demande uniquement ». Les déployeurs doivent sélectionner le paramètre qui s’aligne sur leur workflow SOC et leur budget de calcul pour équilibrer la réactivité et la consommation des ressources.

• Testez les fonctionnalités de Copilot dans votre environnement : Avant d’activer Copilot à grande échelle, testez les fonctionnalités clés telles que le résumé des incidents, les réponses guidées, l’analyse des scripts et la génération de requêtes KQL à l’aide de données et de scénarios réalistes de votre environnement. Vérifiez que les sorties sont précises, pertinentes et exploitables pour vos charges de travail et sources de données spécifiques.

• Surveillez et examinez l’activité de l’agent autonome : Pour les fonctionnalités agentiques telles que l’agent de triage de hameçonnage et l’agent de détection dynamique des menaces, déployez la surveillance initiale pour passer en revue les classifications et les alertes des agents. Assurez-vous que les analystes examinent les déterminations autonomes et fournissent des commentaires, en particulier pendant la période de déploiement initiale, pour étalonner l’agent en fonction du contexte de votre organization.

• Planifier la capacité de calcul et la latence : La génération de la réponse peut prendre jusqu’à plusieurs minutes et nécessite une capacité GPU. Les déployeurs doivent planifier la latence potentielle pendant les périodes de forte demande et communiquer les temps de réponse attendus aux analystes afin qu’ils puissent planifier leurs workflows en conséquence.

En savoir plus sur Microsoft Copilot dans Microsoft Defender

Pour obtenir des conseils supplémentaires ou pour en savoir plus sur l’utilisation responsable des Microsoft Copilot dans Microsoft Defender, nous vous recommandons de consulter la documentation suivante :

• Microsoft Copilot pour la sécurité dans Microsoft Defender
• Qu’est-ce que Sécurité Microsoft Copilot ?
• Confidentialité et sécurité des données dans Securité Copilot
• Conformité de Microsoft à la loi sur l’IA de l’UE
• Bien démarrer avec Sécurité Copilot

En savoir plus sur l’IA responsable

• Microsoft AI principes
• Ressources d’IA responsable Microsoft
• Cours Microsoft Azure Learning sur l’IA responsable