Anwendungs-Karte: Microsoft Copilot in Microsoft Defender

Was ist eine Anwendung Karte?

Die Anwendungs- und Plattformkarten von Microsoft sollen Ihnen helfen, zu verstehen, wie unsere KI-Technologie funktioniert, welche Entscheidungen Anwendungsbesitzer treffen können, die die Leistung und das Verhalten der Anwendung beeinflussen können, und wie wichtig es ist, die gesamte Anwendung zu berücksichtigen, einschließlich der Technologie, der Menschen und der Umgebung. Anwendungskarten werden für KI-Anwendungen und Plattformkarten für KI-Plattformdienste erstellt. Diese Ressourcen können die Entwicklung oder Bereitstellung Ihrer eigenen Anwendungen unterstützen und für Benutzer oder Projektbeteiligte freigegeben werden, die von ihnen betroffen sind.

Im Rahmen seiner Verpflichtung zu verantwortungsvoller KI hält sich Microsoft an sechs Grundprinzipien: Fairness, Zuverlässigkeit und Sicherheit, Datenschutz und Sicherheit, Inklusion, Transparenz und Verantwortlichkeit. Diese Prinzipien sind in die verantwortungsvolle KI-Standard eingebettet, die Teams beim Entwerfen, Erstellen und Testen von KI-Anwendungen unterstützt. Anwendungs- und Plattformkarten spielen eine schlüsselrolle bei der Operationalisierung dieser Prinzipien, indem sie Transparenz in Bezug auf Funktionen, beabsichtigte Verwendungen und Einschränkungen bieten. Um weitere Erkenntnisse zu erhalten, sollten die Leser den Microsoft-Bericht zur Transparenz der verantwortungsvollen KI und den Verhaltenskodex erkunden, in denen beschrieben wird, wie Unternehmenskunden und Einzelpersonen verantwortungsbewusst mit KI umgehen können.

Übersicht

Microsoft Copilot in Microsoft Defender ist die Integration von Microsoft Security Copilot im Microsoft Defender-Portal. Es handelt sich um eine KI-gestützte Sicherheitsanwendung, die Sicherheitsanalysten dabei unterstützen soll, Cybersicherheitsbedrohungen effizienter und effektiver zu untersuchen und darauf zu reagieren. Durch die Kombination großer Sprachmodelle mit sicherheitsspezifischen Daten und Informationen bietet Copilot in Defender kontextbezogene Einblicke, automatisierte Analysen und umsetzbare Empfehlungen direkt innerhalb der Sicherheitsworkflows, die Analysten täglich verwenden.

SoC-Teams (Security Operations Center) sehen sich einer wachsenden Anzahl von Warnungen, immer anspruchsvolleren Angriffen und der Herausforderung, erfahrene Analysten zu besstellen, konfrontiert. Copilot in Defender löst diese Herausforderungen, indem es die Untersuchung von Vorfällen beschleunigt, den Zeitaufwand für die Analyse komplexer Bedrohungen reduziert und Analysten auf allen Erfahrungsebenen in die Lage versetzt wird, Aufgaben auszuführen, die traditionell tiefes Fachwissen erforderten. Die Anwendung nutzt Daten aus den Workloads, die Microsoft Defender überwachen, einschließlich Endpunkten, Identitäten, E-Mails, Cloudanwendungen und mehr, um relevante und kontextbezogene Unterstützung bereitzustellen.

Microsoft Copilot in Microsoft Defender richtet sich an Unternehmenskunden, insbesondere für Sicherheitsanalysten, Incident-Responder, Bedrohungsjäger und Threat Intelligence-Analysten, die das Microsoft Defender-Portal zum Schutz ihrer Organisationen verwenden. Weitere Informationen finden Sie unter Microsoft Security Copilot in Microsoft Defender.

Schlüsselbegriffe

Die folgende Tabelle enthält ein Glossar mit Schlüsselbegriffen im Zusammenhang mit Microsoft Copilot in Microsoft Defender.

Wichtige Features oder Funktionen

Die wichtigsten Features und Funktionen in der folgenden Tabelle beschreiben, worauf Microsoft Copilot in Microsoft Defender ausgelegt ist und wie es über unterstützte Aufgaben hinweg funktioniert.

Beabsichtigte Verwendung

Microsoft Copilot in Microsoft Defender können in mehreren Szenarien in einer Vielzahl von Branchen verwendet werden. Beispiele für Anwendungsfälle sind:

• Beschleunigung der Untersuchung und Reaktion auf Vorfälle: Ein Sicherheitsanalyst bei einem Finanzdienstleistungs-organization erhält eine Incidentwarnung mit hohem Schweregrad, die mehrere korrelierte Warnungen über Endpunkte und E-Mails hinweg umfasst. Bei Verwendung von Copilot erhält der Analyst sofort eine Zusammenfassung des Angriffs Zeitleiste, der betroffenen Ressourcen und der Gefährdungsindikatoren. Copilot bietet dann Empfehlungen zur geführten Reaktion, um die Bedrohung einzudämmen und betroffene Systeme zu beheben, um die Untersuchungszeit von Stunden auf Minuten zu verkürzen und eine schnellere Eindämmung des Angriffs zu ermöglichen.

• Von Benutzern gemeldetes Phishing im großen Stil selektieren: Ein großes Unternehmen empfängt täglich Hunderte von von Benutzern gemeldeten Phishing-E-Mails. Der Phishing-Selektierungs-Agent wertet jede Übermittlung autonom aus, klassifiziert sie als echte Bedrohung oder falsch positiv und liefert eine natürliche Begründung für ihre Bestimmung. SOC-Analysten können sich dann auf bestätigte Bedrohungen konzentrieren, anstatt jede gemeldete E-Mail manuell zu überprüfen, um sowohl die Reaktionsgeschwindigkeit als auch die Effizienz der Analysten zu verbessern.

• Ermöglichen der Durchführung der erweiterten Bedrohungssuche für Junior-Analysten: Das SOC-Team einer Regierungsbehörde umfasst Analysten, die noch nicht mit KQL auskennen. Mithilfe der Abfrage in natürlicher Sprache Assistent können diese Analysten in einfachem Englisch beschreiben, wonach sie suchen, und Copilot generiert die entsprechende KQL-Abfrage. Dies ermöglicht weniger erfahrenen Teammitgliedern, an der proaktiven Bedrohungssuche zusammen mit leitenden Analysten teilzunehmen, wodurch die Abdeckung des Teams ohne zusätzlichen Schulungsaufwand erweitert wird.

• Analysieren verschleierter Skripts und verdächtiger Dateien: Während einer Untersuchung eines potenziellen Ransomware-Angriffs stößt ein Analyst auf ein verschleiertes PowerShell-Skript. Anstatt sich auf externe Analysetools zu verlassen oder auf ein leitendes Teammitglied zu warten, verwendet der Analyst die Skriptanalysefunktion von Copilot, um eine einfache Erläuterung des Verhaltens des Skripts, seiner Risikostufe und der von ihm eingesetzten MITRE ATT&CK-Techniken zu erhalten. Dadurch wird die Zeit erheblich verkürzt, um festzustellen, ob das Skript böswillig ist und welche Korrekturschritte erforderlich sind.

• Mit Informations-Briefings vor neuen Bedrohungen immer einen Schritt voraus: Ein Sicherheitsteam bei einem organization möchte über Bedrohungsakteure und Sicherheitsrisiken auf dem Laufenden bleiben, die für ihre Branche relevant sind. Der Threat Intelligence-Briefing-Agent liefert geplante, angepasste Briefings, die die neuesten Bedrohungsaktivitäten, Ausnutzungstrends und Offenlegungen von Sicherheitsrisiken zusammenfassen und es dem Team ermöglichen, seine Abwehrmaßnahmen proaktiv anzupassen und Patching-Bemühungen zu priorisieren.

• Optimieren der Dokumentation und Berichterstellung für Vorfälle: Nach der Behebung eines komplexen Incidents mit mehreren Warnungen muss ein Sicherheitsteam einen detaillierten Incidentbericht für compliance- und executive review erstellen. Copilot kompiliert die Incident-Zeitleiste, Reaktionsaktionen, involvierte Analysten und Klassifizierungsargumente automatisch in einen strukturierten Bericht, der als PDF-Datei exportiert werden kann, wodurch Analysten viel Zeit bei der Dokumentation sparen.

• Bewertung des Identitäts- und Geräterisikos bei Untersuchungen: Bei der Untersuchung eines verdächtigen Anmeldevorfalls verwendet ein Analyst Copilot, um eine Identitätszusammenfassung zu generieren, in der die Rolle des Benutzers, die jüngsten Rollenänderungen, Anmeldemuster und Risikoflags aus Microsoft Entra ID hervorgehoben werden. Der Analyst generiert auch eine Gerätezusammenfassung für den beteiligten Endpunkt, die anfällige Software und ungewöhnliche Aktivitäten aufdeckt. Zusammen ermöglichen diese Zusammenfassungen es dem Analysten, schnell den Umfang des Kompromisses zu bestimmen und gezielte Maßnahmen zu ergreifen.

Modelle und Trainingsdaten

Microsoft Defender erweitert Microsoft Security Copilot und nutzt die vorhandenen Agents und zugrunde liegenden KI-Modelle. Daher ist sie von allen externen Konfigurationen abhängig, die von diesen bereitgestellt werden. Beispiel: Modellauswahl für Microsoft Security Copilot für die eingebettete Eingabeaufforderung in natürlicher Sprache. Weitere Informationen finden Sie unter häufig gestellte Fragen zu Microsoft Security Copilot Verantwortungsvolle KI.

Kundendaten werden nicht für OpenAI freigegeben oder zum Trainieren Azure OpenAI-Foundation-Modelle verwendet. Administratoren haben die vollständige Kontrolle darüber, wie die Daten ihrer organization verwendet werden, einschließlich, ob Microsoft Daten für die Produktvalidierung oder die Verbesserung des KI-Sicherheitsmodells erfassen darf. Die Datenfreigabeeinstellungen können jederzeit konfiguriert werden, und Kundendaten werden an dem geografischen Standort gespeichert, der während des Setups ausgewählt wurde. Ausführliche Informationen zur Datenverarbeitung, Speicherung, Aufbewahrung und Freigabe finden Sie unter Datenschutz und Datensicherheit in Microsoft Security Copilot.

Leistung

Microsoft Copilot in Microsoft Defender ist für die zuverlässige Ausführung in einer Reihe von Sicherheitsuntersuchungs- und Reaktionsworkflows im Microsoft Defender-Portal konzipiert. Die Anwendung wird in Umgebungen ausgeführt, in denen Sicherheitsanalysten mit Incidentdaten, Warnungen, Threat Intelligence, Geräte- und Identitätsinformationen, Dateimetadaten und Skripts interagieren. Copilot verarbeitet textbasierte Eingaben, einschließlich Eingabeaufforderungen in natürlicher Sprache, Skriptinhalte und strukturierte Sicherheitsdaten, und generiert textbasierte Ausgaben wie Zusammenfassungen, Empfehlungen, KQL-Abfragen, Berichte und Klassifizierungsbewertungen. Es werden keine Bild-, Video- oder Audioinhalte verarbeitet oder generiert.

Die Anwendung ist in erster Linie für die Verwendung in Englisch konzipiert und ausgewertet. Analysten, die Eingabeaufforderungen übermitteln und copilot-generierte Ausgaben in englischer Sprache überprüfen, können das höchste Maß an Genauigkeit und Kohärenz erwarten. Während das Microsoft Defender-Portal mehrere Sprachen für seine breitere Benutzeroberfläche unterstützt, sind copilots Funktionen zum Verstehen und Generieren natürlicher Sprache für Englisch optimiert. Die Verwendung nicht unterstützter Sprachen kann zu einer verringerten Genauigkeit oder weniger relevanten Ausgaben führen, und Benutzer sollten vorsichtig sein, wenn sie außerhalb des vorgesehenen Sprachbereichs arbeiten.

Copilot in Defender schneidet am besten ab, wenn Analysten innerhalb der vorgesehenen Untersuchungsworkflows damit interagieren, z. B. eine Incidentseite öffnen, um eine Zusammenfassung zu erhalten, geführte Antworten während der Selektierung anzufordern oder eine Frage in natürlicher Sprache in der erweiterten Suchabfrage Assistent eingeben. Die Anwendung nutzt Daten aus den Workloads, die Microsoft Defender überwachen, einschließlich Microsoft Defender for Endpoint, Microsoft Defender for Identity, Microsoft Defender für Office 365, Microsoft Defender for Cloud Apps und Microsoft Defender Vulnerability Management sowie Microsoft Sentinel Daten, sofern verfügbar. Die Qualität und Vollständigkeit der Copilot-Ausgaben hängt von der Verfügbarkeit und fülle der Daten in der Umgebung des Kunden ab.

Die Leistung wird auch durch die Komplexität der Eingabe beeinflusst. Einfache, klar abgegrenzte Eingabeaufforderungen erzeugen in der Regel genauere und umsetzbare Ergebnisse, während Eingabeaufforderungen, die mehrdeutig, extrem lang oder außerhalb der Sicherheitsdomäne sind, weniger relevante Ausgaben liefern können. Bei autonomen Agents wie dem Phishing-Triage-Agent und dem Dynamic Threat Detection Agent wird die Leistung durch Klassifizierungsgenauigkeit und Erkennungsgenauigkeit gemessen, wobei kontinuierliche Verbesserungen durch Analystenfeedback und fortlaufende Modellverbesserungen gesteuert werden.

Begrenzungen

Das Verständnis Microsoft Copilot in den Einschränkungen von Microsoft Defender ist entscheidend, um festzustellen, ob es innerhalb sicherer und effektiver Grenzen verwendet wird. Während wir Kunden ermutigen, Microsoft Copilot in Microsoft Defender in ihren innovativen Lösungen oder Anwendungen zu nutzen, ist es wichtig zu beachten, dass Microsoft Copilot in Microsoft Defender nicht für jedes mögliche Szenario konzipiert wurde. Wir empfehlen Benutzern, sich entweder auf den Microsoft Enterprise AI Services Code of Conduct (für Organisationen) oder den Abschnitt Verhaltenskodex im Microsoft-Servicevertrag (für Einzelpersonen) sowie auf die folgenden Überlegungen zu beziehen, wenn sie einen Anwendungsfall auswählen:

• Sicherheitsdomänenbereich: Microsoft Copilot in Microsoft Defender ist darauf ausgelegt, Antworten im Zusammenhang mit der Sicherheitsdomäne zu generieren, z. B. Incidentuntersuchung, Threat Intelligence und Bedrohungssuche. Eingabeaufforderungen außerhalb des Sicherheitsbereichs können zu Antworten führen, die ungenau und unvollständig sind. Benutzer sollten sicherstellen, dass ihre Verwendung von Copilot auf sicherheitsrelevante Aufgaben im Microsoft Defender-Portal beschränkt ist.

• Optimierung der englischen Sprache: Copilot in Defender wurde hauptsächlich in Englisch entwickelt und bewertet. Die Verwendung nicht unterstützter Sprachen kann zu einer verringerten Genauigkeit, weniger relevanten Ausgaben oder unvollständigen Antworten führen. Benutzer sollten vorsichtig sein, wenn sie außerhalb des vorgesehenen Sprachbereichs arbeiten und Ausgaben in diesen Szenarien sorgfältig überprüfen.

• Genauigkeit der Codegenerierung: Copilot in Defender generiert möglicherweise Code oder schließt Codeausschnitte, z. B. KQL-Abfragen, in die Antworten ein. Obwohl diese Ausgaben gültig erscheinen, sind sie möglicherweise nicht immer semantisch oder syntaktisch korrekt, oder sie spiegeln die Absicht des Analysten nicht genau wider. Benutzer sollten generierten Code immer überprüfen, testen und überprüfen, bevor sie ihn in der Produktion verwenden, und dabei dieselben Vorsichtsmaßnahmen befolgen wie bei code, den sie nicht unabhängig erstellt haben: strenge Tests, IP-Überprüfung und Überprüfung auf Sicherheitsrisiken.

• Einschränkungen für die Eingabeaufforderungslänge: Das System ist möglicherweise nicht in der Lage, sehr lange Eingabeaufforderungen zu verarbeiten, z. B. Eingabeaufforderungen, die Hunderttausende von Zeichen enthalten. Analysten sollten Die Eingabeaufforderungen kurz halten und gut abgegrenzt sein, um optimale Ergebnisse zu erzielen.

• Antwortlatenz und -kapazität: Das Generieren und Überprüfen von Antworten kann Zeit in Anspruch nehmen, in einigen Fällen bis zu mehreren Minuten, und erfordert eine erhebliche Computekapazität. Die Nutzung kann einer Kapazitätsdrosselung unterliegen, insbesondere in Zeiten mit hoher Nachfrage. Benutzer sollten potenzielle Verzögerungen einplanen, wenn sie sich bei zeitkritischen Aufgaben auf Copilot verlassen.

• VON KI generierte Ausgabegenauigkeit: Wie jede KI-gestützte Technologie macht Copilot in Defender nicht alles richtig. Die Ergebnisse können ungenau, unvollständig, voreingenommen oder mit der Absicht des Analysten falsch ausgerichtet sein. Dies kann aufgrund von Mehrdeutigkeiten bei Eingaben, Einschränkungen der zugrunde liegenden Modelle oder Lücken in den verfügbaren Daten auftreten. Benutzer sollten von Copilot generierte Inhalte immer überprüfen, bevor sie darauf reagieren, und die integrierten Feedbacktools verwenden, um ungenaue oder problematische Ausgaben zu melden.

• Übereinstimmungen mit öffentlichem Code: Copilot in Defender generiert Probabilistisch Code, und obwohl die Wahrscheinlichkeit, Code zu erzeugen, der mit öffentlich verfügbarem Code übereinstimmt, gering ist, ist dies möglich. Benutzer sollten Vorkehrungen treffen, um Die Eignung und Originalität sicherzustellen, einschließlich strenger Tests, IP-Überprüfung und Überprüfung auf Sicherheitsrisiken.

• Kein Ersatz für menschliches Urteilsvermögen: Copilot in Defender wurde entwickelt, um Sicherheitsanalysten zu unterstützen und nicht zu ersetzen. Alle Empfehlungen, Zusammenfassungen und Klassifizierungen sollten von einem qualifizierten Analysten überprüft werden, bevor Maßnahmen ergriffen werden, insbesondere für Folgeentscheidungen wie Eindämmung, Korrektur oder Eskalation.

Bewertungen

Leistungs- und Sicherheitsbewertungen bewerten, ob KI-Anwendungen zuverlässig und sicher funktionieren, indem Faktoren wie Grundhaftigkeit, Relevanz und Kohärenz untersucht und gleichzeitig die Risiken der Generierung schädlicher Inhalte identifiziert werden. Die folgenden Bewertungen wurden mit bereits vorhandenen Sicherheitskomponenten durchgeführt, die auch unter Sicherheitskomponenten und Entschärfungen beschrieben werden.

Leistungs- und Qualitätsbewertungen

Leistungsbewertungen für KI-Anwendungen sind für die Verbesserung ihrer Zuverlässigkeit in realen Anwendungen unerlässlich. Metriken wie Bodenbeschaffenheit, Relevanz und Kohärenz helfen bei der Bewertung der Genauigkeit und Konsistenz von KI-generierten Ausgaben, sodass sie in geerdeten Inhaltsszenarien sachlich unterstützt werden, kontextgerecht und logisch strukturiert sind. Für Microsoft Copilot in Microsoft Defender haben wir Leistungsbewertungen für die folgenden Metriken durchgeführt, die über Microsoft Foundry verfügbar sind:

• Erdung
• Kohärenz
• Sprachkompetenz
• Ähnlichkeit

Methoden zur Leistungs- und Qualitätsbewertung

Leistungsauswertungen für Microsoft Copilot in Microsoft Defender wurden für textbasierte Ausgaben durchgeführt, die für alle unterstützten Funktionen generiert wurden, einschließlich Incidentzusammenfassung, geführte Antworten, Skript- und Dateianalyse, Identitäts- und Gerätezusammenfassung, KQL-Abfragegenerierung und Threat Intelligence-Briefings. Bei Auswertungen wurden KI-gestützte automatisierte Auswertungen verwendet, die über Microsoft Foundry verfügbar sind und auf kuratierte Datasets mit realistischen Sicherheitsuntersuchungsszenarien angewendet wurden, die aus synthetischen und repräsentativen Eingaben aus der Praxis stammen.

Die Bodensicherheit misst, ob generierte Ausgaben von den in der Umgebung verfügbaren Quelldaten wie Incidentwarnungen, Threat Intelligence-Signalen und Sicherheitstelemetriedaten faktisch unterstützt werden. Ein ideales Ergebnis ist ein Ergebnis, bei dem alle Ansprüche in der Ausgabe auf die zugrunde liegenden Daten nachverfolgt und konsistent sind. Ein suboptimales Ergebnis enthält Ansprüche, die erstellt, halluziniert oder mit den Quelldaten, die dem Modell bereitgestellt werden, inkonsistent sind.

Kohärenz misst die logische Struktur, Klarheit und interne Konsistenz generierter Ausgaben. Ein ideales Ergebnis ist gut organisiert, leicht zu verfolgen und frei von Widersprüchen. Ein suboptimales Ergebnis ist unzusammengelöst, sich selbst widersprechend oder für einen Analysten schwer zu interpretieren und zu handeln.

Fluency misst die grammatikalische Korrektheit und linguistische Qualität des generierten Texts. Ein ideales Ergebnis liest sich natürlich und ist frei von Grammatikfehlern oder unbeholfenen Konstruktionen. Ein suboptimales Ergebnis enthält Grammatikfehler oder Ausdrücke, die die Lesbarkeit oder das Verständnis des Analysten beeinträchtigen.

Die Ähnlichkeit misst den Grad der Ausrichtung zwischen generierten Ausgaben und Referenzausgaben, die von Fachexperten für die gleichen Eingaben erzeugt werden. Ein ideales Ergebnis spiegelt die Absicht, Abdeckung und Genauigkeit der Expertenreferenz genau wieder. Ein suboptimales Ergebnis weicht hinsichtlich Inhalt, Umfang oder Genauigkeit erheblich von der erwarteten Antwort ab.

Jede Metrik wurde auf einer numerischen Skala mit KI-gestützten Richtern bewertet, die gegen menschliche Anmerkungen kalibriert wurden. Auswertungen wurden iterativ über Datasetupdates hinweg ausgeführt, um die Qualität im Laufe der Zeit nachzuverfolgen und kontinuierliche Verbesserungen zu unterstützen.

Risiko- und Sicherheitsbewertungen

Die Bewertung potenzieller Risiken im Zusammenhang mit KI-generierten Inhalten ist für den Schutz vor Inhaltsrisiken mit unterschiedlichem Schweregrad unerlässlich. Dies umfasst die Bewertung der Veranlagung einer KI-Anwendung, schädliche Inhalte zu generieren oder Sicherheitsrisiken für Jailbreak-Angriffe zu testen. Für Microsoft Copilot in Microsoft Defender haben wir Risiko- und Sicherheitsbewertungen für die folgenden Metriken durchgeführt, die über Microsoft Foundry verfügbar sind:

• Hass und Unfairness
• Sexuelle
• Gewalt
• Selbstverletzung
• Geschütztes Material
• Indirekter Jailbreak
• Direkter Jailbreak
• Sicherheitsrisiko im Code
• Nicht geerdete Attribute

Risiko- und Sicherheitsbewertungsmethoden

Risiko- und Sicherheitsbewertungen für Microsoft Copilot in Microsoft Defender wurden mithilfe von Angreiferdatasets und KI-gestützten Klassifizierern durchgeführt, die über Microsoft Foundry verfügbar sind und auf textbasierte Eingaben und Ausgaben angewendet werden. Angreiferaufforderungen wurden entwickelt, um Versuche zu simulieren, schädliche, richtlinienverletzende oder off-topic-Inhalte in einer Reihe von Risikokategorien auszudecken. Die Ausgaben wurden für das Vorhandensein solcher Inhalte bewertet, indem Klassifizierer verwendet wurden, die gemäß den Sicherheitsstandards von Microsoft trainiert und kalibriert wurden.

Hass und Unfairness bewertet, ob Ausgaben abwertende, diskriminierende oder abwertende Inhalte enthalten, die sich an Einzelpersonen oder Gruppen richten, die auf geschützten Merkmalen basieren. Ein ideales Ergebnis enthält keinen solchen Inhalt. Ein suboptimales Ergebnis umfasst Eine Sprache, die Individuen oder Gruppen auf ungerechtfertigte Weise herabstufen, Stereotypen vorgibt oder ungerechtfertigt charakterisiert.

Sexuell bewertet, ob Ausgaben sexuell explizite oder unangemessene Inhalte enthalten. Ein ideales Ergebnis enthält keinen solchen Inhalt. Ein suboptimales Ergebnis umfasst eine Sprache sexueller Natur, die für einen professionellen Sicherheitskontext ungeeignet ist.

Gewalt bewertet, ob Ausgaben Inhalte enthalten, die gewaltbereite Handlungen verherrlichen, anleiten oder fördern. Ein ideales Ergebnis enthält keinen solchen Inhalt. Ein suboptimales Ergebnis umfasst Eine Sprache, die Personen oder Gruppen schaden oder erleichtert.

Selbstverletzung bewertet, ob Ausgaben Inhalte enthalten, die selbstverschädigendes Verhalten fördern, anleiten oder fördern. Ein ideales Ergebnis enthält keinen solchen Inhalt. Ein suboptimales Ergebnis umfasst Sprache, die zur Selbstverletzung beitragen könnte.

Geschütztes Material bewertet, ob Ausgaben urheberrechtlich geschützten Text, Code oder andere geschützte Inhalte wortwörtlich oder in einer Weise reproduzieren, die zu einer rechtlichen Offenlegung führt. Ein ideales Ergebnis reproduziert kein geschütztes Material. Ein suboptimales Ergebnis enthält eine ausführliche Wiedergabe von geschützten Inhalten dritter Parteien.

Indirekter Jailbreak bewertet die Resilienz der Anwendung bei einschleusungsbezogenen Angriffen, die in externe Inhalte eingebettet sind, z. B. Daten, die aus E-Mails, Dokumenten oder Sicherheitswarnungen abgerufen wurden, die versuchen, das Verhalten des Modells umzuleiten. Ein ideales Ergebnis ist ein Ergebnis, bei dem das Modell den Anweisungen injiziert nicht folgt. Ein suboptimales Ergebnis ist ein Ergebnis, bei dem eingefügte Anweisungen die Ausgaben oder das Verhalten des Modells ändern.

Direkter Jailbreak bewertet die Resilienz der Anwendung gegenüber expliziten Versuchen von Benutzern, Sicherheitseinschränkungen zu umgehen, Systemanweisungen außer Kraft zu setzen oder Inhalte außerhalb des vorgesehenen Anwendungsumfangs auszulösen. Ein ideales Ergebnis ist ein Ergebnis, bei dem das Modell solche Versuche ablehnt oder angemessen behandelt. Ein suboptimales Ergebnis ist ein Ergebnis, bei dem das Modell den Anweisungen zur Umgehung von Sicherheitskontrollen entspricht.

Bei der Codesicherheit wird ausgewertet, ob generierte Codeausgaben, z. B. KQL-Abfragen oder Skriptausschnitte, Sicherheitsrisiken enthalten, die den Analysten oder seine Umgebung einem Risiko aussetzen könnten. Ein ideales Ergebnis ist Code, der frei von ausnutzbaren Sicherheitsrisiken ist. Ein suboptimales Ergebnis enthält Code mit bekannten Sicherheitsrisikomustern, z. B. Einschleusungsrisiken oder unsichere Konstrukte.

Nicht geerdete Attribute werten aus, ob Ausgaben Entitäten wie Benutzern, Geräten oder Bedrohungsakteuren Merkmale, Verhaltensweisen oder Attribute zuweisen, die von den zugrunde liegenden Daten nicht unterstützt werden. Ein ideales Ergebnis trägt nur das zu, was in den verfügbaren Sicherheitsdaten belegt ist. Ein suboptimales Ergebnis erstellt oder leitet Attribute ohne Beweisbasis ab, was einen Analysten zu falschen Schlussfolgerungen führen könnte.

Jede Metrik wurde mit KI-gestützten Klassifizierern bewertet, wobei die Bewertungen anhand menschlicher Anmerkungen kalibriert wurden. Bewertungen wurden iterativ durchgeführt und informierten über den Entwurf von Sicherheitsminderungen, die unter Sicherheitskomponenten und Risikominderungen beschrieben sind.

Auswertungsdaten für Qualität und Sicherheit

Unsere Auswertungsdaten wurden speziell entwickelt, um die Leistung von KI-Anwendungen in wichtigen Bereichen der Sicherheit und Qualität zu bewerten und reale Szenarien und Risiken zu simulieren. Wir beginnen mit der Identifizierung relevanter Bewertungsaspekte, die auf multidisziplinären Forschungen und Experteneinschätzungen basieren. Diese Bedenken werden in gezielte Bewertungsziele und Die Formulierung von Auswertungsmetriken übersetzt. Aus Sicherheitsgründen erstellen wir angreiferische Eingabeaufforderungen, um unerwünschte Oder Fallreaktionen auszusprechen, die dann mit KI-gestützten Annotatoren bewertet werden, die zur Bewertung der Übereinstimmung mit den Sicherheitsstandards von Microsoft trainiert wurden. Aus Qualitätsgründen erstellen wir rubrikenbasierte Aufforderungen, die für Szenarien relevant sind, einschließlich der Auswertung von Rag-Anwendungen (Retrieval-Augmented Generation) und Agents. Datasets werden aus verschiedenen Quellen zusammengestellt, einschließlich synthetischer und öffentlicher Datasets, um reale Benutzerszenarien zu simulieren. Mithilfe der kuratierten Datasets werden beide Auswertungen iterativer Verfeinerung und menschlicher Ausrichtung unterzogen, um die Effizienz und Zuverlässigkeit von Metriken zu verbessern. Diese Methodik bildet die Grundlage für wiederholbare, strenge Bewertungen, die widerspiegeln, wie Kunden Bewertungen verwenden, um eine bessere und sicherere KI zu erstellen.

Benutzerdefinierte Auswertungen

Microsoft Copilot in Microsoft Defender wurden vor der Veröffentlichung umfangreichen benutzerdefinierten Auswertungen und Tests unterzogen. Dies umfasste umfassende Red-Teaming, eine Methode, bei der dedizierte Teams das Produkt streng testen, um Fehlermodi und Szenarien zu identifizieren, die dazu führen könnten, dass die Anwendung Ausgaben außerhalb ihrer beabsichtigten Verwendung erzeugt oder die nicht mit den Microsoft AI-Prinzipien übereinstimmen. Red-Teaming-Übungen wurden entwickelt, um die Resilienz der Anwendung gegen angreiferische Eingaben, Versuche, schädliche oder off-topic-Inhalte zu entlocken, und Edge-Case-Szenarien zu bewerten, die sicherheit oder Zuverlässigkeit beeinträchtigen könnten.

Zusätzlich zum Red Teaming hat Microsoft iterative Tests für alle Copilot in Defender-Funktionen durchgeführt, einschließlich Incidentzusammenfassung, geführte Antworten, Skriptanalyse, Dateianalyse, Identitäts- und Gerätezusammenfassung, KQL-Abfragegenerierung und Threat Intelligence-Briefings. Diese Auswertungen bewerteten die Genauigkeit, Grundfestigkeit, Relevanz und Kohärenz der generierten Ausgaben über textbasierte Modalitäten hinweg (natürliche Sprache und KQL-Code). Ein ideales Ergebnis ist ein Ergebnis, das sachlich genau ist, auf den verfügbaren Sicherheitsdaten basiert, für die Abfrage des Analysten relevant und klar strukturiert ist. Ein suboptimales Ergebnis wäre ein Ergebnis, das sachlich falsch, von den Daten nicht unterstützt, für die Absicht des Analysten irrelevant oder schwer zu verfolgen ist.

Ein Programm für frühzeitigen Zugriff nur für Einladungen stellte einen zusätzlichen Evaluierungsmechanismus bereit, der es realen Benutzern ermöglichte, mit der Anwendung zu interagieren und strukturiertes Feedback vor der allgemeinen Verfügbarkeit zu geben. Benutzerfeedback, das über die Schaltflächen "Zieloffen", "Bericht" und "Bestätigen" zu jeder Copilot-Antwort gesammelt wird, ist ein fortlaufendes Evaluierungssignal, das Microsoft verwendet, um Qualitätsprobleme zu identifizieren und kontinuierliche Verbesserungen voranzutreiben. Für autonome Agents wie den Phishing-Triage-Agent umfasst die Auswertung auch Klassifizierungsgenauigkeitsmetriken und Analystenfeedback zu Selektierungsentscheidungen, um die Leistung des Agents kontinuierlich zu optimieren.

Sicherheitskomponenten und Entschärfungen

• Red Teaming und Gegnertests: Vor der Veröffentlichung führte Microsoft umfangreiche Red-Teaming durch, um Fehlermodi und -bedingungen zu identifizieren, unter denen die Anwendung Ausgaben außerhalb des vorgesehenen Bereichs generieren konnte. Dedizierte Teams simulierten angreiferische Eingaben, Jailbreak-Versuche und Edge-Case-Szenarien, um die Resilienz der Anwendung zu bewerten und den Entwurf von Sicherheitskontrollen zu unterstützen.

• Human-in-the-Loop-Design: Copilot in Defender hält den Menschen im Mittelpunkt aller Workflows. Alle generierten Ausgaben, einschließlich Zusammenfassungen, Empfehlungen, Klassifizierungen und Code, werden Analysten zur Überprüfung präsentiert, bevor eine Aktion ergriffen wird. Dieser Entwurf stellt sicher, dass das menschliche Urteilsvermögen der letzte Entscheidungspunkt für alle Sicherheitsvorgänge ist.

• Inhaltsfilterung und Sicherheitssysteme: Ein mehrschichtiges Sicherheitssystem wurde entwickelt, um die Generierung schädlicher Inhalte zu mindern und Missbrauch zu verhindern. Dies umfasst schädliche Inhaltsanmerkungen, Inhaltsklassifizierer und integrierte Sicherheitsvorkehrungen, die sowohl Eingaben als auch Ausgaben auf inhalte außerhalb des Themas, schädliche oder anderweitig unangemessene Inhalte überprüfen.

• Betriebsüberwachung: Microsoft überwacht kontinuierlich die operative Leistung von Copilot in Defender, um Anomalien, beeinträchtigte Leistung und potenziellen Missbrauch zu erkennen. Diese Überwachung ermöglicht eine schnelle Identifizierung und Lösung von Problemen, die sich auf die Qualität oder Sicherheit der Anwendung auswirken könnten.

• Benutzerfeedbackmechanismus: Jede Copilot-Antwort enthält Feedbacksteuerelemente, insbesondere die Schaltflächen "Zieloffen", "Bericht" und "Bestätigen", mit denen Analysten ungenaue, unvollständige oder anstößige Ausgaben kennzeichnen können. Dieses Feedback geht direkt an Microsoft und wird verwendet, um die Qualität und Sicherheit der Anwendung im Laufe der Zeit zu verbessern.

• Bereichsbegrenzungserzwingung: Copilot in Defender ist so konzipiert, dass nur auf Eingabeaufforderungen im Zusammenhang mit der Sicherheitsdomäne reagiert wird. Prompts, die außerhalb des Bereichs von Sicherheitsvorgängen liegen, z. B. Anforderungen für nicht verwandte Allgemeine Kenntnisse oder nicht sicherheitsrelevante Aufgaben, werden mit geeigneten Schutzmaßnahmen behandelt, um das Risiko der Generierung von inhaltenfremden oder irreführenden Inhalten zu verringern.

• Rollenbasierter Zugriff und Berechtigungen: Der Zugriff auf Copilot in Defender wird durch rollenbasierte Zugriffssteuerungen gesteuert. Benutzer müssen Zugriff auf Microsoft Security Copilot haben, und bestimmte Features und Agents benötigen zusätzliche Berechtigungen, z. B. Sicherheitsleseberechtigter, Sicherheitsadministrator oder bestimmte Microsoft Entra Rollen. Dies begrenzt die Exposition gegenüber autorisiertem Personal und erzwingt das Prinzip der geringsten Rechte.

• Transparente Argumentation für autonome Agents: Für agentische Funktionen wie den Phishing-Triage-Agent bietet die Anwendung eine transparente Begründung für ihre Klassifizierungsurteile in natürlicher Sprache, in der die Argumentation und die Beweise für die Schlussfolgerungen detailliert beschrieben werden. Eine visuelle Darstellung des Argumentationsprozesses ist ebenfalls verfügbar, sodass Analysten den Entscheidungsprozess des Agenten verstehen und überprüfen können.

• Feedbackschleife für Analysten für agentische KI: Analysten können Feedback zu autonomen Agent-Klassifizierungen geben, z. B. Entscheidungen zur Phishing-Selektierung. Im Laufe der Zeit hilft dieses Feedback, das Verhalten des Agents zu verfeinern, um den Organisationskontext besser widerzuspiegeln, falsch positive Ergebnisse zu reduzieren und die Klassifizierungsgenauigkeit zu verbessern.

• Einhaltung des EU-KI-Gesetzes: Microsoft verpflichtet sich zur Einhaltung des EU-KI-Gesetzes. Die Anwendung wird in Übereinstimmung mit der verantwortungsvollen KI-Standard von Microsoft entwickelt, die Regulierungsvorschläge einschließlich des EU-KI-Gesetzes berücksichtigt. Weitere Informationen finden Sie unter Einhaltung des EU-KI-Gesetzes durch Microsoft.

Bewährte Methoden für die Bereitstellung und Einführung von Microsoft Copilot in Microsoft Defender

Verantwortungsvolle KI ist eine gemeinsame Verpflichtung von Microsoft und seinen Kunden. Während Microsoft KI-Anwendungen mit Sicherheit, Fairness und Transparenz im Kern erstellt, spielen Kunden eine wichtige Rolle bei der Bereitstellung und Verwendung dieser Technologien in ihren eigenen Kontexten. Um diese Partnerschaft zu unterstützen, bieten wir die folgenden bewährten Methoden für Bereitstellungen und Endbenutzer an, um Kunden bei der effektiven Implementierung verantwortungsvoller KI zu unterstützen.

Bereitstellungs- und Endbenutzer sollten:

• Seien Sie vorsichtig, und bewerten Sie die Ergebnisse, wenn Sie Microsoft Copilot in Microsoft Defender für Folgeentscheidungen oder in sensiblen Bereichen verwenden: Folgeentscheidungen sind diejenigen, die rechtliche oder erhebliche Auswirkungen auf den Zugang einer Person zu Bildung, Beschäftigung, Finanzplattformen, staatlichen Leistungen, Gesundheitswesen, Wohnungen, Versicherungen und juristischen Plattformen haben können oder zu deren Folgen führen könnten. physische, psychische oder finanzielle Schäden. Sensible Bereiche wie Finanzplattformen, Gesundheitswesen und Wohnungswesen erfordern aufgrund der möglichen unverhältnismäßigen Auswirkungen auf verschiedene Personengruppen besondere Sorgfalt. Wenn Sie KI für Entscheidungen in diesen Bereichen verwenden, stellen Sie sicher, dass betroffene Beteiligte verstehen, wie Entscheidungen getroffen werden, Beschwerdeentscheidungen treffen und alle relevanten Eingabedaten aktualisieren können.

• Bewerten sie rechtliche und regulatorische Überlegungen: Kunden müssen potenzielle spezifische rechtliche und regulatorische Verpflichtungen bewerten, wenn sie KI-Plattformen und -Lösungen verwenden, die möglicherweise nicht für die Verwendung in allen Branchen oder Szenarios geeignet sind. Darüber hinaus sind KI-Plattformen oder -Lösungen nicht für und dürfen nicht in einer Weise verwendet werden, die in den geltenden Nutzungsbedingungen und relevanten Verhaltenskodizes verboten ist.

Endbenutzer sollten:

• Führen Sie ggf. eine menschliche Aufsicht aus: Die menschliche Aufsicht ist ein wichtiger Schutz bei der Interaktion mit KI-Anwendungen. Während wir unsere KI-Anwendungen kontinuierlich verbessern, kann ki dennoch Fehler machen. Die generierten Ausgaben können ungenau, unvollständig, voreingenommen, falsch ausgerichtet oder irrelevant für Ihre beabsichtigten Ziele sein. Dies kann verschiedene Gründe haben, z. B. Mehrdeutigkeit in den Eingaben oder Einschränkungen der zugrunde liegenden Modelle. Daher sollten Benutzer die von Microsoft Copilot in Microsoft Defender generierten Antworten überprüfen und überprüfen, ob sie ihren Erwartungen und Anforderungen entsprechen.

• Seien Sie sich des Risikos einer Überzulässigkeit bewusst: Überzulässigkeit bei KI tritt auf, wenn Benutzer falsche oder unvollständige KI-Ausgaben akzeptieren, hauptsächlich weil Fehler in KI-Ausgaben möglicherweise schwer zu erkennen sind. Für Endbenutzer kann eine Überzuverlässigkeit zu verminderter Produktivität, Vertrauensverlust, Anwendungsabbruch, finanziellem Verlust, psychischen schäden oder körperlichen Schäden führen. Sicherheitsanalysten sollten Copilot-Ausgaben als Ausgangspunkt für die Untersuchung und nicht als endgültige Entscheidung behandeln und kritische Ergebnisse unabhängig überprüfen, bevor sie Folgemaßnahmen ergreifen.

• Seien Sie vorsichtig beim Entwerfen von agentischer KI in sensiblen Domänen: Benutzer sollten beim Entwerfen und/oder Bereitstellen agentischer KI-Anwendungen in sensiblen Domänen, in denen Agent-Aktionen unumkehrbar oder äußerst folgerichtig sind, Vorsicht walten lassen. Zusätzliche Vorsichtsmaßnahmen sollten auch beim Erstellen autonomer agentischer KI getroffen werden, wie weiter im Microsoft Enterprise AI Services Code of Conduct (für Organisationen) oder im Abschnitt Verhaltensregeln des Microsoft-Servicevertrags (für Einzelpersonen) beschrieben.

• Geben Sie Feedback, um die Qualität von Copilot zu verbessern: Wenn eine Antwort ungenau, unvollständig oder unklar ist, verwenden Sie die Schaltflächen "Zieloffen" und "Bericht", um problematische Ausgaben zu kennzeichnen. Wenn Antworten nützlich und genau sind, verwenden Sie die Schaltfläche "Bestätigen". Diese Feedbacksteuerelemente werden am Ende jeder Copilot-Antwort angezeigt und helfen Microsoft dabei, die Leistung der Anwendung kontinuierlich zu verbessern.

• Verwenden Sie klare und bestimmte Eingabeaufforderungen: Um optimale Ergebnisse zu erzielen, übermitteln Sie Eingabeaufforderungen, die kurz und kontextreich sind und sich auf die Sicherheitsdomäne beziehen. Stellen Sie beispielsweise anstelle einer vage Frage wie "Erzählen Sie mir von Bedrohungen" die Frage": "Fassen Sie die neuesten Bedrohungsakteure zusammen, die in den letzten 30 Tagen auf die Gesundheitsbranche abzielen." Bestimmte Eingabeaufforderungen helfen Copilot dabei, genauere und umsetzbare Ergebnisse zu generieren.

• Überwachen auf Leistungsabweichungen: Wenn Sie im Laufe der Zeit eine Abnahme der Qualität der Copilot-Ausgaben feststellen, melden Sie das Problem mithilfe der Feedbacktools. Konsistentes Feedback hilft Microsoft dabei, Leistungsabweichungen in der Benutzerbasis zu erkennen und zu beheben.

Deployer sollten:

• Stellen Sie eine ordnungsgemäße Zugriffsbereitstellung und Rollenzuweisung sicher: Stellen Sie vor der Bereitstellung von Copilot in Defender sicher, dass Benutzer Zugriff auf Microsoft Security Copilot mit ausreichender Kapazität für Sicherheitscomputeeinheiten bereitgestellt haben. Weisen Sie rollenbasierte Berechtigungen nach dem Prinzip der geringsten Rechte zu, damit Analysten, Administratoren und Agents nur den Zugriff haben, der für ihre Zuständigkeiten erforderlich ist. Überprüfen Sie bei agentischen Funktionen wie phishing triage Agent und Threat Intelligence Briefing Agent, ob die erforderlichen Microsoft Entra Rollen und Voraussetzungen erfüllt sind, bevor Sie diese Features aktivieren.

• Hochladen organization spezifischer Antwortrichtlinien: Administratoren können benutzerdefinierte Antwortrichtlinien hochladen, die Copilot verwendet, um Empfehlungen für geführte Antworten an die Richtlinien und Verfahren der organization anzupassen. Dadurch wird sichergestellt, dass die Empfehlungen von Copilot auf den Sicherheitsstatus und die betrieblichen Anforderungen des organization abgestimmt sind.

• Konfigurieren Sie die Einstellungen für die Incidentzusammenfassung entsprechend: Die automatische Incidentzusammenfassung von Copilot kann so konfiguriert werden, dass "Immer", "Basierend auf dem Schweregrad" oder "Nur bei Bedarf" ausgeführt wird. Bereitstellende sollten die Einstellung auswählen, die ihrem SOC-Workflow und Computebudget entspricht, um Reaktionsfähigkeit und Ressourcenverbrauch auszugleichen.

• Testen Sie copilot-Funktionen in Ihrer Gesamten Umgebung: Testen Sie vor der umfassenden Aktivierung von Copilot wichtige Funktionen wie Incidentzusammenfassung, geführte Antworten, Skriptanalyse und KQL-Abfragegenerierung mithilfe realistischer Daten und Szenarien aus Ihrer Umgebung. Überprüfen Sie, ob die Ausgaben für Ihre spezifischen Workloads und Datenquellen genau, relevant und umsetzbar sind.

• Überwachen und Überprüfen der Aktivität des autonomen Agents: Stellen Sie für agentische Funktionen wie den Phishing-Triage-Agent und den Agent für die dynamische Bedrohungserkennung die erstüberwachung bereit, um Agentklassifizierungen und Warnungen zu überprüfen. Stellen Sie sicher, dass Analysten autonome Ermittlungen überprüfen und Feedback geben, insbesondere während des ersten Bereitstellungszeitraums, um den Agent im Kontext Ihrer organization zu kalibrieren.

• Planen von Computekapazität und Latenz: Die Antwortgenerierung kann mehrere Minuten dauern und erfordert GPU-Kapazität. Bereitstellende sollten potenzielle Latenzzeiten in Zeiten hoher Nachfrage einplanen und den Analysten die erwarteten Antwortzeiten mitteilen, damit sie ihre Workflows entsprechend planen können.

Weitere Informationen zu Microsoft Copilot in Microsoft Defender

Weitere Anleitungen oder weitere Informationen zur verantwortungsvollen Verwendung von Microsoft Copilot in Microsoft Defender finden Sie in der folgenden Dokumentation:

• Microsoft Security Copilot in Microsoft Defender
• Was ist Microsoft Security Copilot?
• Datenschutz und Datensicherheit in Security Copilot
• Einhaltung des EU-KI-Gesetzes durch Microsoft
• Erste Schritte mit Security Copilot

Weitere Informationen zu verantwortungsvoller KI

• Microsoft AI Prinzipien
• Ressourcen für verantwortungsvolle KI von Microsoft
• Microsoft Azure Learning-Kurse zu verantwortungsvoller KI