Scheda applicazione: Microsoft Copilot in Microsoft Defender

Che cos'è una scheda applicazione?

Le schede delle applicazioni e della piattaforma Microsoft hanno lo scopo di aiutare a comprendere il funzionamento della tecnologia di intelligenza artificiale, le scelte che i proprietari delle applicazioni possono fare che influenzano le prestazioni e il comportamento dell'applicazione e l'importanza di considerare l'intera applicazione, inclusa la tecnologia, le persone e l'ambiente. Le schede applicazione vengono create per le applicazioni di intelligenza artificiale e le schede della piattaforma vengono create per i servizi della piattaforma di intelligenza artificiale. Queste risorse possono supportare lo sviluppo o la distribuzione di applicazioni personalizzate e possono essere condivise con utenti o stakeholder interessati.

Come parte del suo impegno per l'IA responsabile, Microsoft rispetta sei principi fondamentali: equità, affidabilità e sicurezza, privacy e sicurezza, inclusività, trasparenza e responsabilità. Questi principi sono incorporati nella Standard di intelligenza artificiale responsabile, che guida i team nella progettazione, nella compilazione e nel test delle applicazioni di intelligenza artificiale. Le schede di applicazioni e piattaforme svolgono un ruolo chiave nell'operazionalizzazione di questi principi offrendo trasparenza sulle funzionalità, gli usi previsti e le limitazioni. Per altre informazioni dettagliate, i lettori sono invitati a esplorare il report sulla trasparenza responsabile dell'IA e il codice di condotta di Microsoft, che descrivono in che modo i clienti e gli utenti aziendali possono interagire con l'IA in modo responsabile.

Panoramica

Microsoft Copilot in Microsoft Defender è l'integrazione di Microsoft Security Copilot all'interno del portale di Microsoft Defender. Si tratta di un'applicazione di sicurezza basata sull'intelligenza artificiale progettata per aiutare gli analisti della sicurezza a indagare e rispondere alle minacce alla cybersecurity in modo più efficiente ed efficace. Combinando modelli linguistici di grandi dimensioni con dati e intelligence specifici della sicurezza, Copilot in Defender offre informazioni dettagliate contestuali, analisi automatizzate e consigli interattivi direttamente all'interno dei flussi di lavoro di sicurezza usati dagli analisti ogni giorno.

I team del Centro operativo di sicurezza (SOC) devono affrontare un numero crescente di avvisi, attacchi sempre più sofisticati e la sfida del personale di analisti esperti. Copilot in Defender affronta queste sfide accelerando l'indagine sugli eventi imprevisti, riducendo il tempo necessario per analizzare le minacce complesse e consentendo agli analisti a tutti i livelli di esperienza di eseguire attività che tradizionalmente richiedevano competenze approfondite. L'applicazione si basa sui dati dei carichi di lavoro che Microsoft Defender monitora, inclusi endpoint, identità, posta elettronica, applicazioni cloud e altro ancora, per offrire assistenza pertinente e contestualizzata.

Microsoft Copilot in Microsoft Defender è destinato ai clienti aziendali, in particolare analisti della sicurezza, risponditori di eventi imprevisti, cacciatori di minacce e analisti di intelligence sulle minacce che usano il portale di Microsoft Defender per proteggere le organizzazioni. Per altre informazioni, vedere Microsoft Security Copilot in Microsoft Defender.

Termini chiave

Nella tabella seguente viene fornito un glossario dei termini chiave correlati a Microsoft Copilot in Microsoft Defender.

Termine Descrizione
Rilevazione avanzata Uno strumento di ricerca delle minacce basato su query in Microsoft Defender che usa Linguaggio di query Kusto (KQL) per consentire ai team di sicurezza di cercare in modo proattivo minacce, attività sospette e indicatori di compromissione tra i dati di sicurezza. Copilot in Defender può generare query KQL da richieste in linguaggio naturale.
Risposta guidata Set generato dall'intelligenza artificiale di azioni consigliate fornite da Copilot in Defender per aiutare gli analisti della sicurezza a valutare, contenere, analizzare e correggere gli eventi imprevisti di sicurezza. Ogni raccomandazione include una logica che spiega il motivo per cui l'azione è suggerita.
Incidente Raccolta di avvisi correlati e dati associati che insieme rappresentano un potenziale o confermato attacco di sicurezza. Copilot in Defender può riepilogare gli eventi imprevisti, evidenziare i dettagli chiave e suggerire azioni di risposta appropriate.
KQL (Linguaggio di query Kusto) Linguaggio di query di sola lettura usato nella ricerca avanzata all'interno di Microsoft Defender e Microsoft Sentinel. Copilot in Defender può tradurre le domande in linguaggio naturale in query KQL, riducendo la barriera tecnica per i cacciatori di minacce.
Modello di linguaggio di grandi dimensioni (LLM) Tipo di modello di intelligenza artificiale sottoposto a training su set di dati di testo di grandi dimensioni in grado di comprendere e generare il linguaggio naturale. Copilot in Defender usa modelli linguistici di grandi dimensioni per analizzare i dati di sicurezza, generare riepiloghi e fornire raccomandazioni.
MITRE ATT&CK Un knowledge base riconosciuto a livello globale di tattiche e tecniche avversarie basate su osservazioni reali. Copilot in Defender esegue il mapping dei risultati dell'analisi degli script e del rilevamento delle minacce a MITRE ATT&tecniche CK per aiutare gli analisti a comprendere il comportamento degli utenti malintenzionati.
Squadra rossa Una procedura di test di sicurezza in cui un team simula attacchi reali contro un prodotto per identificare modalità di errore, vulnerabilità e scenari al di fuori dell'uso previsto. Microsoft ha condotto il red teaming su Copilot in Defender prima del rilascio.
Unità di calcolo di sicurezza (SKU) Unità di capacità con provisioning che misurano e gestiscono le risorse di calcolo utilizzate da Microsoft Security Copilot. L'accesso a Copilot in Defender richiede capacità SCU di cui è stato effettuato il provisioning.
Security Copilot La piattaforma Microsoft Security che riunisce intelligenza artificiale e competenze umane per aiutare i team di sicurezza a rispondere alle minacce in modo più rapido ed efficace. Copilot in Defender è l'esperienza incorporata di Security Copilot all'interno del portale di Microsoft Defender.

Funzionalità o funzionalità principali

Le funzionalità e le funzionalità principali della tabella seguente descrivono quali Microsoft Copilot in Microsoft Defender sono progettate per eseguire e come vengono eseguite tra le attività supportate.

Funzionalità Descrizione
Riepilogo degli eventi imprevisti Copilot genera automaticamente un riepilogo conciso quando un analista apre un evento imprevisto, tra cui la sequenza temporale degli attacchi, gli asset interessati, gli indicatori di compromissione e i nomi degli attori delle minacce. Ciò consente agli analisti di comprendere immediatamente l'ambito e la gravità di un attacco senza esaminare manualmente ogni avviso. I riepiloghi possono contenere fino a 100 avvisi correlati e vengono memorizzati nella cache per un massimo di una settimana senza costi di calcolo aggiuntivi se l'evento imprevisto non è stato modificato.

Per altre informazioni, vedere Riepilogare un evento imprevisto con Microsoft Copilot in Microsoft Defender.
Risposte guidate Copilot fornisce consigli contestuali generati dall'intelligenza artificiale per aiutare gli analisti a rispondere agli eventi imprevisti. Le raccomandazioni sono organizzate in quattro categorie: valutazione (classificazione dell'evento imprevisto), contenimento (arresto della diffusione dell'attacco), indagine (ulteriori passaggi di analisi) e correzione (azioni di risposta specifiche per le entità interessate). Gli amministratori possono anche caricare linee guida di risposta specifiche dell'organizzazione per adattare le raccomandazioni al proprio ambiente.

Per altre informazioni, vedere Usare risposte guidate con Copilot in Microsoft Defender.
Script e analisi della riga di comando Copilot analizza script potenzialmente dannosi o offuscati, ad esempio le righe di comando di PowerShell, e fornisce una spiegazione in linguaggio semplice delle operazioni eseguite dallo script, se è dannoso e quali mitre ATT&tecniche CK usate. Ciò riduce la necessità di strumenti di analisi esterni e consente agli analisti con diversi livelli di esperienza di valutare rapidamente le minacce.

Per altre informazioni, vedere Analisi degli script con Microsoft Copilot in Microsoft Defender.
Analisi file Copilot valuta i file sospetti generando un riepilogo che include informazioni di rilevamento, certificati file correlati, un elenco di chiamate API e stringhe presenti nel file. I risultati dell'analisi vengono generati automaticamente quando un analista apre una pagina di file, consentendo di accelerare l'analisi di file potenzialmente dannosi.

Per altre informazioni, vedere Analisi dei file con Microsoft Copilot in Microsoft Defender.
Riepilogo del dispositivo Copilot genera un riepilogo del comportamento di sicurezza di un dispositivo, incluso lo stato delle funzionalità di protezione, ad esempio la riduzione della superficie di attacco e la protezione da manomissioni, qualsiasi attività insolita dell'utente, un elenco di software vulnerabile, impostazioni del firewall e informazioni Microsoft Intune pertinenti. Ciò consente agli analisti di valutare rapidamente se un dispositivo è a rischio.

Per altre informazioni, vedere Riepilogo del dispositivo con Microsoft Copilot in Microsoft Defender.
Riepilogo delle identità Copilot offre una panoramica contestuale di un'identità utente, tra cui data di creazione dell'account, livello di criticità, modifiche di ruolo e ruolo, comportamenti e modelli di accesso, metodi di autenticazione, rischi derivanti da Microsoft Entra ID e informazioni di contatto. Ciò consente agli analisti di valutare rapidamente se un account utente è compromesso o a rischio.

Per altre informazioni, vedere Riepilogare le informazioni sull'identità con Microsoft Copilot in Microsoft Defender.
Generazione di report sugli eventi imprevisti Copilot compila tutte le informazioni sugli eventi imprevisti, tra cui azioni di gestione, timestamp, analisti coinvolti, ragionamento di classificazione, indagini e azioni correttive e raccomandazioni di follow-up, in un report strutturato che può essere esportato in FORMATO PDF o pubblicato in un log attività degli eventi imprevisti.

Per altre informazioni, vedere Creare un report sugli eventi imprevisti con Microsoft Copilot in Microsoft Defender.
Assistente di query in linguaggio naturale Copilot converte le domande sulla ricerca delle minacce in linguaggio naturale in query KQL pronte per l'esecuzione per l'uso nella ricerca avanzata. Ciò riduce il tempo e l'esperienza necessari per scrivere query di ricerca da zero, consentendo agli analisti di concentrarsi sull'analisi delle minacce anziché sulla sintassi delle query.

Per altre informazioni, vedere Compilare query KQL per la ricerca tramite Microsoft Copilot in Microsoft Defender.
Briefing sulle intelligence sulle minacce L'agente di Threat Intelligence Briefing raccoglie e sintetizza in modo autonomo i dati di intelligence sulle minacce pertinenti, offrendo briefing personalizzati che includono l'attività più recente degli attori di minacce, informazioni sulla vulnerabilità e dettagli sugli exploit attivi. I briefing possono essere pianificati o generati su richiesta e sono personalizzabili in base alla profondità delle informazioni dettagliate, al periodo di ricerca, all'area geografica e al settore.

Per altre informazioni, vedere Threat Intelligence Briefing Agent.For more information, see Threat Intelligence Briefing Agent.
Valutazione degli avvisi di sicurezza L'agente di valutazione degli avvisi di sicurezza è un agente autonomo che consente ai team di sicurezza di valutare gli avvisi su larga scala. Applica il ragionamento dinamico basato sull'intelligenza artificiale tra le prove per fornire verdetti chiari per i carichi di lavoro di sicurezza supportati, tra cui phishing, identità e avvisi cloud. Identificando quali avvisi rappresentano attacchi reali e che sono falsi positivi, l'agente consente agli analisti di concentrarsi sull'analisi delle minacce reali, con un ragionamento trasparente e dettagliato per supportare ogni decisione.

Per altre informazioni, vedere Agente di valutazione degli avvisi di sicurezza in Microsoft Defender.
Rilevamento dinamico delle minacce Dynamic Threat Detection Agent è un servizio back-end adattivo e sempre attivo che usa l'intelligenza artificiale per identificare le lacune nel rilevamento tradizionale basato su regole correlando avvisi, eventi, anomalie e intelligence sulle minacce in ambienti Microsoft Defender e Microsoft Sentinel. Quando viene rilevata una minaccia nascosta, l'agente genera un avviso dinamico con contesto completo, spiegazioni del linguaggio naturale, tecniche mitre ATT mappate&CK e passaggi di correzione personalizzati.

Per altre informazioni, vedere Dynamic Threat Detection Agent in Microsoft Defender.For more information, see Dynamic Threat Detection Agent in Microsoft Defender.
Analisi dell'intelligence sulle minacce Copilot consolida e riepiloga l'intelligence sulle minacce in modo che i team di sicurezza possano assegnare priorità alle minacce in base ai livelli di esposizione, comprendere gli attori delle minacce che possono indirizzare il proprio settore e rimanere informati sulle vulnerabilità e le campagne emergenti.

Per altre informazioni, vedere Microsoft Defender Threat Intelligence.

Usi previsti

Microsoft Copilot in Microsoft Defender può essere usato in più scenari in diversi settori. Alcuni esempi di casi d'uso includono:

  • Accelerazione dell'indagine e della risposta agli eventi imprevisti: Un analista della sicurezza di un'organizzazione di servizi finanziari riceve un avviso di evento imprevisto di gravità elevata che coinvolge più avvisi correlati tra endpoint e posta elettronica. Usando Copilot, l'analista riceve immediatamente un riepilogo della sequenza temporale dell'attacco, degli asset interessati e degli indicatori di compromissione. Copilot fornisce quindi raccomandazioni di risposta guidate per contenere la minaccia e correggere i sistemi interessati, riducendo il tempo di indagine da ore a minuti e consentendo un contenimento più rapido dell'attacco.

  • Valutazione del phishing segnalato dall'utente su larga scala: Una grande azienda riceve centinaia di messaggi di posta elettronica di phishing segnalati dall'utente ogni giorno. L'agente di valutazione del phishing valuta in modo autonomo ogni invio, lo classifica come una minaccia autentica o un falso positivo e fornisce una logica del linguaggio naturale per la sua determinazione. Gli analisti SOC possono quindi concentrare il proprio tempo sulle minacce confermate anziché esaminare manualmente ogni messaggio di posta elettronica segnalato, migliorando sia la velocità di risposta che l'efficienza degli analisti.

  • Consentire agli analisti junior di eseguire la ricerca avanzata delle minacce: Il team SOC di un'agenzia governativa include analisti che non sono ancora esperti in KQL. Usando la query in linguaggio naturale assistente, questi analisti possono descrivere ciò che stanno cercando in inglese normale e Copilot genera la query KQL appropriata. Ciò consente ai membri del team meno esperti di partecipare alla ricerca proattiva delle minacce insieme agli analisti senior, ampliando la copertura del team senza sovraccarico aggiuntivo per la formazione.

  • Analisi di script offuscati e file sospetti: Durante un'indagine su un potenziale attacco ransomware, un analista incontra uno script di PowerShell offuscato. Anziché affidarsi a strumenti di analisi esterni o attendere un membro del team senior, l'analista usa la funzionalità di analisi degli script di Copilot per ricevere una spiegazione in linguaggio semplice del comportamento dello script, del livello di rischio e delle tecniche mitre ATT&CK usate. Questo riduce significativamente il tempo necessario per determinare se lo script è dannoso e quali passaggi di correzione sono necessari.

  • Rimanere al passo con le minacce emergenti con briefing di intelligence: Un team di sicurezza di un'organizzazione sanitaria vuole rimanere informato sugli attori delle minacce e sulle vulnerabilità rilevanti per il proprio settore. Threat Intelligence Briefing Agent offre briefing pianificati e personalizzati che riepilogano l'attività più recente degli attori delle minacce, le tendenze di sfruttamento e le divulgazioni di vulnerabilità, consentendo al team di modificare in modo proattivo le difese e assegnare priorità alle attività di applicazione di patch.

  • Semplificare la documentazione e la creazione di report sugli eventi imprevisti: Dopo aver risolto un evento imprevisto complesso e con più avvisi, un team di sicurezza deve produrre un report dettagliato degli eventi imprevisti per la conformità e la revisione dei dirigenti. Copilot compila automaticamente la sequenza temporale degli eventi imprevisti, le azioni di risposta, gli analisti coinvolti e il ragionamento di classificazione in un report strutturato che può essere esportato in FORMATO PDF, risparmiando tempo significativo agli analisti nella documentazione.

  • Valutazione del rischio di identità e dispositivo durante le indagini: Durante l'analisi di un evento imprevisto di accesso sospetto, un analista usa Copilot per generare un riepilogo delle identità che evidenzia il ruolo dell'utente, le modifiche recenti del ruolo, i modelli di accesso e i flag di rischio da Microsoft Entra ID. L'analista genera anche un riepilogo del dispositivo per l'endpoint interessato, rivelando software vulnerabili e attività insolite. Insieme, questi riepiloghi consentono all'analista di determinare rapidamente l'ambito della compromissione e di intraprendere azioni mirate.

Modelli e dati di training

Microsoft Defender estende Microsoft Security Copilot, sfruttando gli agenti esistenti e i modelli di intelligenza artificiale sottostanti. Di conseguenza, dipende da qualsiasi configurazione esterna fornita da questi. Ad esempio, la scelta del modello per Microsoft Security Copilot per l'esperienza di richiesta del linguaggio naturale incorporato. Per altre informazioni, vedere Microsoft Security Copilot Domande frequenti sull'intelligenza artificiale responsabile.

I dati dei clienti non vengono condivisi con OpenAI o usati per eseguire il training di Azure modelli di base OpenAI. Gli amministratori hanno il controllo completo sul modo in cui vengono usati i dati dell'organizzazione, incluso se consentire a Microsoft di acquisire i dati per la convalida del prodotto o il miglioramento del modello di intelligenza artificiale di sicurezza. Le preferenze di condivisione dei dati possono essere configurate in qualsiasi momento e i dati dei clienti vengono archiviati nella posizione geografica selezionata durante l'installazione. Per informazioni dettagliate sulla gestione dei dati, l'archiviazione, la conservazione e i controlli di condivisione, vedere Privacy e sicurezza dei dati in Microsoft Security Copilot.

Prestazioni

Microsoft Copilot in Microsoft Defender è progettato per eseguire in modo affidabile in una gamma di flussi di lavoro di analisi della sicurezza e risposta all'interno del portale di Microsoft Defender. L'applicazione opera in ambienti in cui gli analisti della sicurezza interagiscono con i dati degli eventi imprevisti, gli avvisi, l'intelligence sulle minacce, le informazioni sui dispositivi e sulle identità, i metadati dei file e gli script. Copilot elabora gli input basati su testo, inclusi i prompt del linguaggio naturale, il contenuto degli script e i dati di sicurezza strutturati e genera output basati su testo, ad esempio riepiloghi, raccomandazioni, query KQL, report e verdetti di classificazione. Non elabora né genera contenuto di immagini, video o audio.

L'applicazione è progettata e valutata principalmente per l'uso in inglese. Gli analisti che inviano richieste e esaminano gli output generati da Copilot in inglese possono aspettarsi il massimo livello di accuratezza e coerenza. Anche se il portale di Microsoft Defender supporta più lingue per la sua interfaccia più ampia, le funzionalità di comprensione e generazione del linguaggio naturale di Copilot sono ottimizzate per l'inglese. L'uso di linguaggi non supportati può comportare una riduzione dell'accuratezza o degli output meno rilevanti e gli utenti devono prestare attenzione quando operano al di fuori dell'ambito linguistico previsto.

Copilot in Defender offre prestazioni ottimali quando gli analisti interagiscono con esso all'interno dei flussi di lavoro di indagine previsti, ad esempio l'apertura di una pagina degli eventi imprevisti per ricevere un riepilogo, la richiesta di risposte guidate durante la valutazione o l'immissione di una domanda in linguaggio naturale nella query di ricerca avanzata assistente. L'applicazione sfrutta i dati dei carichi di lavoro che Microsoft Defender monitora, tra cui Microsoft Defender per endpoint, Microsoft Defender per identità, Microsoft Defender per Office 365, Microsoft Defender for Cloud Apps e Gestione delle vulnerabilità di Microsoft Defender, nonché Microsoft Sentinel dati quando disponibili. La qualità e la completezza degli output copilot dipendono dalla disponibilità e dalla ricchezza dei dati all'interno dell'ambiente del cliente.

Le prestazioni sono influenzate anche dalla complessità dell'input. Le richieste semplici e con ambito chiaro tendono a produrre risultati più accurati e interattivi, mentre le richieste ambigue, estremamente lunghe o esterne al dominio di sicurezza possono produrre output meno rilevanti. Per gli agenti autonomi, ad esempio l'agente di valutazione del phishing e l'agente di rilevamento dinamico delle minacce, le prestazioni vengono misurate tramite l'accuratezza della classificazione e la precisione del rilevamento, con un miglioramento continuo guidato dal feedback degli analisti e dal perfezionamento continuo del modello.

Limitazioni

Comprendere Microsoft Copilot nelle limitazioni di Microsoft Defender è fondamentale per determinare se viene usato entro limiti sicuri ed efficaci. Anche se incoraggiamo i clienti a sfruttare Microsoft Copilot in Microsoft Defender nelle loro soluzioni o applicazioni innovative, è importante notare che Microsoft Copilot in Microsoft Defender non è stato progettato per ogni possibile scenario. Si consiglia agli utenti di fare riferimento al Codice di condotta di Microsoft Enterprise AI Services (per le organizzazioni) o alla sezione Codice di condotta del Contratto di servizi Microsoft (per singoli utenti), nonché alle considerazioni seguenti quando si sceglie un caso d'uso:

  • Ambito del dominio di sicurezza: Microsoft Copilot in Microsoft Defender è progettato per generare risposte correlate al dominio di sicurezza, ad esempio analisi degli eventi imprevisti, intelligence sulle minacce e ricerca delle minacce. I prompt al di fuori dell'ambito della sicurezza potrebbero comportare risposte prive di accuratezza e completezza. Gli utenti devono assicurarsi che l'uso di Copilot sia limitato alle attività correlate alla sicurezza all'interno del portale di Microsoft Defender.

  • Ottimizzazione della lingua inglese: Copilot in Defender è stato sviluppato e valutato principalmente in inglese. L'uso di linguaggi non supportati può comportare una riduzione dell'accuratezza, output meno rilevanti o risposte incomplete. Gli utenti devono prestare attenzione quando operano al di fuori dell'ambito linguistico previsto e verificare attentamente gli output in tali scenari.

  • Accuratezza della generazione del codice: Copilot in Defender potrebbe generare codice o includere frammenti di codice, ad esempio query KQL, nelle relative risposte. Anche se questi output sembrano validi, potrebbero non essere sempre semanticamente o sintatticamente corretti o potrebbero non riflettere accuratamente la finalità dell'analista. Gli utenti devono sempre esaminare, testare e convalidare il codice generato prima di usarlo nell'ambiente di produzione, seguendo le stesse precauzioni di qualsiasi codice che non hanno creato in modo indipendente: test rigorosi, analisi IP e controllo delle vulnerabilità di sicurezza.

  • Vincoli di lunghezza della richiesta: Il sistema potrebbe non essere in grado di elaborare richieste molto lunghe, ad esempio quelle contenenti centinaia di migliaia di caratteri. Gli analisti devono mantenere le richieste concise e ben con ambito per ottenere risultati ottimali.

  • Latenza e capacità della risposta: La generazione e la verifica delle risposte possono richiedere tempo, in alcuni casi fino a diversi minuti, e richiede una capacità di calcolo significativa. L'utilizzo potrebbe essere soggetto a limitazione della capacità, in particolare durante i periodi di domanda elevata. Gli utenti devono pianificare potenziali ritardi quando si basano su Copilot per attività sensibili al tempo.

  • Accuratezza dell'output generata dall'intelligenza artificiale: Come qualsiasi tecnologia basata su intelligenza artificiale, Copilot in Defender non ottiene tutto a posto. Gli output potrebbero essere imprecisi, incompleti, distorti o disallineati con la finalità dell'analista. Ciò può verificarsi a causa di ambiguità negli input, limitazioni dei modelli sottostanti o lacune nei dati disponibili. Gli utenti devono sempre esaminare il contenuto generato da Copilot prima di intervenire su di esso e usare gli strumenti di feedback predefiniti per segnalare output imprecisi o problematici.

  • Corrisponde al codice pubblico: Copilot in Defender genera codice probabilisticamente e, sebbene la probabilità di produrre codice corrispondente al codice disponibile pubblicamente sia bassa, è possibile. Gli utenti devono adottare precauzioni per garantire l'idoneità e l'originalità, inclusi test rigorosi, analisi IP e controllo delle vulnerabilità di sicurezza.

  • Non è un sostituto del giudizio umano: Copilot in Defender è progettato per assistere, non sostituire, gli analisti della sicurezza. Tutte le raccomandazioni, i riepiloghi e le classificazioni devono essere esaminati da un analista qualificato prima di intraprendere un'azione, in particolare per decisioni consequenziali come contenimento, correzione o escalation.

Giudizi

Le valutazioni delle prestazioni e della sicurezza valutano se le applicazioni di intelligenza artificiale funzionano in modo affidabile e sicuro esaminando fattori come la solidità, la rilevanza e la coerenza, identificando al tempo stesso i rischi di generazione di contenuti dannosi. Le valutazioni seguenti sono state condotte con componenti di sicurezza già in atto, descritti anche in Componenti di sicurezza e mitigazioni.

Valutazioni di prestazioni e qualità

Le valutazioni delle prestazioni per le applicazioni di intelligenza artificiale sono essenziali per migliorare l'affidabilità nelle applicazioni reali. Metriche come la solidità, la rilevanza e la coerenza consentono di valutare l'accuratezza e la coerenza degli output generati dall'IA, in modo che siano effettivamente supportati in scenari di contenuto basati, contestualmente appropriati e strutturati logicamente. Per Microsoft Copilot in Microsoft Defender, sono stati eseguiti valutazioni delle prestazioni per le metriche seguenti, disponibili tramite Microsoft Foundry:

  • Messa a terra
  • Coerenza
  • Fluenza
  • Somiglianza

Metodi di valutazione delle prestazioni e della qualità

Le valutazioni delle prestazioni per Microsoft Copilot in Microsoft Defender sono state eseguite su output basati su testo generati nell'intera gamma di funzionalità supportate, tra cui riepilogo degli eventi imprevisti, risposte guidate, analisi di script e file, riepilogo di identità e dispositivi, generazione di query KQL e briefing di intelligence sulle minacce. Le valutazioni hanno usato analizzatori automatizzati assistiti dall'intelligenza artificiale disponibili tramite Microsoft Foundry, applicati a set di dati curati di scenari di analisi della sicurezza realistici tratti da input reali sintetici e rappresentativi.

La messa a terra misura se gli output generati sono effettivamente supportati dai dati di origine disponibili nell'ambiente, ad esempio avvisi di eventi imprevisti, segnali di intelligence sulle minacce e dati di telemetria di sicurezza. Un risultato ideale è quello in cui tutte le attestazioni nell'output sono tracciabili e coerenti con i dati sottostanti. Un risultato non ottimale contiene attestazioni fabbricate, allucinate o incoerenti con i dati di origine forniti al modello.

La coerenza misura la struttura logica, la chiarezza e la coerenza interna degli output generati. Un risultato ideale è ben organizzato, facile da seguire e privo di contraddizioni. Un risultato non ottimale è disgiunto, auto-contraddittorio o difficile per un analista da interpretare e su cui agire.

Fluency misura la correttezza grammaticale e la qualità linguistica del testo generato. Un risultato ideale legge naturalmente ed è privo di errori grammaticali o costruzioni scomode. Un risultato non ottimale contiene errori grammaticali o formulazioni che impediscono la leggibilità o la comprensione degli analisti.

La somiglianza misura il grado di allineamento tra output generati e output di riferimento prodotti da esperti di materia per gli stessi input. Un risultato ideale rispecchia da vicino la finalità, la copertura e l'accuratezza del riferimento esperto. Un risultato non ottimale differisce in modo significativo dalla risposta prevista nel contenuto, nell'ambito o nell'accuratezza.

Ogni metrica è stata valutata su scala numerica usando giudici assistiti dall'IA calibrati su annotazioni umane. Le valutazioni sono state eseguite in modo iterativo tra gli aggiornamenti del set di dati per tenere traccia della qualità nel tempo e supportare il miglioramento continuo.

Valutazioni dei rischi e della sicurezza

La valutazione dei potenziali rischi associati al contenuto generato dall'IA è essenziale per la protezione dai rischi del contenuto con vari gradi di gravità. Ciò include la valutazione della predisposizione di un'applicazione di intelligenza artificiale alla generazione di contenuti dannosi o al test delle vulnerabilità agli attacchi jailbreak. Per Microsoft Copilot in Microsoft Defender, sono stati eseguiti valutazioni dei rischi e della sicurezza per le metriche seguenti disponibili tramite Microsoft Foundry:

  • Odio e ingiustizia
  • Sessuale
  • Violenza
  • Autolesionismo
  • Materiale protetto
  • Jailbreak indiretto
  • Jailbreak diretto
  • Vulnerabilità del codice
  • Attributi non in background

Metodi di valutazione dei rischi e della sicurezza

Le valutazioni dei rischi e della sicurezza per Microsoft Copilot in Microsoft Defender sono state eseguite usando set di dati antagonisti e classificatori assistiti dall'intelligenza artificiale disponibili tramite Microsoft Foundry, applicati a input e output basati su testo. I prompt antagonisti sono stati creati per simulare i tentativi di provocare contenuti dannosi, che violano i criteri o fuori argomento in una serie di categorie di rischio. Gli output sono stati classificati per la presenza di tali contenuti usando classificatori sottoposti a training e calibrati in base agli standard di sicurezza di Microsoft.

L'odio e l'ingiustizia valutano se gli output contengono contenuti dispregiativi, discriminatori o pregiudizievoli destinati a individui o gruppi in base a caratteristiche protette. Un risultato ideale non contiene tale contenuto. Un risultato non ottimale include un linguaggio che sminuisce, stereotipa o caratterizza in modo ingiusto individui o gruppi.

Il sesso valuta se gli output contengono contenuti sessualmente espliciti o inappropriati. Un risultato ideale non contiene tale contenuto. Un risultato non ottimale include un linguaggio di natura sessuale inappropriato per un contesto di operazioni di sicurezza professionale.

La violenza valuta se gli output contengono contenuti che glorifica, istruiscono o incoraggiano atti violenti. Un risultato ideale non contiene tale contenuto. Un risultato non ottimale include un linguaggio che promuove o facilita i danni a individui o gruppi.

L'autolesionismo valuta se gli output contengono contenuti che promuovono, istruiscono o incoraggiano comportamenti autolesionanti. Un risultato ideale non contiene tale contenuto. Un risultato non ottimale include un linguaggio che potrebbe contribuire all'autolesionismo.

Il materiale protetto valuta se gli output riproducono testo protetto da copyright, codice o altro contenuto protetto verbatim o in un modo che crea esposizione legale. Un risultato ideale non riproduce materiale protetto. Un risultato non ottimale contiene la riproduzione verbatim del contenuto protetto di terze parti.

Jailbreak indiretto valuta la resilienza dell'applicazione per richiedere attacchi di inserimento incorporati nel contenuto esterno, ad esempio i dati recuperati da messaggi di posta elettronica, documenti o avvisi di sicurezza, che tentano di reindirizzare il comportamento del modello. Un risultato ideale è quello in cui il modello non segue le istruzioni inserite. Un risultato non ottimale è un risultato in cui le istruzioni inserite modificano gli output o il comportamento del modello.

Il jailbreak diretto valuta la resilienza dell'applicazione ai tentativi espliciti da parte degli utenti di ignorare i vincoli di sicurezza, ignorare le istruzioni di sistema o suscitare contenuto all'esterno dell'ambito previsto dell'applicazione. Un risultato ideale è quello in cui il modello rifiuta o gestisce in modo appropriato tali tentativi. Un risultato non ottimale è quello in cui il modello è conforme alle istruzioni progettate per aggirare i controlli di sicurezza.

La vulnerabilità del codice valuta se gli output di codice generati, ad esempio query KQL o frammenti di script, contengono vulnerabilità di sicurezza che potrebbero esporre a rischio l'analista o il relativo ambiente. Un risultato ideale è il codice privo di vulnerabilità sfruttabili. Un risultato non ottimale contiene codice con modelli di vulnerabilità noti, ad esempio rischi di inserimento o costrutti non sicuri.

Gli attributi non in background valutano se gli output assegnano caratteristiche, comportamenti o attributi a entità, ad esempio utenti, dispositivi o attori delle minacce, che non sono supportate dai dati sottostanti. Un risultato ideale attributi solo ciò che viene evidenziato nei dati di sicurezza disponibili. Un risultato non ottimale crea o deduce attributi senza base probatoria, il che potrebbe portare un analista a conclusioni errate.

Ogni metrica è stata valutata usando classificatori assistiti dall'intelligenza artificiale, con punteggi calibrati rispetto alle annotazioni umane. Le valutazioni sono state condotte in modo iterativo e hanno informato la progettazione delle mitigazioni di sicurezza descritte in Componenti e mitigazioni della sicurezza.

Dati di valutazione per qualità e sicurezza

I dati di valutazione sono personalizzati per valutare le prestazioni delle applicazioni di intelligenza artificiale in aree chiave di sicurezza e qualità, simulando scenari e rischi reali. Iniziamo identificando gli aspetti rilevanti della valutazione delle preoccupazioni in base alla ricerca multidisciplinare e al contributo di esperti. Queste preoccupazioni vengono tradotte in obiettivi di valutazione mirati e guidano la formulazione delle metriche di valutazione. Per motivi di sicurezza, vengono create richieste antagonistiche per generare risposte indesiderate o edge case, che vengono quindi valutate usando annotazioni assistite dall'IA addestrate per valutare l'allineamento con gli standard di sicurezza di Microsoft. Per la qualità, vengono create richieste basate su rubriche rilevanti per scenari quali la valutazione di applicazioni e agenti di generazione aumentata del recupero (RAG). I set di dati vengono curati da origini diverse, inclusi i set di dati sintetici e pubblici, per simulare scenari utente reali. Usando i set di dati curati, entrambe le valutazioni vengono sottoposte a perfezionamento iterativo e all'allineamento umano per migliorare l'efficacia e l'affidabilità delle metriche. Questa metodologia costituisce la base di valutazioni ripetibili e rigorose che riflettono il modo in cui i clienti usano le valutazioni per creare un'IA migliore e più sicura.

Valutazioni personalizzate

Microsoft Copilot in Microsoft Defender sono stati sottoposti a test e valutazioni personalizzate sostanziali prima del rilascio. Ciò includeva un red teaming completo, una pratica in cui i team dedicati testano rigorosamente il prodotto per identificare le modalità di errore e gli scenari che potrebbero causare la produzione di output all'esterno degli usi previsti o che non si allineano ai principi di Microsoft AI. Gli esercizi red teaming sono stati progettati per valutare la resilienza dell'applicazione rispetto agli input antagonisti, i tentativi di generare contenuti dannosi o fuori argomento e scenari di casi perimetrali che potrebbero compromettere la sicurezza o l'affidabilità.

Oltre al red teaming, Microsoft ha condotto test iterativi nell'intera gamma di funzionalità di Copilot in Defender, tra cui riepilogo degli eventi imprevisti, risposte guidate, analisi degli script, analisi dei file, riepilogo di identità e dispositivi, generazione di query KQL e briefing sulle intelligence sulle minacce. Queste valutazioni hanno valutato l'accuratezza, la messa a terra, la rilevanza e la coerenza degli output generati tra le modalità basate su testo (linguaggio naturale e codice KQL). Un risultato ideale è un risultato effettivamente accurato, in base ai dati di sicurezza disponibili, rilevanti per la query dell'analista e chiaramente strutturati. Un risultato non ottimale sarebbe di fatto errato, non supportato dai dati, irrilevante per la finalità dell'analista o difficile da seguire.

Un programma di accesso anticipato solo in invito ha fornito un meccanismo di valutazione aggiuntivo, che consente agli utenti reali di interagire con l'applicazione e fornire feedback strutturato prima della disponibilità generale. Il feedback degli utenti, raccolto tramite i pulsanti "Off-target", "Report" e "Confirm" su ogni risposta Copilot, è un segnale di valutazione continuo che Microsoft usa per identificare i problemi di qualità e favorire il miglioramento continuo. Per gli agenti autonomi, ad esempio l'agente di valutazione del phishing, la valutazione include anche metriche di accuratezza della classificazione e feedback degli analisti sulle decisioni di valutazione per perfezionare continuamente le prestazioni dell'agente.

Componenti di sicurezza e mitigazioni

  • Red teaming e test antagonisti: Prima del rilascio, Microsoft ha condotto un ampio gruppo rosso per identificare le modalità di errore e le condizioni in cui l'applicazione poteva generare output al di fuori dell'ambito previsto. I team dedicati hanno simulato input antagonisti, tentativi di jailbreak e scenari di casi perimetrali per valutare la resilienza dell'applicazione e informare la progettazione dei controlli di sicurezza.

  • Progettazione human-in-the-loop: Copilot in Defender mantiene gli esseri umani al centro di tutti i flussi di lavoro. Tutti gli output generati, inclusi riepiloghi, raccomandazioni, classificazioni e codice, vengono presentati agli analisti per la revisione prima di intraprendere qualsiasi azione. Questa progettazione garantisce che il giudizio umano sia il punto decisionale finale per tutte le attività di sicurezza.

  • Filtri dei contenuti e sistemi di sicurezza: Un sistema di sicurezza a più livelli è progettato per attenuare la generazione di contenuti dannosi e prevenire l'uso improprio. Sono inclusi annotazioni di contenuto dannose, classificatori di contenuto e misure di sicurezza predefinite che eseguano lo screening degli input e degli output per contenuti off-topic, dannosi o altrimenti inappropriati.

  • Monitoraggio operativo: Microsoft monitora continuamente le prestazioni operative di Copilot in Defender per rilevare anomalie, prestazioni ridotte e potenziali usi impropri. Questo monitoraggio consente di identificare e risolvere rapidamente i problemi che potrebbero influire sulla qualità o sulla sicurezza dell'applicazione.

  • Meccanismo di feedback degli utenti: Ogni risposta copilot include controlli di feedback, in particolare i pulsanti "Fuori destinazione", "Report" e "Conferma", che consentono agli analisti di contrassegnare output imprecisi, incompleti o sgradevoli. Questo feedback viene inviato direttamente a Microsoft e viene usato per migliorare la qualità e la sicurezza dell'applicazione nel tempo.

  • Imposizione dei limiti dell'ambito: Copilot in Defender è progettato per rispondere solo alle richieste relative al dominio di sicurezza. Prompt che non rientrano nell'ambito delle operazioni di sicurezza, ad esempio le richieste di conoscenze generali non correlate o attività non di sicurezza, vengono gestite con misure di protezione appropriate per ridurre il rischio di generare contenuti off-topic o fuorvianti.

  • Accesso e autorizzazioni in base al ruolo: L'accesso a Copilot in Defender è regolato dai controlli degli accessi in base al ruolo. Gli utenti devono disporre dell'accesso di cui è stato effettuato il provisioning alle Microsoft Security Copilot e funzionalità e agenti specifici richiedono autorizzazioni aggiuntive, ad esempio Lettore di sicurezza, Amministratore della sicurezza o ruoli di Microsoft Entra specifici. Ciò limita l'esposizione al personale autorizzato e applica il principio dei privilegi minimi.

  • Ragionamento trasparente per gli agenti autonomi: Per le funzionalità agenti, ad esempio l'agente di valutazione del phishing, l'applicazione fornisce una logica trasparente per i verdetti di classificazione in linguaggio naturale, descrivendo in dettaglio il ragionamento e le prove alla base delle conclusioni. È disponibile anche una rappresentazione visiva del processo di ragionamento, che consente agli analisti di comprendere e verificare il processo decisionale dell'agente.

  • Ciclo di feedback degli analisti per l'intelligenza artificiale agentic: Gli analisti possono fornire feedback sulle classificazioni degli agenti autonomi, ad esempio le decisioni di valutazione del phishing. Nel corso del tempo, questo feedback consente di perfezionare il comportamento dell'agente per riflettere meglio il contesto aziendale, ridurre i falsi positivi e migliorare l'accuratezza della classificazione.

  • Conformità dell'EU AI Act: Microsoft si impegna a rispettare la legge sull'intelligenza artificiale dell'UE. L'applicazione è sviluppata in linea con la Standard responsabile di intelligenza artificiale di Microsoft, che tiene conto delle proposte normative, tra cui l'EU AI Act. Per altre informazioni, vedere Conformità di Microsoft con l'EU AI Act.

Procedure consigliate per la distribuzione e l'adozione di Microsoft Copilot in Microsoft Defender

L'IA responsabile è un impegno condiviso tra Microsoft e i suoi clienti. Mentre Microsoft crea applicazioni di intelligenza artificiale con sicurezza, equità e trasparenza al centro, i clienti svolgono un ruolo fondamentale nella distribuzione e nell'uso responsabile di queste tecnologie all'interno dei propri contesti. Per supportare questa partnership, offriamo le procedure consigliate seguenti per i deployer e gli utenti finali per aiutare i clienti a implementare l'IA responsabile in modo efficace.

I deployer e gli utenti finali devono:

  • Prestare attenzione e valutare i risultati quando si usano Microsoft Copilot in Microsoft Defender per decisioni consequenziali o in domini sensibili: le decisioni consequenziali sono quelle che possono avere un impatto legale o significativo sull'accesso di una persona all'istruzione, all'occupazione, alle piattaforme finanziarie, alle prestazioni governative, all'assistenza sanitaria, all'alloggio, alle assicurazioni, alle piattaforme legali o che potrebbero comportare danni fisici, psicologici o finanziari. I domini sensibili come le piattaforme finanziarie, l'assistenza sanitaria e l'alloggio richiedono un'assistenza particolare a causa del potenziale impatto sproporzionato su diversi gruppi di persone. Quando si usa l'intelligenza artificiale per le decisioni in queste aree, assicurarsi che gli stakeholder interessati possano comprendere come vengono prese le decisioni, prendere decisioni di appello e aggiornare i dati di input pertinenti.

  • Valutare le considerazioni legali e normative: I clienti devono valutare potenziali obblighi legali e normativi specifici quando usano piattaforme e soluzioni di IA, che potrebbero non essere appropriate per l'uso in ogni settore o scenario. Inoltre, le piattaforme o le soluzioni di intelligenza artificiale non sono progettate per e non possono essere usate in modi vietati nei termini di servizio applicabili e nei codici di condotta pertinenti.

Gli utenti finali devono:

  • Esercitare la supervisione umana quando appropriato: La supervisione umana è una protezione importante quando si interagisce con le applicazioni di intelligenza artificiale. Anche se miglioriamo continuamente le nostre applicazioni di intelligenza artificiale, l'IA potrebbe comunque commettere errori. Gli output generati possono essere imprecisi, incompleti, distorti, disallineati o irrilevanti per gli obiettivi previsti. Ciò può verificarsi a causa di vari motivi, ad esempio ambiguità negli input o limitazioni dei modelli sottostanti. Di conseguenza, gli utenti devono esaminare le risposte generate da Microsoft Copilot in Microsoft Defender e verificare che soddisfino le aspettative e i requisiti.

  • Tenere presente il rischio di eccedenza: L'overreliance sull'IA si verifica quando gli utenti accettano output di IA non corretti o incompleti, principalmente perché gli errori negli output di intelligenza artificiale possono essere difficili da rilevare. Per gli utenti finali, l'eccessiva affidabilità potrebbe comportare una riduzione della produttività, perdita di fiducia, abbandono dell'applicazione, perdita finanziaria, danni psicologici o danni fisici. Gli analisti della sicurezza devono considerare gli output copilot come un punto di partenza per l'analisi, non come una determinazione finale, e devono verificare in modo indipendente i risultati critici prima di intraprendere azioni consequenziali.

  • Prestare attenzione durante la progettazione dell'intelligenza artificiale agentic nei domini sensibili: Gli utenti devono prestare attenzione quando progettano e/o distribuiscono applicazioni agentic per intelligenza artificiale in domini sensibili in cui le azioni degli agenti sono irreversibili o altamente consequenziali. Quando si crea un'intelligenza artificiale agentic autonoma, come descritto più avanti nel Codice di condotta di Microsoft Enterprise AI Services (per le organizzazioni) o nella sezione Codice di condotta del Contratto di servizi Microsoft (per i singoli utenti), è necessario adottare precauzioni aggiuntive.

  • Fornire commenti e suggerimenti per migliorare la qualità di Copilot: Quando una risposta è imprecisa, incompleta o poco chiara, usare i pulsanti "Fuori destinazione" e "Report" per contrassegnare l'output problematico. Quando le risposte sono utili e accurate, usare il pulsante "Conferma". Questi controlli di feedback vengono visualizzati nella parte inferiore di ogni risposta copilot e consentono a Microsoft di migliorare continuamente le prestazioni dell'applicazione.

  • Usare prompt chiari e specifici: Per ottenere risultati ottimali, inviare richieste concise, ricche di contesto e correlate al dominio di sicurezza. Ad esempio, invece di una domanda vaga come "Parlami delle minacce", chiedi "Riepiloga gli ultimi attori delle minacce destinati al settore sanitario negli ultimi 30 giorni". Richieste specifiche consentono a Copilot di generare risultati più accurati e interattivi.

  • Monitorare la deriva delle prestazioni: Se si osserva un calo della qualità degli output copilot nel tempo, segnalare il problema usando gli strumenti di feedback. Un feedback coerente consente a Microsoft di rilevare e gestire la deviazione delle prestazioni nella base di utenti.

I deployer devono:

  • Assicurarsi che il provisioning di accesso e l'assegnazione di ruolo siano corretti: Prima di distribuire Copilot in Defender, assicurarsi che gli utenti abbiano effettuato il provisioning dell'accesso a Microsoft Security Copilot con capacità di unità di calcolo di sicurezza sufficiente. Assegnare autorizzazioni basate sui ruoli usando il principio dei privilegi minimi in modo che analisti, amministratori e agenti abbiano solo l'accesso necessario per le proprie responsabilità. Per le funzionalità agenti, ad esempio l'agente di valutazione del phishing e l'agente di intelligence per le minacce, verificare che i ruoli e i prerequisiti di Microsoft Entra necessari siano soddisfatti prima di abilitare queste funzionalità.

  • Caricare le linee guida di risposta specifiche dell'organizzazione: Gli amministratori possono caricare linee guida di risposta personalizzate usate da Copilot per adattare le raccomandazioni di risposta guidate ai criteri e alle procedure dell'organizzazione. Ciò consente di garantire che le raccomandazioni di Copilot siano allineate al comportamento di sicurezza e ai requisiti operativi dell'organizzazione.

  • Configurare le impostazioni di riepilogo degli eventi imprevisti in modo appropriato: Il riepilogo automatico degli eventi imprevisti di Copilot può essere configurato per l'esecuzione di "Always", "In base al livello di gravità" o "Solo su richiesta". I deployer devono selezionare l'impostazione allineata al flusso di lavoro soc e al budget di calcolo per bilanciare la velocità di risposta con il consumo di risorse.

  • Testare le funzionalità di Copilot nell'ambiente: Prima di abilitare Copilot in modo generale, testare le funzionalità chiave, ad esempio il riepilogo degli eventi imprevisti, le risposte guidate, l'analisi degli script e la generazione di query KQL usando dati e scenari realistici dell'ambiente. Verificare che gli output siano accurati, pertinenti e utilizzabili per carichi di lavoro e origini dati specifici.

  • Monitorare ed esaminare l'attività dell'agente autonomo: Per le funzionalità agenti, ad esempio l'agente di valutazione del phishing e l'agente di rilevamento dinamico delle minacce, distribuire il monitoraggio iniziale per esaminare le classificazioni e gli avvisi degli agenti. Assicurarsi che gli analisti stiano rivedendo le determinazioni autonome e fornendo feedback, in particolare durante il periodo di distribuzione iniziale, per calibrare l'agente nel contesto dell'organizzazione.

  • Pianificare la capacità di calcolo e la latenza: La generazione di risposte può richiedere fino a alcuni minuti e richiede capacità GPU. I deployer devono pianificare la latenza potenziale durante i periodi di domanda elevata e comunicare agli analisti i tempi di risposta previsti in modo che possano pianificare i flussi di lavoro di conseguenza.

Altre informazioni su Microsoft Copilot in Microsoft Defender

Per altre indicazioni o per altre informazioni sull'uso responsabile di Microsoft Copilot in Microsoft Defender, è consigliabile esaminare la documentazione seguente:

Altre informazioni sull'intelligenza artificiale responsabile

  • Last updated on