Tarjeta de aplicación: Microsoft Copilot en Microsoft Defender

¿Qué es una tarjeta de aplicación?

Las tarjetas de plataforma y aplicaciones de Microsoft están diseñadas para ayudarle a comprender cómo funciona nuestra tecnología de inteligencia artificial, las opciones que los propietarios de aplicaciones pueden hacer que influya en el rendimiento y el comportamiento de la aplicación, y la importancia de tener en cuenta toda la aplicación, incluida la tecnología, las personas y el entorno. Las tarjetas de aplicación se crean para aplicaciones de inteligencia artificial y las tarjetas de plataforma se crean para los servicios de plataforma de IA. Estos recursos pueden admitir el desarrollo o la implementación de sus propias aplicaciones y pueden compartirse con usuarios o partes interesadas afectados por ellas.

Como parte de su compromiso con la inteligencia artificial responsable, Microsoft se adhiere a seis principios básicos: equidad, confiabilidad y seguridad, privacidad y seguridad, inclusión, transparencia y responsabilidad. Estos principios se insertan en la Standard de inteligencia artificial responsable, que guía a los equipos en el diseño, la compilación y la prueba de aplicaciones de inteligencia artificial. Las tarjetas de aplicación y plataforma desempeñan un papel clave en la puesta en marcha de estos principios al ofrecer transparencia en cuanto a las funcionalidades, los usos previstos y las limitaciones. Para obtener más información, se anima a los lectores a explorar el informe de transparencia de IA responsable de Microsoft y el código de conducta, que describen cómo los clientes empresariales y los usuarios pueden interactuar con la inteligencia artificial de forma responsable.

Información general

Microsoft Copilot en Microsoft Defender es la integración de Microsoft Security Copilot en el portal de Microsoft Defender. Es una aplicación de seguridad con tecnología de inteligencia artificial diseñada para ayudar a los analistas de seguridad a investigar y responder a las amenazas de ciberseguridad de forma más eficaz y eficaz. Al combinar modelos de lenguaje grande con datos e inteligencia específicos de la seguridad, Copilot en Defender proporciona información contextual, análisis automatizado y recomendaciones accionables directamente dentro de los flujos de trabajo de seguridad que los analistas usan cada día.

Los equipos del Centro de operaciones de seguridad (SOC) enfrentan crecientes volúmenes de alertas, ataques cada vez más sofisticados y el desafío de dotación de personal a analistas experimentados. Copilot en Defender aborda estos desafíos acelerando la investigación de incidentes, reduciendo el tiempo necesario para analizar amenazas complejas y permitiendo a los analistas de todos los niveles de experiencia realizar tareas que tradicionalmente requerían una experiencia profunda. La aplicación se basa en datos de las cargas de trabajo que Microsoft Defender supervisa, incluidos puntos de conexión, identidades, correo electrónico, aplicaciones en la nube, etc., para proporcionar asistencia pertinente y contextualizada.

Microsoft Copilot en Microsoft Defender está pensado para clientes empresariales, específicamente analistas de seguridad, respondedores de incidentes, cazadores de amenazas y analistas de inteligencia sobre amenazas que usan el portal de Microsoft Defender para proteger sus organizaciones. Para obtener más información, consulte Microsoft Security Copilot en Microsoft Defender.

Términos clave

En la tabla siguiente se proporciona un glosario de términos clave relacionados con Microsoft Copilot en Microsoft Defender.

Características o funcionalidades clave

Las características y funcionalidades clave de la tabla siguiente describen qué Microsoft Copilot de Microsoft Defender está diseñado para hacer y cómo se realiza en todas las tareas admitidas.

Usos previstos

Microsoft Copilot en Microsoft Defender se puede usar en varios escenarios en diversos sectores. Algunos ejemplos de casos de uso incluyen:

• Aceleración de la investigación y respuesta de incidentes: Un analista de seguridad de una organización de servicios financieros recibe una alerta de incidente de gravedad alta que implica varias alertas correlacionadas entre puntos de conexión y correo electrónico. Con Copilot, el analista recibe inmediatamente un resumen de la escala de tiempo del ataque, los activos afectados y los indicadores de riesgo. A continuación, Copilot proporciona recomendaciones de respuesta guiada para contener la amenaza y corregir los sistemas afectados, lo que reduce el tiempo de investigación de horas a minutos y permite una contención más rápida del ataque.

• Evaluación de la suplantación de identidad notificada por el usuario a escala: Una gran empresa recibe cientos de correos electrónicos de suplantación de identidad notificados por el usuario cada día. El agente de evaluación de suplantación de identidad evalúa de forma autónoma cada envío, lo clasifica como una amenaza auténtica o un falso positivo y proporciona una justificación de lenguaje natural para su determinación. A continuación, los analistas de SOC pueden centrar su tiempo en amenazas confirmadas en lugar de revisar manualmente cada correo electrónico notificado, lo que mejora tanto la velocidad de respuesta como la eficacia de los analistas.

• Permitir que los analistas junior realicen la búsqueda avanzada de amenazas: El equipo de SOC de una agencia gubernamental incluye analistas que aún no son expertos en KQL. Con la consulta de lenguaje natural asistente, estos analistas pueden describir lo que buscan en inglés sin formato y Copilot genera la consulta KQL adecuada. Esto permite a los miembros del equipo menos experimentados participar en la búsqueda proactiva de amenazas junto con analistas sénior, ampliando la cobertura del equipo sin sobrecarga de entrenamiento adicional.

• Análisis de scripts ofuscados y archivos sospechosos: Durante una investigación sobre un posible ataque de ransomware, un analista encuentra un script de PowerShell ofuscado. En lugar de depender de herramientas de análisis externos o de esperar a un miembro del equipo sénior, el analista usa la capacidad de análisis de scripts de Copilot para recibir una explicación en lenguaje sencillo del comportamiento del script, su nivel de riesgo y las técnicas de MITRE ATT&CK que emplea. Esto acorta significativamente el tiempo para determinar si el script es malintencionado y qué pasos de corrección son necesarios.

• Adelantándose a las amenazas emergentes con sesiones informativas de inteligencia: Un equipo de seguridad de una organización sanitaria quiere mantenerse informado sobre los actores de amenazas y las vulnerabilidades relevantes para su sector. Threat Intelligence Briefing Agent ofrece sesiones informativas programadas y personalizadas que resumen la actividad más reciente del actor de amenazas, las tendencias de explotación y las divulgaciones de vulnerabilidades, lo que permite al equipo ajustar proactivamente sus defensas y priorizar los esfuerzos de aplicación de revisiones.

• Simplificación de la documentación y la generación de informes de incidentes: Después de resolver un incidente complejo de varias alertas, un equipo de seguridad debe generar un informe detallado de incidentes para el cumplimiento y la revisión ejecutiva. Copilot compila automáticamente la escala de tiempo de incidentes, las acciones de respuesta, los analistas implicados y el razonamiento de clasificación en un informe estructurado que se puede exportar a PDF, lo que ahorra a los analistas un tiempo significativo en la documentación.

• Evaluación del riesgo de identidad y dispositivo durante las investigaciones: Al investigar un incidente de inicio de sesión sospechoso, un analista usa Copilot para generar un resumen de identidad que resalta el rol del usuario, los cambios recientes en los roles, los patrones de inicio de sesión y las marcas de riesgo de Microsoft Entra ID. El analista también genera un resumen del dispositivo para el punto de conexión implicado, que revela software vulnerable y actividad inusual. Juntos, estos resúmenes permiten al analista determinar rápidamente el ámbito del compromiso y tomar medidas dirigidas.

Modelos y datos de entrenamiento

Microsoft Defender amplía Microsoft Security Copilot, aprovechando sus agentes existentes y los modelos de inteligencia artificial subyacentes. Por lo tanto, depende de cualquier configuración externa que proporcionen. Por ejemplo, la elección del modelo para Microsoft Security Copilot para la experiencia de solicitud de lenguaje natural insertada. Para obtener más información, consulte Microsoft Security Copilot Preguntas más frecuentes sobre IA responsable.

Los datos del cliente no se comparten con OpenAI ni se usan para entrenar Azure modelos básicos de OpenAI. Los administradores tienen control total sobre cómo se usan los datos de su organización, incluida la posibilidad de permitir que Microsoft capture datos para la validación de productos o la mejora del modelo de IA de seguridad. Las preferencias de uso compartido de datos se pueden configurar en cualquier momento y los datos del cliente se almacenan en la ubicación geográfica seleccionada durante la instalación. Para obtener información detallada sobre el control de datos, el almacenamiento, la retención y los controles de uso compartido, consulte Privacidad y seguridad de datos en Microsoft Security Copilot.

Rendimiento

Microsoft Copilot en Microsoft Defender está diseñado para realizarse de forma confiable en una amplia gama de flujos de trabajo de investigación y respuesta de seguridad en el portal de Microsoft Defender. La aplicación funciona en entornos donde los analistas de seguridad interactúan con datos de incidentes, alertas, inteligencia sobre amenazas, información de dispositivo e identidad, metadatos de archivos y scripts. Copilot procesa entradas basadas en texto, incluidos mensajes de lenguaje natural, contenido de scripts y datos de seguridad estructurados, y genera salidas basadas en texto, como resúmenes, recomendaciones, consultas de KQL, informes y veredictos de clasificación. No procesa ni genera contenido de imagen, vídeo o audio.

La aplicación está diseñada y evaluada principalmente para su uso en inglés. Los analistas que envían mensajes y revisan los resultados generados por Copilot en inglés pueden esperar el mayor nivel de precisión y coherencia. Aunque el portal de Microsoft Defender admite varios idiomas para su interfaz más amplia, las funcionalidades de comprensión y generación de lenguaje natural de Copilot están optimizadas para inglés. El uso de lenguajes no admitidos puede dar lugar a una precisión reducida o a resultados menos relevantes, y los usuarios deben tener cuidado al trabajar fuera del ámbito de idioma previsto.

Copilot en Defender funciona mejor cuando los analistas interactúan con él dentro de los flujos de trabajo de investigación previstos, como abrir una página de incidentes para recibir un resumen, solicitar respuestas guiadas durante la evaluación de prioridades o escribir una pregunta de lenguaje natural en la consulta de búsqueda avanzada asistente. La aplicación aprovecha los datos de las cargas de trabajo que Microsoft Defender supervisa, incluidos Microsoft Defender para punto de conexión, Microsoft Defender for Identity, Microsoft Defender para Office 365, Microsoft Defender for Cloud Apps y Administración de vulnerabilidades de Microsoft Defender, así como Microsoft Sentinel datos cuando estén disponibles. La calidad y la integridad de las salidas de Copilot dependen de la disponibilidad y la riqueza de los datos dentro del entorno del cliente.

El rendimiento también está influenciado por la complejidad de la entrada. Las solicitudes sencillas y claramente con ámbito tienden a producir resultados más precisos y accionables, mientras que las solicitudes ambiguas, extremadamente largas o fuera del dominio de seguridad pueden producir salidas menos relevantes. En el caso de los agentes autónomos, como el agente de evaluación de suplantación de identidad (phishing) y el agente de detección dinámica de amenazas, el rendimiento se mide a través de la precisión de clasificación y de detección, con una mejora continua basada en los comentarios de los analistas y el perfeccionamiento continuo del modelo.

Limitaciones

Comprender Microsoft Copilot en las limitaciones de Microsoft Defender es fundamental para determinar si se usa dentro de límites seguros y eficaces. Aunque animamos a los clientes a aprovechar Microsoft Copilot en Microsoft Defender en sus soluciones o aplicaciones innovadoras, es importante tener en cuenta que Microsoft Copilot en Microsoft Defender no se diseñó para todos los escenarios posibles. Recomendamos a los usuarios que hagan referencia al Código de conducta de microsoft Enterprise AI Services (para organizaciones) o a la sección Código de conducta del Contrato de servicios de Microsoft (para particulares), así como a las siguientes consideraciones al elegir un caso de uso:

• Ámbito de dominio de seguridad: Microsoft Copilot en Microsoft Defender está diseñado para generar respuestas relacionadas con el dominio de seguridad, como la investigación de incidentes, la inteligencia sobre amenazas y la búsqueda de amenazas. Los avisos fuera del ámbito de seguridad pueden dar lugar a respuestas que carecen de precisión y integridad. Los usuarios deben asegurarse de que su uso de Copilot se limita a las tareas relacionadas con la seguridad en el portal de Microsoft Defender.

• Optimización del idioma inglés: Copilot en Defender se desarrolló y evaluó principalmente en inglés. El uso de lenguajes no admitidos puede dar lugar a una precisión reducida, a resultados menos relevantes o a respuestas incompletas. Los usuarios deben tener cuidado al trabajar fuera del ámbito de lenguaje previsto y comprobar las salidas cuidadosamente en esos escenarios.

• Precisión de la generación de código: Copilot en Defender puede generar código o incluir fragmentos de código, como consultas KQL, en sus respuestas. Aunque estas salidas parecen válidas, es posible que no siempre sean semántica o sintácticamente correctas, o que no reflejen con precisión la intención del analista. Los usuarios siempre deben revisar, probar y validar cualquier código generado antes de usarlo en producción, siguiendo las mismas precauciones que lo harían con cualquier código que no crearan de forma independiente: pruebas rigurosas, examen de IP y comprobación de vulnerabilidades de seguridad.

• Restricciones de longitud de aviso: Es posible que el sistema no pueda procesar mensajes muy largos, como los que contienen cientos de miles de caracteres. Los analistas deben mantener las indicaciones concisas y bien delimitadas para obtener mejores resultados.

• Latencia y capacidad de respuesta: La generación y comprobación de respuestas puede tardar tiempo, hasta varios minutos en algunos casos, y requiere una capacidad de proceso significativa. El uso puede estar sujeto a limitaciones de capacidad, especialmente durante períodos de alta demanda. Los usuarios deben planear posibles retrasos al confiar en Copilot para tareas que distinguen el tiempo.

• Precisión de salida generada por IA: Al igual que cualquier tecnología con IA, Copilot en Defender no consigue todo bien. Las salidas pueden ser inexactas, incompletas, sesgadas o mal alineadas con la intención del analista. Esto puede producirse debido a ambigüedades en las entradas, limitaciones de los modelos subyacentes o brechas en los datos disponibles. Los usuarios siempre deben revisar el contenido generado por Copilot antes de actuar sobre él y usar las herramientas de comentarios integradas para informar de salidas incorrectas o problemáticas.

• Coincide con código público: Copilot en Defender genera código de forma probabilística y, aunque la probabilidad de producir código que coincida con el código disponible públicamente es baja, es posible. Los usuarios deben tomar precauciones para garantizar la idoneidad y la originalidad, incluidas pruebas rigurosas, análisis de IP y comprobación de vulnerabilidades de seguridad.

• No es un sustituto del juicio humano: Copilot en Defender está diseñado para ayudar, no reemplazar, a los analistas de seguridad. Todos los analistas calificados deben revisar todas las recomendaciones, resúmenes y clasificaciones antes de tomar medidas, especialmente para las decisiones consecuentes, como la contención, la corrección o la escalación.

Evaluaciones

Las evaluaciones de rendimiento y seguridad evalúan si las aplicaciones de inteligencia artificial funcionan de forma confiable y segura mediante el examen de factores como la base, la relevancia y la coherencia, a la vez que se identifican los riesgos de generar contenido dañino. Las siguientes evaluaciones se llevaron a cabo con componentes de seguridad ya en vigor, que también se describen en Componentes de seguridad y mitigaciones.

Evaluaciones de rendimiento y calidad

Las evaluaciones de rendimiento de las aplicaciones de inteligencia artificial son esenciales para mejorar su confiabilidad en aplicaciones del mundo real. Métricas como la base, la relevancia y la coherencia ayudan a evaluar la precisión y la coherencia de los resultados generados por IA, de modo que se admitan fácticamente en escenarios de contenido basado, contextualmente adecuados y estructurados lógicamente. Para Microsoft Copilot en Microsoft Defender, realizamos evaluaciones de rendimiento para las siguientes métricas, que están disponibles a través de Microsoft Foundry:

• Conexión a tierra
• Coherencia
• Fluidez
• Similitud

Métodos de evaluación de rendimiento y calidad

Las evaluaciones de rendimiento de Microsoft Copilot en Microsoft Defender se realizaron en salidas basadas en texto generadas en toda la gama de funcionalidades admitidas, incluido el resumen de incidentes, respuestas guiadas, análisis de scripts y archivos, resumen de identidades y dispositivos, generación de consultas KQL e informes de inteligencia sobre amenazas. Las evaluaciones usaron evaluadores automatizados asistidos por inteligencia artificial disponibles a través de Microsoft Foundry, aplicados a conjuntos de datos seleccionados de escenarios de investigación de seguridad realistas extraídos de entradas sintéticas y representativas del mundo real.

La base mide si los datos de origen disponibles en el entorno admiten de hecho las salidas generadas, como alertas de incidentes, señales de inteligencia sobre amenazas y telemetría de seguridad. Un resultado ideal es aquel en el que todas las notificaciones de la salida son rastreables y coherentes con los datos subyacentes. Un resultado poco óptimo contiene notificaciones que se fabrican, alucinan o son incoherentes con los datos de origen proporcionados al modelo.

La coherencia mide la estructura lógica, la claridad y la coherencia interna de los resultados generados. Un resultado ideal es bien organizado, fácil de seguir y libre de contradicciones. Un resultado poco óptimo es desenlazado, autoconsulta o difícil de interpretar y actuar por un analista.

La fluidez mide la corrección gramatical y la calidad lingüística del texto generado. Un resultado ideal lee de forma natural y está libre de errores gramaticales o construcciones incómodas. Un resultado poco óptimo contiene errores gramaticales o expresiones que impiden la legibilidad o la comprensión de los analistas.

Similitud mide el grado de alineación entre las salidas generadas y las salidas de referencia generadas por expertos en la materia para las mismas entradas. Un resultado ideal refleja estrechamente la intención, la cobertura y la precisión de la referencia experta. Un resultado poco óptimo difiere significativamente de la respuesta esperada en contenido, ámbito o precisión.

Cada métrica se puntúa a escala numérica mediante jueces asistidos por IA calibrados con anotaciones humanas. Las evaluaciones se ejecutaron iterativamente en las actualizaciones del conjunto de datos para realizar un seguimiento de la calidad a lo largo del tiempo y admitir la mejora continua.

Evaluaciones de riesgos y seguridad

La evaluación de posibles riesgos asociados con el contenido generado por IA es esencial para protegerse frente a los riesgos de contenido con distintos grados de gravedad. Esto incluye la evaluación de la predisposición de una aplicación de inteligencia artificial hacia la generación de contenido dañino o la prueba de vulnerabilidades a ataques de jailbreak. Para Microsoft Copilot en Microsoft Defender, hemos realizado evaluaciones de riesgo y seguridad para las siguientes métricas disponibles a través de Microsoft Foundry:

• Odio e injusticia
• Sexual
• Violencia
• Autolesionado
• Material protegido
• Jailbreak indirecto
• Jailbreak directo
• Vulnerabilidad de código
• Atributos sin conexión

Métodos de evaluación de riesgos y seguridad

Las evaluaciones de riesgo y seguridad de Microsoft Copilot en Microsoft Defender se realizaron mediante conjuntos de datos adversarios y clasificadores asistidos por inteligencia artificial disponibles a través de Microsoft Foundry, aplicados a entradas y salidas basadas en texto. Las solicitudes adversarias se diseñaron para simular intentos de provocar contenido dañino, infractor de directivas o fuera del tema en una serie de categorías de riesgo. Las salidas se puntuaron por la presencia de dicho contenido mediante clasificadores entrenados y calibrados según los estándares de seguridad de Microsoft.

El odio y la injusticia evalúan si los resultados contienen contenido despectivo, discriminatorio o perjudicial dirigido a individuos o grupos basados en características protegidas. Un resultado ideal no contiene dicho contenido. Un resultado poco óptimo incluye un lenguaje que degrada, estereotipos o caracteriza injustamente a individuos o grupos.

Sexual evalúa si las salidas contienen contenido sexualmente explícito o inadecuado. Un resultado ideal no contiene dicho contenido. Un resultado poco óptimo incluye un lenguaje de naturaleza sexual inadecuado para un contexto de operaciones de seguridad profesional.

La violencia evalúa si los resultados contienen contenido que glorifia, instruye o fomenta actos violentos. Un resultado ideal no contiene dicho contenido. Un resultado poco óptimo incluye un lenguaje que promueve o facilita el daño a individuos o grupos.

Autolesiones evalúa si las salidas contienen contenido que promueve, instruye o fomenta el comportamiento autolesivo. Un resultado ideal no contiene dicho contenido. Un resultado poco óptimo incluye un lenguaje que podría contribuir a autolesionar.

El material protegido evalúa si las salidas reproducen texto con derechos de autor, código u otro contenido protegido textualmente o de una manera que crea una exposición legal. Un resultado ideal no reproduce material protegido. Un resultado poco óptimo contiene la reproducción textual del contenido protegido por terceros.

Jailbreak indirecto evalúa la resistencia de la aplicación para solicitar ataques por inyección insertados en contenido externo, como datos recuperados de correos electrónicos, documentos o alertas de seguridad, que intentan redirigir el comportamiento del modelo. Un resultado ideal es aquel en el que el modelo no sigue las instrucciones insertadas. Un resultado poco óptimo es aquel en el que las instrucciones insertadas modifican las salidas o el comportamiento del modelo.

Jailbreak directo evalúa la resistencia de la aplicación para que los usuarios intenten explícitamente omitir las restricciones de seguridad, invalidar las instrucciones del sistema o obtener contenido fuera del ámbito previsto de la aplicación. Un resultado ideal es aquel en el que el modelo se niega o controla correctamente dichos intentos. Un resultado poco óptimo es aquel en el que el modelo cumple con las instrucciones diseñadas para eludir los controles de seguridad.

La vulnerabilidad de código evalúa si las salidas de código generadas, como consultas KQL o fragmentos de código de script, contienen vulnerabilidades de seguridad que podrían exponer al analista o a su entorno a riesgos. Un resultado ideal es el código que está libre de vulnerabilidades que se pueden aprovechar. Un resultado poco óptimo contiene código con patrones de vulnerabilidad conocidos, como riesgos de inyección o construcciones inseguras.

Los atributos sin conexión evalúan si las salidas asignan características, comportamientos o atributos a entidades, como usuarios, dispositivos o actores de amenazas, que no son compatibles con los datos subyacentes. Un resultado ideal solo atribuye lo que se evidencia en los datos de seguridad disponibles. Un resultado poco óptimo fabrica o deduce atributos sin base probatoria, lo que podría llevar a un analista a conclusiones incorrectas.

Cada métrica se puntúa mediante clasificadores asistidos por inteligencia artificial, con puntuaciones calibradas con anotaciones humanas. Las evaluaciones se realizaron de forma iterativa e informaron del diseño de mitigaciones de seguridad descritas en Componentes y mitigaciones de seguridad.

Datos de evaluación de calidad y seguridad

Nuestros datos de evaluación están personalizados para evaluar el rendimiento de las aplicaciones de inteligencia artificial en áreas clave de seguridad y calidad, simulando escenarios y riesgos reales. Comenzamos por identificar los aspectos de evaluación pertinentes que preocupan en función de la investigación multidisciplinar y las aportaciones de expertos. Estas preocupaciones se traducen en objetivos de evaluación dirigidos y orientan la formulación de métricas de evaluación. Por motivos de seguridad, creamos avisos adversarios para obtener respuestas no deseadas o de casos perimetrales, que luego se puntúan mediante anotadores asistidos por IA entrenados para evaluar la alineación con los estándares de seguridad de Microsoft. Por calidad, creamos avisos basados en rúbricas relevantes para escenarios como la evaluación de aplicaciones y agentes de generación aumentada por recuperación (RAG). Los conjuntos de datos se conservan de diversos orígenes, incluidos conjuntos de datos sintéticos y públicos, para simular escenarios de usuario reales. Con los conjuntos de datos seleccionados, ambas evaluaciones se someten a refinamiento iterativo y alineación humana para mejorar la eficacia y confiabilidad de las métricas. Esta metodología constituye la base de evaluaciones repetibles y rigurosas que reflejan cómo los clientes usan las evaluaciones para crear una inteligencia artificial mejor y más segura.

Evaluaciones personalizadas

Microsoft Copilot en Microsoft Defender se sometieron a pruebas y evaluaciones personalizadas sustanciales antes del lanzamiento. Esto incluía la formación completa de equipos rojos, una práctica en la que los equipos dedicados prueban rigurosamente el producto para identificar los modos y escenarios de error que podrían hacer que la aplicación produzca salidas fuera de sus usos previstos o que no se alineen con los principios de Microsoft AI. Los ejercicios de formación de equipos rojos se diseñaron para evaluar la resistencia de la aplicación frente a las entradas adversariales, los intentos de provocar contenido dañino o fuera del tema y escenarios de casos perimetrales que podrían poner en peligro la seguridad o la confiabilidad.

Además de la formación de equipos rojos, Microsoft realizó pruebas iterativas en toda la gama de funcionalidades de Copilot en Defender, incluido el resumen de incidentes, las respuestas guiadas, el análisis de scripts, el análisis de archivos, el resumen de identidades y dispositivos, la generación de consultas de KQL y los informes de inteligencia sobre amenazas. Estas evaluaciones evaluaron la precisión, la base, la relevancia y la coherencia de los resultados generados en las modalidades basadas en texto (lenguaje natural y código KQL). Un resultado ideal es aquel que es fácticamente preciso, fundamentado en los datos de seguridad disponibles, relevantes para la consulta del analista y claramente estructurados. Un resultado poco óptimo sería aquel que sea fácticamente incorrecto, no compatible con los datos, irrelevante para la intención del analista o difícil de seguir.

Un programa de acceso anticipado de solo invitación proporcionó un mecanismo de evaluación adicional, lo que permite a los usuarios del mundo real interactuar con la aplicación y proporcionar comentarios estructurados antes de la disponibilidad general. Los comentarios de los usuarios, recopilados a través de los botones "Fuera del objetivo", "Informe" y "Confirmar" en cada respuesta de Copilot, son una señal de evaluación continua que Microsoft usa para identificar problemas de calidad e impulsar la mejora continua. En el caso de los agentes autónomos, como el agente de evaluación de suplantación de identidad, la evaluación también incluye métricas de precisión de clasificación y comentarios de analistas sobre las decisiones de evaluación de valoraciones para refinar continuamente el rendimiento del agente.

Componentes de seguridad y mitigaciones

• Formación de equipos rojos y pruebas adversariales: Antes del lanzamiento, Microsoft realizó una amplia formación de equipos rojos para identificar los modos de error y las condiciones en las que la aplicación podría generar salidas fuera del ámbito previsto. Los equipos dedicados simularon entradas adversariales, intentos de jailbreak y escenarios de casos perimetrales para evaluar la resistencia de la aplicación e informar sobre el diseño de controles de seguridad.

• Diseño humano en bucle: Copilot en Defender mantiene a los seres humanos en el centro de todos los flujos de trabajo. Todas las salidas generadas, incluidos resúmenes, recomendaciones, clasificaciones y código, se presentan a los analistas para su revisión antes de realizar cualquier acción. Este diseño garantiza que el juicio humano sea el punto de decisión final para todas las actividades de operaciones de seguridad.

• Sistemas de filtrado y seguridad de contenido: Un sistema de seguridad multicapa está diseñado para mitigar la generación de contenido perjudicial y evitar el uso indebido. Esto incluye anotaciones de contenido dañinas, clasificadores de contenido y medidas de seguridad integradas que filtran tanto entradas como salidas para contenido fuera del tema, dañino o inadecuado.

• Supervisión operativa: Microsoft supervisa continuamente el rendimiento operativo de Copilot en Defender para detectar anomalías, rendimiento degradado y posibles usos indebidos. Esta supervisión permite una rápida identificación y resolución de problemas que podrían afectar a la calidad o la seguridad de la aplicación.

• Mecanismo de comentarios del usuario: Cada respuesta de Copilot incluye controles de comentarios, específicamente los botones "Fuera del objetivo", "Informe" y "Confirmar", que permiten a los analistas marcar salidas inexactas, incompletas o objetables. Estos comentarios van directamente a Microsoft y se usan para mejorar la calidad y la seguridad de la aplicación a lo largo del tiempo.

• Aplicación de límites de ámbito: Copilot en Defender está diseñado para responder solo a mensajes relacionados con el dominio de seguridad. Consultas que se encuentran fuera del ámbito de las operaciones de seguridad, como las solicitudes de conocimientos generales no relacionados o tareas que no son de seguridad, se controlan con barreras de protección adecuadas para reducir el riesgo de generar contenido fuera del tema o engañoso.

• Acceso y permisos basados en roles: El acceso a Copilot en Defender se rige por controles de acceso basados en rol. Los usuarios deben tener acceso aprovisionado a Microsoft Security Copilot y características y agentes específicos requieren permisos adicionales, como lector de seguridad, administrador de seguridad o roles de Microsoft Entra específicos. Esto limita la exposición al personal autorizado y aplica el principio de privilegios mínimos.

• Razonamiento transparente para agentes autónomos: En el caso de las funcionalidades de agente, como el agente de evaluación de identidades de suplantación de identidad (Phishing Triage Agent), la aplicación proporciona una justificación transparente para sus veredictos de clasificación en lenguaje natural, detallando el razonamiento y la evidencia detrás de las conclusiones. También hay disponible una representación visual del proceso de razonamiento, lo que permite a los analistas comprender y comprobar el proceso de toma de decisiones del agente.

• Bucle de comentarios de analistas para la inteligencia artificial agentic: Los analistas pueden proporcionar comentarios sobre las clasificaciones de agentes autónomos, como las decisiones de evaluación de prioridades de phishing. Con el tiempo, estos comentarios ayudan a refinar el comportamiento del agente para reflejar mejor el contexto organizativo, reducir los falsos positivos y mejorar la precisión de la clasificación.

• Cumplimiento de la Ley de inteligencia artificial de la UE: Microsoft se compromete a cumplir con la Ley de IA de la UE. La aplicación se desarrolla en consonancia con la Standard de inteligencia artificial responsable de Microsoft, que se encarga de las propuestas normativas, incluida la Ley de IA de la UE. Para obtener más información, consulte Cumplimiento de Microsoft con la Ley de inteligencia artificial de la UE.

Procedimientos recomendados para implementar y adoptar Microsoft Copilot en Microsoft Defender

La inteligencia artificial responsable es un compromiso compartido entre Microsoft y sus clientes. Aunque Microsoft crea aplicaciones de inteligencia artificial con seguridad, equidad y transparencia en el núcleo, los clientes desempeñan un papel fundamental en la implementación y el uso de estas tecnologías de forma responsable dentro de sus propios contextos. Para admitir esta asociación, ofrecemos los siguientes procedimientos recomendados para los implementadores y los usuarios finales con el fin de ayudar a los clientes a implementar la inteligencia artificial responsable de forma eficaz.

Los implementadores y los usuarios finales deben:

• Tenga cuidado y evalúe los resultados al usar Microsoft Copilot en Microsoft Defender para decisiones consecuentes o en dominios confidenciales: las decisiones consecuentes son aquellas que pueden tener un impacto legal o significativo en el acceso de una persona a la educación, el empleo, las plataformas financieras, los beneficios gubernamentales, la atención sanitaria, la vivienda, los seguros, las plataformas legales, o que podrían dar lugar a daños físicos, psicológicos o financieros. Los dominios confidenciales, como las plataformas financieras, la atención sanitaria y la vivienda, requieren atención especial debido a la posibilidad de un impacto desproporcionado en diferentes grupos de personas. Al usar la inteligencia artificial para tomar decisiones en estas áreas, asegúrese de que las partes interesadas afectadas puedan comprender cómo se toman las decisiones, apelar decisiones y actualizar los datos de entrada pertinentes.

• Evaluar consideraciones legales y reglamentarias: Los clientes deben evaluar posibles obligaciones legales y reglamentarias específicas al usar cualquier plataforma y solución de inteligencia artificial, que puede no ser adecuada para su uso en todos los sectores o escenarios. Además, las plataformas o soluciones de IA no están diseñadas para y no se pueden usar de maneras prohibidas en términos de servicio aplicables y códigos de conducta pertinentes.

Los usuarios finales deben:

• Ejercita la supervisión humana cuando corresponda: La supervisión humana es una medida de seguridad importante al interactuar con aplicaciones de inteligencia artificial. Aunque mejoramos continuamente nuestras aplicaciones de inteligencia artificial, es posible que la inteligencia artificial siga cometiendo errores. Los resultados generados pueden ser inexactos, incompletos, sesgados, desalineados o irrelevantes para los objetivos previstos. Esto podría ocurrir debido a varias razones, como la ambigüedad en las entradas o limitaciones de los modelos subyacentes. Por lo tanto, los usuarios deben revisar las respuestas generadas por Microsoft Copilot en Microsoft Defender y comprobar que coinciden con sus expectativas y requisitos.

• Tenga en cuenta el riesgo de exceso de dependencia: La dependencia excesiva de la inteligencia artificial se produce cuando los usuarios aceptan salidas de IA incorrectas o incompletas, principalmente porque los errores en las salidas de IA pueden ser difíciles de detectar. En el caso de los usuarios finales, el exceso de dependencia podría dar lugar a una disminución de la productividad, la pérdida de confianza, el abandono de aplicaciones, la pérdida financiera, los daños psicológicos o los daños físicos. Los analistas de seguridad deben tratar las salidas de Copilot como un punto de partida para la investigación, no como una determinación final, y deben comprobar de forma independiente los resultados críticos antes de tomar medidas consecuentes.

• Tenga cuidado al diseñar la inteligencia artificial agentic en dominios confidenciales: Los usuarios deben tener cuidado al diseñar o implementar aplicaciones de inteligencia artificial de agente en dominios confidenciales donde las acciones del agente son irreversibles o altamente consecuentes. También se deben tomar precauciones adicionales al crear inteligencia artificial de agente autónomo, tal como se describe más adelante en el Código de conducta de microsoft Enterprise AI Services (para organizaciones) o en la sección Código de conducta del Contrato de servicios de Microsoft (para particulares).

• Proporcione comentarios para mejorar la calidad de Copilot: Cuando una respuesta sea inexacta, incompleta o poco clara, use los botones "Fuera de destino" y "Informe" para marcar la salida problemática. Cuando las respuestas sean útiles y precisas, use el botón "Confirmar". Estos controles de comentarios aparecen en la parte inferior de cada respuesta de Copilot y ayudan a Microsoft a mejorar continuamente el rendimiento de la aplicación.

• Use mensajes claros y específicos: Para obtener los mejores resultados, envíe mensajes que sean concisos, enriquecidos en contexto y relacionados con el dominio de seguridad. Por ejemplo, en lugar de una pregunta vaga como "Cuéntame sobre las amenazas", pregunta "Resumir los últimos actores de amenazas dirigidos al sector sanitario en los últimos 30 días". Las indicaciones específicas ayudan a Copilot a generar resultados más precisos y accionables.

• Supervisión del desfase de rendimiento: Si observa una disminución en la calidad de las salidas de Copilot a lo largo del tiempo, informe del problema mediante las herramientas de comentarios. Los comentarios coherentes ayudan a Microsoft a detectar y abordar el desfase de rendimiento en la base de usuarios.

Los implementadores deben:

• Asegúrese del aprovisionamiento de acceso y la asignación de roles adecuados: Antes de implementar Copilot en Defender, asegúrese de que los usuarios hayan aprovisionado el acceso a Microsoft Security Copilot con suficiente capacidad de unidades de proceso de seguridad. Asigne permisos basados en roles mediante el principio de privilegios mínimos para que los analistas, administradores y agentes solo tengan el acceso necesario para sus responsabilidades. En el caso de las funcionalidades de agente, como el agente de evaluación de suplantación de identidad (phishing) y el agente de información de inteligencia sobre amenazas, compruebe que se cumplen los roles y requisitos previos de Microsoft Entra necesarios antes de habilitar estas características.

• Instrucciones de respuesta específicas de la organización de carga: Los administradores pueden cargar directrices de respuesta personalizadas que Copilot usa para adaptar las recomendaciones de respuesta guiada a las directivas y procedimientos de la organización. Esto ayuda a garantizar que las recomendaciones de Copilot estén alineadas con la posición de seguridad y los requisitos operativos de la organización.

• Configure los valores de resumen de incidentes correctamente: El resumen automático de incidentes de Copilot se puede configurar para ejecutar "Always", "Based on severity level" o "On demand only". Los implementadores deben seleccionar la configuración que se alinea con el flujo de trabajo de SOC y el presupuesto de proceso para equilibrar la capacidad de respuesta con el consumo de recursos.

• Pruebe las funcionalidades de Copilot en todo el entorno: Antes de habilitar ampliamente Copilot, pruebe las funcionalidades clave, como el resumen de incidentes, las respuestas guiadas, el análisis de scripts y la generación de consultas KQL mediante datos y escenarios realistas de su entorno. Valide que las salidas son precisas, pertinentes y accionables para las cargas de trabajo y orígenes de datos específicos.

• Supervisión y revisión de la actividad del agente autónomo: En el caso de las funcionalidades de agente, como el agente de evaluación de suplantación de identidad (Phishing Triage Agent) y el agente de detección dinámica de amenazas, implemente la supervisión inicial para revisar las clasificaciones y alertas del agente. Asegúrese de que los analistas revisan las determinaciones autónomas y proporcionan comentarios, especialmente durante el período de implementación inicial, para calibrar el agente en el contexto de su organización.

• Planee la capacidad de proceso y la latencia: La generación de respuestas puede tardar hasta varios minutos y requiere capacidad de GPU. Los implementadores deben planear una posible latencia durante períodos de alta demanda y comunicar los tiempos de respuesta esperados a los analistas para que puedan planear sus flujos de trabajo en consecuencia.

Más información sobre Microsoft Copilot en Microsoft Defender

Para obtener instrucciones adicionales o para obtener más información sobre el uso responsable de Microsoft Copilot en Microsoft Defender, se recomienda revisar la siguiente documentación:

• Microsoft Copilot para seguridad en Microsoft Defender
• ¿Qué es Seguridad de Microsoft Copilot?
• Privacidad y seguridad de los datos en Security Copilot
• Cumplimiento de Microsoft con la Ley de inteligencia artificial de la UE
• Introducción a Seguridad de Copilot

Más información sobre la inteligencia artificial responsable

• principios de Microsoft AI
• Recursos de inteligencia artificial responsable de Microsoft
• Cursos de Microsoft Azure Learning sobre inteligencia artificial responsable