Filtrado de contenido para modelos de Microsoft Foundry (clásico)

Solo se aplica a:portal Foundry (clásico). Este artículo no está disponible para el nuevo portal de Foundry. Obtenga más información sobre el nuevo portal.

Microsoft Foundry incluye un sistema de filtrado de contenido que funciona junto con modelos principales y modelos de generación de imágenes y funciona con Seguridad del contenido de Azure AI. Este sistema ejecuta la solicitud y la finalización a través de un conjunto de modelos de clasificación diseñados para detectar y evitar la salida de contenido dañino. El sistema de filtrado de contenido detecta y toma medidas en categorías específicas de contenido potencialmente perjudicial tanto en solicitudes de entrada como en finalizaciones de salida. Las variaciones en las configuraciones de API y el diseño de aplicaciones pueden afectar a las finalizaciones y, por tanto, al comportamiento de filtrado.

En las secciones siguientes se proporciona información sobre las categorías de filtrado de contenido, los niveles de gravedad de filtrado y su capacidad de configuración, y los escenarios de API que se deben tener en cuenta en el diseño y la implementación de aplicaciones.

Además del sistema de filtrado de contenido, Azure OpenAI realiza la supervisión para detectar contenido y comportamientos que sugieren el uso del servicio de una manera que pueda infringir los términos de producto aplicables. Para obtener más información sobre cómo comprender y mitigar los riesgos asociados a la aplicación, consulte la nota de Transparency para Azure OpenAI. Para obtener más información sobre cómo se procesan los datos para el filtrado de contenido y la supervisión de abusos, consulte Data, privacidad y seguridad para Azure OpenAI.

Tipos de filtro de contenido

El sistema de filtrado de contenido integrado en el servicio Foundry Models en Foundry Tools contiene:

• Modelos de clasificación multiclase neuronales que detectan y filtran contenido dañino. Estos modelos abarcan cuatro categorías (odio, sexual, violencia y autolesión) en cuatro niveles de gravedad (seguros, bajos, medianos y altos). El contenido detectado en el nivel de gravedad "seguro" está etiquetado en anotaciones, pero no está sujeto al filtrado y no es configurable.
• Otros modelos de clasificación opcionales que detectan el riesgo de jailbreak (desbloqueo) y contenidos conocidos tanto en el texto como en el código. Estos modelos son clasificadores binarios que marcan si el comportamiento del usuario o del modelo se califica como un ataque de jailbreak o coinciden con el texto conocido o el código fuente. El uso de estos modelos es opcional, pero el uso del modelo de código de material protegido podría ser necesario para la cobertura del compromiso de derechos de autor del cliente.

¹ Si es propietario del material de texto y desea enviar contenido de texto para la protección, abra una solicitud.

² No disponible en escenarios que no son de streaming; solo está disponible para escenarios de streaming. Las siguientes regiones admiten la detección de solidez: Centro de EE. UU., Este de EE. UU., Centro de Francia y Este de Canadá

Filtros de entrada

Filtros de contenido de texto

Consulte Categorías de daño y niveles de gravedad para obtener más información sobre las cuatro categorías de filtrado de contenido (odio, sexual, violencia y autolesión) y sus niveles de gravedad (seguros, bajos, medianos y altos).

Filtros de contenido de imagen

Consulte Categorías de daño y niveles de gravedad para obtener más información sobre las cuatro categorías de filtrado de contenido (odio, sexual, violencia y autolesión) y sus niveles de gravedad (seguros, bajos, medianos y altos).

Escudos de avisos

Los escudos de avisos son un filtro de seguridad para las entradas para los modelos de inteligencia artificial generativa.

Filtros de salida

También puede habilitar los siguientes filtros de salida especiales:

• Material protegido para texto: el texto del material protegido describe el contenido de texto conocido (por ejemplo, letras de canciones, artículos, recetas y contenido web seleccionado) que podría generar un modelo de lenguaje grande.
• Material protegido para código: El material protegido de código describe el código fuente que coincide con un conjunto de código fuente de repositorios públicos, que un modelo de lenguaje extenso podría generar sin citar adecuadamente los repositorios de origen.
• Fundamentación: El filtro de detección de fundamentación detecta si las respuestas de texto de los modelos de lenguaje extensos (LLM) están fundamentadas en los materiales de origen proporcionados por los usuarios.
• Información de identificación personal (PII): el filtro PII detecta si las respuestas de texto de modelos de lenguaje grandes (LLM) contienen información de identificación personal (PII). PII hace referencia a cualquier información que se pueda usar para identificar a un individuo determinado, como un nombre, dirección, número de teléfono, dirección de correo electrónico, número de seguridad social, número de licencia de conducir, número de pasaporte o información similar.

Creación de un filtro de contenido en Microsoft Foundry

Para cualquier implementación de modelos en Foundry, puede usar directamente el filtro de contenido predeterminado, pero es posible que desee tener más control. Por ejemplo, podría hacer que un filtro sea más estricto o más lenciente, o habilitar funcionalidades más avanzadas, como escudos de avisos y detección de materiales protegidos.

Siga estos pasos para crear un filtro de contenido:

1. Inicie sesión en Microsoft Foundry. Asegúrese de que el interruptor New Foundry está desactivado. Estos pasos hacen referencia a Foundry (clásico).

   

2. Navegue hasta su proyecto. A continuación, seleccione la página Guardrails + controls (Límites de protección y controles ) en el menú izquierdo y seleccione la pestaña Filtros de contenido .

   

3. Seleccione + Crear filtro de contenido.

4. En la página Información básica , escriba un nombre para la configuración de filtrado de contenido. Seleccione una conexión para asociar con el filtro de contenido. A continuación, seleccione Siguiente.

   

   Ahora puede configurar los filtros de entrada (para solicitudes de usuario) y filtros de salida (para la finalización del modelo).

5. En la página Filtros de entrada, puede establecer el filtro para el mensaje de entrada. Para las cuatro primeras categorías de contenido hay tres niveles de gravedad que se pueden configurar: Bajo, medio y alto. Puede usar los controles deslizantes para establecer el umbral de gravedad si determina que la aplicación o el escenario de uso requieren un filtrado diferente al de los valores predeterminados. Algunos filtros, como Prompt Shields y la detección de materiales protegidos, permiten determinar si el modelo debe anotar o bloquear el contenido. Al seleccionar Anotar solo se ejecuta el modelo correspondiente y se devuelven anotaciones a través de la respuesta de API, pero no se filtrará el contenido. Además de anotar, también puede optar por bloquear el contenido.

   Si el caso de uso se aprobó para los filtros de contenido modificados, recibirá control total sobre las configuraciones de filtrado de contenido. Puede optar por desactivar el filtrado parcial o totalmente, o habilitar anotar solamente para las categorías de daños de contenido (violencia, odio, sexual y autolesión).

   El contenido se anota por categoría y se bloquea según el umbral establecido. Para las categorías de violencia, odio, sexo y autolesión, ajuste el control deslizante para bloquear el contenido de gravedad alta, media o baja.

   

6. En la página Filtros de salida, puede configurar el filtro de salida, que se aplica a todo el contenido de salida que genera el modelo. Configure los filtros individuales como antes. La página proporciona la opción Modo de streaming, lo que le permite filtrar el contenido casi en tiempo real a medida que el modelo lo genera y reduce la latencia. Cuando haya terminado, seleccione Siguiente.

   El contenido es anotado por cada categoría y bloqueado según el umbral. Para el contenido violento, el contenido de odio, el contenido sexual y la categoría de contenido de daño personal, ajuste el umbral para bloquear el contenido dañino con niveles de gravedad iguales o superiores.

   

7. Opcionalmente, en la página Conexión , puede asociar el filtro de contenido a una implementación. Si una implementación seleccionada ya tiene un filtro asociado, debe confirmar que desea reemplazarla. También puede asociar el filtro de contenido a una implementación más adelante. Seleccione Crear.

   Las configuraciones de filtrado de contenido se crean en el nivel central en el portal de Foundry. Obtenga más información sobre la configuración en la documentación de Azure OpenAI en Foundry Models.

8. En la página Revisar , revise la configuración y seleccione Crear filtro.

Usar una lista de bloqueados como filtro

Puede aplicar una lista de bloqueados como un filtro de entrada o salida, o ambos. Habilite la opción Lista de bloqueados en la página Filtro de entrada o Filtro de salida . Seleccione una o varias listas de bloqueo en la lista desplegable o use la lista de bloqueo de lenguaje soez integrada. Puede combinar varias listas de bloques en el mismo filtro.

Aplicar un filtro de contenido

El proceso de creación de filtros le ofrece la opción de aplicar el filtro a las implementaciones que desee. También puede cambiar o quitar filtros de contenido de las implementaciones en cualquier momento.

Siga estos pasos para aplicar un filtro de contenido a una implementación:

1. Vaya a Foundry y seleccione un proyecto.

2. Seleccione Modelos y puntos de conexión en el panel izquierdo y elija una de las implementaciones y, a continuación, seleccione Editar.

   

3. En la ventana Actualizar implementación , seleccione el filtro de contenido que desea aplicar a la implementación. A continuación, seleccione Guardar y cerrar.

   

   También puede editar y eliminar una configuración de filtro de contenido si es necesario. Antes de eliminar una configuración de filtrado de contenido, debe desasignar y reemplazarla por otra de cualquier implementación en la pestaña Implementaciones.

Ahora, puede ir al área de juegos para probar si el filtro de contenido funciona según lo previsto.

Capacidad de configuración

Los modelos implementados en Microsoft Foundry (anteriormente conocido como los Servicios de AI de Azure) incluyen la configuración de seguridad predeterminada aplicada a todos los modelos, excepto Azure OpenAI Whisper. Estas configuraciones proporcionan una experiencia responsable de forma predeterminada.

Algunos modelos permiten a los clientes configurar filtros de contenido y crear directivas de seguridad personalizadas adaptadas a sus requisitos de casos de uso. La característica de configuración permite a los clientes ajustar la configuración, por separado para solicitudes y finalizaciones, para filtrar el contenido de cada categoría de contenido en distintos niveles de gravedad, tal como se describe en la tabla siguiente. El contenido detectado en el nivel de gravedad "seguro" está etiquetado en anotaciones, pero no está sujeto al filtrado y no es configurable.

¹ Para Azure modelos openAI, solo los clientes que se han aprobado para el filtrado de contenido modificado tienen control de filtrado de contenido completo y pueden desactivar los filtros de contenido. Solicitar filtros de contenido modificados a través de este formulario: Azure Revisión de acceso limitado de OpenAI: Filtros de contenido modificados. Para Azure Government clientes, aplique filtros de contenido modificados a través de este formulario: Azure Government - Solicitar filtrado de contenido modificado para Azure OpenAI en Foundry Models.

Las configuraciones de filtrado de contenido se crean dentro de un recurso en el portal de Foundry y se pueden asociar a implementaciones. Aprenda a configurar un filtro de contenido

Escenarios de filtrado de contenido

Cuando el sistema de seguridad de contenido detecta contenido dañino, usted recibe un error en la llamada de API si el mensaje se considera inadecuado, o el finish_reason en la respuesta será content_filter para indicar que se ha filtrado parte de la finalización. Al compilar la aplicación o el sistema, querrá tener en cuenta estos escenarios en los que se filtra el contenido devuelto por la API de finalizaciones, lo que podría dar lugar a contenido incompleto.

El comportamiento se puede resumir en los puntos siguientes:

• Las indicaciones que se clasifican en una categoría filtrada y de nivel de gravedad devuelven un error HTTP 400.
• Las llamadas de finalización sin streaming no devuelven ningún contenido cuando se filtra el contenido. El finish_reason valor se establece en content_filter. En casos poco frecuentes con respuestas más largas, se puede devolver un resultado parcial. En estos casos, el finish_reason se actualiza.
• Para las llamadas de finalización de streaming, los segmentos se devuelven al usuario a medida que se completan. El servicio continúa transmitiendo hasta ya sea que llegue a un token de parada, un límite de longitud, o se detecte contenido clasificado en una categoría filtrada y nivel de gravedad.

Escenario 1: llamada sin streaming sin contenido filtrado

Cuando todas las generaciones pasan los filtros según lo configurado, la respuesta no incluye detalles de moderación de contenido. El finish_reason de cada generación es stop o length.

Código de respuesta HTTP: 200

Ejemplo de carga de solicitud:

{
    "prompt": "Text example", 
    "n": 3,
    "stream": false
}

Respuesta de ejemplo:

{
    "id": "example-id",
    "object": "text_completion",
    "created": 1653666286,
    "model": "davinci",
    "choices": [
        {
            "text": "Response generated text",
            "index": 0,
            "finish_reason": "stop",
            "logprobs": null
        }
    ]
}

Escenario 2: Varias respuestas con al menos un filtrado

Cuando la llamada API solicita varias respuestas (N>1) y se filtra al menos una de las respuestas, las generaciones filtradas tienen un finish_reason valor de content_filter.

Código de respuesta HTTP: 200

Ejemplo de carga útil de solicitud:

{
    "prompt": "Text example",
    "n": 3,
    "stream": false
}

Respuesta de ejemplo:

{
    "id": "example",
    "object": "text_completion",
    "created": 1653666831,
    "model": "ada",
    "choices": [
        {
            "text": "returned text 1",
            "index": 0,
            "finish_reason": "length",
            "logprobs": null
        },
        {
            "text": "returned text 2",
            "index": 1,
            "finish_reason": "content_filter",
            "logprobs": null
        }
    ]
}

Escenario 3: Solicitud de entrada inapropiada

Se produce un error en la llamada API cuando el mensaje desencadena un filtro de contenido tal como está configurado. Modifique el mensaje e inténtelo de nuevo.

Código de respuesta HTTP: 400

Ejemplo de carga de solicitud:

{
    "prompt": "Content that triggered the filtering model"
}

Respuesta de ejemplo:

{
    "error": {
        "message": "The response was filtered",
        "type": null,
        "param": "prompt",
        "code": "content_filter",
        "status": 400
    }
}

Escenario 4: Llamada de streaming sin contenido filtrado

En este caso, la llamada se transmite de nuevo con la generación completa y finish_reason es length o stop para cada respuesta generada.

Código de respuesta HTTP: 200

Ejemplo de carga útil de la solicitud:

{
    "prompt": "Text example",
    "n": 3,
    "stream": true
}

Respuesta de ejemplo:

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1653670914,
    "model": "ada",
    "choices": [
        {
            "text": "last part of generation",
            "index": 2,
            "finish_reason": "stop",
            "logprobs": null
        }
    ]
}

Escenario 5: Llamada de streaming con contenido filtrado

Para un índice de generación determinado, el último fragmento de la generación incluye un valor distinto de NULL finish_reason . El valor es content_filter cuando se filtra el proceso de generación.

Código de respuesta HTTP: 200

Ejemplo de carga de solicitud:

{
    "prompt": "Text example",
    "n": 3,
    "stream": true
}

Respuesta de ejemplo:

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1653670515,
    "model": "ada",
    "choices": [
        {
            "text": "Last part of generated text streamed back",
            "index": 2,
            "finish_reason": "content_filter",
            "logprobs": null
        }
    ]
}

Escenario 6: Sistema de filtrado de contenido no disponible

Si el sistema de filtrado de contenido está inactivo o no puede completar la operación en el tiempo, la solicitud se completa sin el filtrado de contenido. Puede determinar que el filtrado no se aplicó buscando un mensaje de error en el content_filter_results objeto .

Código de respuesta HTTP: 200

Carga de solicitud de ejemplo:

{
    "prompt": "Text example",
    "n": 1,
    "stream": false
}

Respuesta de ejemplo:

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1652294703,
    "model": "ada",
    "choices": [
        {
            "text": "generated text",
            "index": 0,
            "finish_reason": "length",
            "logprobs": null,
            "content_filter_results": {
                "error": {
                    "code": "content_filter_error",
                    "message": "The contents are not filtered"
                }
            }
        }
    ]
}

Procedimientos recomendados

Como parte del diseño de la aplicación, tenga en cuenta los siguientes procedimientos recomendados para ofrecer una experiencia positiva con la aplicación y minimizar posibles daños:

• Controlar el contenido filtrado de forma adecuada: decida cómo desea gestionar escenarios en los que los usuarios envían mensajes que contienen contenido clasificado en una categoría filtrada y nivel de gravedad, o de otro modo hagan un mal uso de la aplicación.
• Verificar finish_reason: Siempre compruebe finish_reason para ver si una finalización se ha filtrado.
• Comprobar la ejecución del filtro de contenido: compruebe que no hay ningún objeto de error en content_filter_results (lo que indica que los filtros de contenido no se ejecutaron).
• Mostrar citas para material protegido: si usa el modelo de código de material protegido en modo anotado, muestre la dirección URL de cita al mostrar el código en la aplicación.

Contenido relacionado

• Obtenga información sobre Seguridad del contenido de Azure AI.
• Obtenga más información sobre cómo comprender y mitigar los riesgos asociados a la aplicación: Información general de las prácticas de inteligencia artificial responsable para Azure modelos openAI.
• Obtenga más información sobre cómo se procesan los datos con el filtrado de contenido y la supervisión de abusos: Data, privacidad y seguridad para Azure OpenAI.