Filtrage de contenu pour les modèles Microsoft Foundry (classique)

S’applique uniquement au :Portail Foundry (classique). Cet article n’est pas disponible pour le nouveau portail Foundry. En savoir plus sur le nouveau portail.

Microsoft Foundry inclut un système de filtrage de contenu qui fonctionne avec les modèles principaux et les modèles de génération d’images et est alimenté par Azure AI Sécurité du Contenu. Ce système exécute à la fois l’invite et la réponse via un ensemble de modèles de classification conçus pour détecter et empêcher la sortie de contenus dangereux. Le système de filtrage de contenu détecte et prend des mesures sur des catégories spécifiques de contenu potentiellement dangereux à la fois dans les invites d’entrée et les achèvements de sortie. Les variations de configurations d’API et de conception d’application peuvent affecter les achèvements et donc le comportement de filtrage.

Les sections suivantes fournissent des informations sur les catégories de filtrage de contenu, les niveaux de gravité de filtrage et leur configurabilité et les scénarios d’API à prendre en compte dans la conception et l’implémentation des applications.

En plus du système de filtrage de contenu, Azure OpenAI effectue une surveillance pour détecter le contenu et les comportements qui suggèrent l’utilisation du service d’une manière susceptible de violer les conditions du produit applicables. Pour plus d’informations sur la compréhension et l’atténuation des risques associés à votre application, consultez la note Transparency pour Azure OpenAI. Pour plus d’informations sur le traitement des données pour le filtrage de contenu et la surveillance des abus, consultez Data, confidentialité et sécurité pour Azure OpenAI.

Types de filtre de contenu

Le système de filtrage de contenu intégré dans le service Foundry Models dans Foundry Tools contient :

• Modèles de classification multiclasse neuronaux qui détectent et filtrent du contenu dangereux. Ces modèles couvrent quatre catégories (haine, sexualité, violence et auto-préjudice) sur quatre niveaux de gravité (sécuritaire, faible, moyen et élevé). Le contenu détecté au niveau de gravité « sécurisé » est étiqueté dans les annotations, mais n’est pas soumis au filtrage et n’est pas configurable.
• Autres modèles de classification facultatifs qui détectent le risque de jailbreak et le contenu connu pour le texte et le code. Ces modèles sont des classifieurs binaires qui indiquent si le comportement de l’utilisateur ou du modèle est qualifié d’attaque de jailbreak ou de correspondance avec du texte ou du code source connu. L’utilisation de ces modèles est facultative, mais l’utilisation du modèle de code matériel protégé peut être nécessaire pour la couverture de l’engagement de copyright du client.

¹ Si vous êtes propriétaire du matériel texte et que vous souhaitez envoyer du contenu texte à des fins de protection, envoyez une demande.

² Non disponible dans les scénarios de non-diffusion en continu ; disponible uniquement pour les scénarios de streaming. Les régions suivantes prennent en charge la détection du sol : USA Centre, USA Est, France Centre et Canada Est

Filtres d’entrée

Filtres de contenu texte

Consultez les catégories de préjudices et les niveaux de gravité pour en savoir plus sur les quatre catégories de filtrage de contenu (haine, sexualité, violence et auto-préjudice) et leurs niveaux de gravité (sécuritaire, faible, moyen et élevé).

Filtres de contenu d’image

Consultez les catégories de préjudices et les niveaux de gravité pour en savoir plus sur les quatre catégories de filtrage de contenu (haine, sexualité, violence et auto-préjudice) et leurs niveaux de gravité (sécuritaire, faible, moyen et élevé).

Protections de commande

Les boucliers de commande sont des filtres de sécurité pour les entrées des données des modèles d'IA générative.

Filtres de sortie

Vous pouvez également activer les filtres de sortie spéciaux suivants :

• Matériel protégé pour le texte : le texte protégé décrit le contenu de texte connu (par exemple, les paroles de chanson, les articles, les recettes et le contenu web sélectionné) qu’un modèle de langue volumineux peut générer.
• Matériel protégé pour le code : le code matériel protégé décrit le code source qui correspond à un ensemble de code source à partir de référentiels publics, qu’un grand modèle de langage peut générer sans citation appropriée des référentiels sources.
• Enracinement : Le filtre de détection d'enracinement détecte si les réponses textuelles des modèles de langage de grande taille (LLMs) sont enracinées dans les matériaux sources fournis par les utilisateurs.
• Informations d’identification personnelle (PII) : le filtre PII détecte si les réponses textuelles des modèles de langage volumineux (LLMs) contiennent des informations d’identification personnelle (PII). Les informations personnelles font référence à toutes les informations qui peuvent être utilisées pour identifier un individu particulier, comme un nom, une adresse, un numéro de téléphone, une adresse e-mail, un numéro de sécurité sociale, un numéro de permis de conduire, un numéro de passeport ou des informations similaires.

Créer un filtre de contenu dans Microsoft Foundry

Pour tout déploiement de modèle dans Foundry, vous pouvez utiliser directement le filtre de contenu par défaut, mais vous souhaiterez peut-être avoir plus de contrôle. Par exemple, vous pouvez rendre un filtre plus strict ou plus flexible, ou activer des fonctionnalités plus avancées telles que les protections d’invite et la détection de contenu protégé.

Procédez comme suit pour créer un filtre de contenu :

1. Connectez-vous à Microsoft Foundry. Assurez-vous que l'interrupteur New Foundry est désactivé. Ces étapes font référence à Foundry (classique).

   

2. Accédez à votre projet. Sélectionnez ensuite la page Garde-fous + contrôles dans le menu de gauche, puis sélectionnez l’onglet Filtres de contenu .

   

3. Sélectionnez + Créer un filtre de contenu.

4. Dans la page Informations de base , entrez un nom pour votre configuration de filtrage de contenu. Sélectionnez une connexion à associer au filtre de contenu. Ensuite, sélectionnez Suivant.

   

   Vous pouvez maintenant configurer les filtres d’entrée (pour les invites utilisateur) et les filtres de sortie (pour l’achèvement du modèle).

5. Dans la page Filtres d’entrée , vous pouvez définir le filtre pour l’invite d’entrée. Pour les quatre premières catégories de contenu, il existe trois niveaux de gravité configurables : faible, moyen et élevé. Vous pouvez utiliser les curseurs pour définir le seuil de gravité si vous déterminez que votre application ou votre scénario d’utilisation nécessite un filtrage différent des valeurs par défaut. Certains filtres, tels que les "Prompt Shields" et la détection de matériel protégé, vous permettent de déterminer si le modèle doit annoter et/ou bloquer le contenu. La sélection d’Annoter exécute uniquement le modèle respectif et retourne des annotations via la réponse de l’API, mais elle ne filtre pas le contenu. En plus d’annoter, vous pouvez également choisir de bloquer le contenu.

   Si votre cas d’usage a été approuvé pour les filtres de contenu modifiés, vous bénéficiez d’un contrôle total sur les configurations de filtrage de contenu. Vous pouvez choisir de désactiver partiellement ou complètement le filtrage, ou d’activer l’annotation uniquement pour les catégories de préjudices de contenu (violence, haine, sexualité et auto-préjudice).

   Le contenu est annoté par catégorie et bloqué en fonction du seuil que vous avez défini. Pour les catégories violence, haine, sexuelle et auto-préjudice, ajustez le curseur pour bloquer le contenu de haut, moyen ou faible gravité.

   

6. Dans la page Filtres de sortie, vous pouvez configurer le filtre de sortie, qui est appliqué à tout le contenu de sortie généré par le modèle. Configurez les filtres individuels comme avant. La page fournit l’option mode Streaming, ce qui vous permet de filtrer le contenu en quasi-temps réel lorsque le modèle le génère et de réduire la latence. Une fois que vous avez terminé, sélectionnez Suivant.

   Le contenu est annoté par chaque catégorie et bloqué en fonction du seuil. Pour le contenu violent, le contenu haineux, le contenu sexuel et la catégorie de contenu auto-préjudiciable, ajustez le seuil pour bloquer le contenu dangereux avec des niveaux de gravité égaux ou supérieurs.

   

7. Si vous le souhaitez, dans la page Connexion , vous pouvez associer le filtre de contenu à un déploiement. Si un déploiement sélectionné a déjà un filtre attaché, vous devez confirmer que vous souhaitez le remplacer. Vous pouvez également associer le filtre de contenu à un déploiement ultérieurement. Sélectionnez Créer.

   Les configurations de filtrage de contenu sont créées au niveau du hub dans le portail Foundry. En savoir plus sur la configurabilité dans la documentation des modèles Foundry d'Azure OpenAI.

8. Dans la page Révision , passez en revue les paramètres, puis sélectionnez Créer un filtre.

Utiliser une liste de blocs comme filtre

Vous pouvez appliquer une liste de blocs en tant que filtre d’entrée ou de sortie, ou les deux. Activez l’option Blocklist sur la page Filtre d’entrée et/ou Filtre de sortie . Sélectionnez une ou plusieurs listes de blocs dans la liste déroulante, ou utilisez la liste de blocs de profanité intégrée. Vous pouvez combiner plusieurs listes de blocs dans le même filtre.

Appliquer un filtre de contenu

Le processus de création de filtre vous donne la possibilité d’appliquer le filtre aux déploiements souhaités. Vous pouvez également modifier ou supprimer des filtres de contenu de vos déploiements à tout moment.

Procédez comme suit pour appliquer un filtre de contenu à un déploiement :

1. Accédez à Foundry et sélectionnez un projet.

2. Sélectionnez Modèles + points de terminaison dans le volet gauche, puis choisissez l’un de vos déploiements, puis sélectionnez Modifier.

   

3. Dans la fenêtre Mise à jour du déploiement , sélectionnez le filtre de contenu que vous souhaitez appliquer au déploiement. Sélectionnez Ensuite Enregistrer et fermer.

   

   Vous pouvez également modifier et supprimer une configuration de filtre de contenu si nécessaire. Avant de supprimer une configuration de filtrage de contenu, vous devez annuler l’affectation et la remplacer de n’importe quel déploiement sous l’onglet Déploiements .

À présent, vous pouvez accéder au terrain de jeu pour tester si le filtre de contenu fonctionne comme prévu.

Configurabilité

Les modèles déployés sur Microsoft Foundry (anciennement connus Azure SERVICES IA) incluent les paramètres de sécurité par défaut appliqués à tous les modèles, à l’exclusion de Azure OpenAI Whisper. Ces configurations vous offrent une expérience responsable par défaut.

Certains modèles permettent aux clients de configurer des filtres de contenu et de créer des stratégies de sécurité personnalisées adaptées à leurs besoins en cas d’usage. La fonctionnalité de configuration permet aux clients d’ajuster les paramètres, séparément pour les invites et les complétions, afin de filtrer le contenu de chaque catégorie à différents niveaux de gravité, comme indiqué dans le tableau ci-dessous. Le contenu détecté au niveau de gravité « sécurisé » est étiqueté dans les annotations, mais n’est pas soumis au filtrage et n’est pas configurable.

¹ Pour les modèles OpenAI Azure, seuls les clients approuvés pour le filtrage de contenu modifié ont un contrôle de filtrage de contenu complet et peuvent désactiver les filtres de contenu. Appliquez des filtres de contenu modifiés via ce formulaire : Azure Révision d’accès limité OpenAI : Filtres de contenu modifiés. Pour Azure Government clients, appliquez des filtres de contenu modifiés via ce formulaire : Azure Government - Demander un filtrage de contenu modifié pour Azure OpenAI dans les modèles Foundry.

Les configurations de filtrage de contenu sont créées dans une ressource dans le portail Foundry et peuvent être associées aux déploiements. Découvrez comment configurer un filtre de contenu

Scénarios de filtrage de contenu

Lorsque le système de sécurité du contenu détecte du contenu dangereux, vous recevez une erreur sur l’appel d’API si l’invite a été jugée inappropriée, ou si la finish_reason réponse sera content_filter pour indiquer que certaines parties de la saisie semi-automatique ont été filtrées. Lorsque vous concevez votre application ou votre système, il est important de prendre en compte ces scénarios où le contenu retourné par l'API de complétions est filtré, ce qui peut entraîner un contenu incomplet.

Le comportement peut être résumé dans les points suivants :

• Les invites classées dans une catégorie filtrée et à un niveau de gravité retournent une erreur HTTP 400.
• Les appels de complétion non streaming ne retournent aucun contenu lorsque le contenu est filtré. La finish_reason valeur est définie sur content_filter. Dans de rares cas avec des réponses plus longues, un résultat partiel peut être retourné. Dans ces cas, la finish_reason est mise à jour.
• Pour les appels de complétion en streaming, les segments sont renvoyés à l'utilisateur au fur et à mesure de leur achèvement. Le service continue de diffuser jusqu’à atteindre un jeton d’arrêt, une certaine longueur, ou lorsque du contenu classé à une catégorie filtrée et au niveau de gravité approprié est détecté.

Scénario 1 : Appel non en continu sans filtrage de contenu

Lorsque toutes les générations passent les filtres comme configurés, la réponse n’inclut pas les détails de modération du contenu. Pour chaque génération, c'est soit stop ou length.

Code de réponse HTTP : 200

Exemple de charge utile de requête :

{
    "prompt": "Text example", 
    "n": 3,
    "stream": false
}

Exemple de réponse :

{
    "id": "example-id",
    "object": "text_completion",
    "created": 1653666286,
    "model": "davinci",
    "choices": [
        {
            "text": "Response generated text",
            "index": 0,
            "finish_reason": "stop",
            "logprobs": null
        }
    ]
}

Scénario 2 : Réponses multiples avec au moins un filtre

Lorsque votre appel d’API demande plusieurs réponses (N>1) et qu’au moins une des réponses est filtrée, les générations filtrées ont une finish_reason valeur content_filter.

Code de réponse HTTP : 200

Exemple de charge utile de requête :

{
    "prompt": "Text example",
    "n": 3,
    "stream": false
}

Exemple de réponse :

{
    "id": "example",
    "object": "text_completion",
    "created": 1653666831,
    "model": "ada",
    "choices": [
        {
            "text": "returned text 1",
            "index": 0,
            "finish_reason": "length",
            "logprobs": null
        },
        {
            "text": "returned text 2",
            "index": 1,
            "finish_reason": "content_filter",
            "logprobs": null
        }
    ]
}

Scénario 3 : Invite d’entrée inappropriée

L’appel d’API échoue lorsque l’invite déclenche un filtre de contenu tel qu’il est configuré. Modifiez l’invite et réessayez.

Code de réponse HTTP : 400

Exemple de charge utile de requête :

{
    "prompt": "Content that triggered the filtering model"
}

Exemple de réponse :

{
    "error": {
        "message": "The response was filtered",
        "type": null,
        "param": "prompt",
        "code": "content_filter",
        "status": 400
    }
}

Scénario 4 : Appel de streaming sans contenu filtré

Dans ce cas, le flux d'appels revient avec la génération complète, et finish_reason est soit length, soit stop pour chaque réponse générée.

Code de réponse HTTP : 200

Exemple de charge utile de requête :

{
    "prompt": "Text example",
    "n": 3,
    "stream": true
}

Exemple de réponse :

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1653670914,
    "model": "ada",
    "choices": [
        {
            "text": "last part of generation",
            "index": 2,
            "finish_reason": "stop",
            "logprobs": null
        }
    ]
}

Scénario 5 : Appel de streaming avec du contenu filtré

Pour un index de génération donné, le dernier segment de la génération inclut une valeur non null finish_reason . La valeur est content_filter lorsque la génération est filtrée.

Code de réponse HTTP : 200

Exemple de charge utile de requête :

{
    "prompt": "Text example",
    "n": 3,
    "stream": true
}

Exemple de réponse :

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1653670515,
    "model": "ada",
    "choices": [
        {
            "text": "Last part of generated text streamed back",
            "index": 2,
            "finish_reason": "content_filter",
            "logprobs": null
        }
    ]
}

Scénario 6 : Système de filtrage de contenu indisponible

Si le système de filtrage de contenu est arrêté ou ne parvient pas à terminer l’opération dans le temps, votre demande se termine toujours sans filtrage de contenu. Vous pouvez déterminer que le filtrage n’a pas été appliqué en recherchant un message d’erreur dans l’objet content_filter_results .

Code de réponse HTTP : 200

Exemple de charge utile de requête :

{
    "prompt": "Text example",
    "n": 1,
    "stream": false
}

Exemple de réponse :

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1652294703,
    "model": "ada",
    "choices": [
        {
            "text": "generated text",
            "index": 0,
            "finish_reason": "length",
            "logprobs": null,
            "content_filter_results": {
                "error": {
                    "code": "content_filter_error",
                    "message": "The contents are not filtered"
                }
            }
        }
    ]
}

Meilleures pratiques

Dans le cadre de la conception de votre application, tenez compte des meilleures pratiques suivantes pour offrir une expérience positive à votre application tout en réduisant les risques potentiels :

• Gérer le contenu filtré de manière appropriée : déterminez la façon dont vous souhaitez gérer les scénarios où vos utilisateurs envoient des invites contenant du contenu classé au niveau d’une catégorie filtrée et d’un niveau de gravité ou qui utilisent mal votre application.
• Vérifiez finish_reason : vérifiez toujours finish_reason si une complétion est filtrée.
• Vérifier l’exécution du filtre de contenu : vérifiez qu’il n’existe aucun objet d’erreur dans le content_filter_results (indiquant que les filtres de contenu n’ont pas été exécutés).
• Afficher des citations pour des éléments protégés : si vous utilisez le modèle de code matériel protégé en mode annoté, affichez l’URL de citation lorsque vous affichez le code dans votre application.

Contenu connexe

• Découvrez Azure AI Sécurité du Contenu.
• En savoir plus sur la compréhension et l’atténuation des risques associés à votre application : Overview des pratiques d’IA responsable pour Azure modèles OpenAI.
• Découvrez comment les données sont traitées avec le filtrage de contenu et la surveillance des abus : Data, confidentialité et sécurité pour Azure OpenAI.