Inhoudsfiltering voor Microsoft Foundry Models (klassiek)

Alleen van toepassing op:Foundry (klassiek) portal. Dit artikel is niet beschikbaar voor de nieuwe Foundry-portal. Meer informatie over de nieuwe portal.

Microsoft Foundry bevat een inhoudsfiltersysteem dat naast kernmodellen en modellen voor het genereren van afbeeldingen werkt en wordt mogelijk gemaakt door Azure AI Content Veiligheid. Dit systeem voert zowel de prompt als de voltooiing uit via een ensemble van classificatiemodellen die zijn ontworpen om de uitvoer van schadelijke inhoud te detecteren en te voorkomen. Het inhoudsfiltersysteem detecteert en onderneemt actie op specifieke categorieën van mogelijk schadelijke inhoud in zowel invoerprompts als uitvoervoltooiingen. Variaties in API-configuraties en toepassingsontwerp kunnen van invloed zijn op voltooiingen en dus filtergedrag.

De volgende secties bevatten informatie over de inhoudsfiltercategorieën, de ernstniveaus voor filteren en de configuratie ervan en API-scenario's die u kunt overwegen bij het ontwerpen en implementeren van toepassingen.

Naast het systeem voor inhoudsfiltering voert Azure OpenAI bewaking uit om inhoud en gedrag te detecteren die het gebruik van de service voorstellen op een manier die mogelijk in strijd is met toepasselijke productvoorwaarden. Zie de Transparency Note voor Azure OpenAI voor meer informatie over het begrijpen en beperken van risico's die zijn gekoppeld aan uw toepassing. Zie Data, privacy en beveiliging voor Azure OpenAI voor meer informatie over hoe gegevens worden verwerkt voor het filteren van inhoud en misbruikcontrole.

Inhoudsfiltertypen

Het inhoudsfiltersysteem dat is geïntegreerd in de Foundry Models-service in Foundry Tools bevat:

• Neurale classificatiemodellen met meerdere klassen die schadelijke inhoud detecteren en filteren. Deze modellen hebben betrekking op vier categorieën (haat, seksueel, geweld en zelfbeschadiging) op vier ernstniveaus (veilig, laag, gemiddeld en hoog). Inhoud die is gedetecteerd op het ernstniveau 'veilig', wordt gelabeld in aantekeningen, maar is niet onderhevig aan filteren en kan niet worden geconfigureerd.
• Andere optionele classificatiemodellen die jailbreakrisico's en bekende inhoud voor tekst en code detecteren. Deze modellen zijn binaire classificaties die aangeven of gedrag van gebruikers of modellen als jailbreakaanval of overeenkomst met bekende tekst of broncode wordt aangemerkt. Het gebruik van deze modellen is optioneel, maar het gebruik van het model voor beschermde materiaalcode is mogelijk vereist voor de dekking van het auteursrecht van de klant.

¹ Als u eigenaar van tekstmateriaal bent en tekstinhoud wilt indienen voor beveiliging, dient u een aanvraag in.

² Niet beschikbaar in niet-streamingscenario's; alleen beschikbaar voor streamingscenario's. De volgende regio's ondersteunen Groundedness Detection: VS - centraal, VS - oost, Frankrijk - centraal en Canada - oost

Invoerfilters

Tekstinhoudsfilters

Zie Categorieën en ernstniveaus voor schade voor meer informatie over de vier categorieën voor inhoudsfilters (haat, seksueel, geweld en zelfbeschadiging) en hun ernstniveaus (veilig, laag, gemiddeld en hoog).

Inhoudsfilters voor afbeeldingen

Zie Categorieën en ernstniveaus voor schade voor meer informatie over de vier categorieën voor inhoudsfilters (haat, seksueel, geweld en zelfbeschadiging) en hun ernstniveaus (veilig, laag, gemiddeld en hoog).

Promptschilden

Promptbeschermers zijn een veiligheidsfilter voor de invoer van generatieve AI-modellen.

Uitvoerfilters

U kunt ook de volgende speciale uitvoerfilters inschakelen:

• Beschermd materiaal voor tekst: beveiligde materiaaltekst beschrijft bekende tekstinhoud (bijvoorbeeld liedteksten, artikelen, recepten en geselecteerde webinhoud) die een groot taalmodel kan uitvoeren.
• Beveiligd materiaal voor code: Met beveiligde materiaalcode wordt de broncode beschreven die overeenkomt met een set broncode uit openbare opslagplaatsen, die een grote taalmodellen kunnen uitvoeren zonder de juiste bronvermelding van bronopslagplaatsen.
• Geaardheid: Het geaardheidsfilter detecteert of de tekstreacties van grote taalmodellen (LLM's) gebaseerd zijn op de bronmaterialen die door de gebruikers worden geleverd.
• Persoonlijk identificeerbare informatie (PII): het PII-filter detecteert of de tekstreacties van grote taalmodellen (LLM's) persoonsgegevens bevatten. PII verwijst naar alle informatie die kan worden gebruikt om een bepaalde persoon te identificeren, zoals een naam, adres, telefoonnummer, e-mailadres, burgerservicenummer, rijbewijsnummer, paspoortnummer of soortgelijke informatie.

Een inhoudsfilter maken in Microsoft Foundry

Voor elke modelimplementatie in Foundry kunt u rechtstreeks het standaardinhoudsfilter gebruiken, maar misschien wilt u meer controle hebben. U kunt bijvoorbeeld een filter strenger of flexibeler maken of geavanceerdere mogelijkheden inschakelen, zoals promptschilden en beveiligde materiaaldetectie.

Volg deze stappen om een inhoudsfilter te maken:

1. Meld u aan bij Microsoft Foundry. Zorg ervoor dat de wisselknop New Foundry is uitgeschakeld. Deze stappen verwijzen naar Foundry (klassiek).

   

2. Navigeer naar uw project. Selecteer vervolgens de pagina Kaders en besturingselementen in het linkermenu en selecteer het tabblad Inhoudsfilters .

   

3. Selecteer + Inhoudsfilter maken.

4. Voer op de pagina Basisgegevens een naam in voor de configuratie van het filteren van inhoud. Selecteer een verbinding om aan het inhoudsfilter te koppelen. Selecteer Volgende.

   

   U kunt nu de invoerfilters (voor gebruikersprompts) en uitvoerfilters (voor voltooiing van het model) configureren.

5. Op de pagina Invoerfilters kunt u het filter voor de invoerprompt instellen. Voor de eerste vier inhoudscategorieën zijn er drie ernstniveaus die kunnen worden geconfigureerd: Laag, Gemiddeld en Hoog. U kunt de schuifregelaars gebruiken om de ernstdrempel in te stellen als u bepaalt dat voor uw toepassing of gebruiksscenario andere filters zijn vereist dan de standaardwaarden. Met sommige filters, zoals Promptshields en detectie van beschermd materiaal, kunt u bepalen of het model aantekeningen moet maken en/of inhoud moet blokkeren. Als u Aantekeningen maken selecteert, wordt alleen het respectieve model uitgevoerd en worden aantekeningen geretourneerd via api-antwoord, maar wordt inhoud niet gefilterd. Naast aantekeningen kunt u er ook voor kiezen om inhoud te blokkeren.

   Als uw use-case is goedgekeurd voor gewijzigde inhoudsfilters, ontvangt u volledige controle over configuraties voor inhoudsfilters. U kunt ervoor kiezen om filteren gedeeltelijk of volledig uit te schakelen of alleen aantekeningen in te schakelen voor de categorieën inhoudsschade (geweld, haat, seksueel en zelfschade).

   Inhoud wordt geannoteerd op categorie en geblokkeerd volgens de drempelwaarde die u hebt ingesteld. Voor de categorieën geweld, haat, seksueel en zelfschadigen, past u de schuifregelaar aan om inhoud van hoog, gemiddeld of laag ernst te blokkeren.

   

6. Op de pagina Uitvoerfilters kunt u het uitvoerfilter configureren dat wordt toegepast op alle uitvoerinhoud die het model genereert. Configureer de afzonderlijke filters zoals voorheen. De pagina biedt de optie Streamingmodus, zodat u inhoud in bijna realtime kunt filteren terwijl het model het genereert en de latentie vermindert. Wanneer u klaar bent, selecteert u Volgende.

   Inhoud wordt geannoteerd door elke categorie en geblokkeerd volgens de drempelwaarde. Voor gewelddadige inhoud, haat inhoud, seksuele inhoud en inhoudscategorie die zelf schade toebrengt, past u de drempelwaarde aan om schadelijke inhoud met gelijke of hogere ernstniveaus te blokkeren.

   

7. Desgewenst kunt u op de pagina Verbinding het inhoudsfilter koppelen aan een implementatie. Als voor een geselecteerde implementatie al een filter is gekoppeld, moet u bevestigen dat u deze wilt vervangen. U kunt het inhoudsfilter ook later koppelen aan een implementatie. Selecteer Maken.

   Configuraties voor inhoudsfilters worden gemaakt op hubniveau in de Foundry-portal. Meer informatie over de configuratiemogelijkheden in de documentatie Azure OpenAI in Foundry Models.

8. Controleer de instellingen op de pagina Controleren en selecteer vervolgens Filter maken.

Een blokkering als filter gebruiken

U kunt een bloklijst toepassen als een invoer- of uitvoerfilter, of beide. Schakel de optie Bloklijst in op de pagina Invoerfilter en/of Uitvoerfilter . Selecteer een of meer blokkeringen in de vervolgkeuzelijst of gebruik de ingebouwde blokkeringslijst voor grof taalgebruik. U kunt meerdere bloklijsten combineren in hetzelfde filter.

Een inhoudsfilter toepassen

Het proces voor het maken van filters biedt u de mogelijkheid om het filter toe te passen op de gewenste implementaties. U kunt inhoudsfilters ook op elk gewenst moment wijzigen of verwijderen uit uw implementaties.

Volg deze stappen om een inhoudsfilter toe te passen op een implementatie:

1. Ga naar Foundry en selecteer een project.

2. Selecteer Modellen en eindpunten in het linkerdeelvenster en kies een van uw implementaties en selecteer vervolgens Bewerken.

   

3. Selecteer in het venster Update-implementatie het inhoudsfilter dat u wilt toepassen op de implementatie. Selecteer Vervolgens Opslaan en sluiten.

   

   U kunt indien nodig ook een inhoudsfilterconfiguratie bewerken en verwijderen. Voordat u een configuratie voor inhoudsfiltering verwijdert, moet u deze ontkoppelen en vervangen in elke implementatie op het tabblad Implementaties.

U kunt nu naar de speeltuin gaan om te testen of het inhoudsfilter werkt zoals verwacht.

Configureerbaarheid

Modellen die zijn geïmplementeerd in Microsoft Foundry (voorheen bekend Azure AI Services), bevatten standaard veiligheidsinstellingen die zijn toegepast op alle modellen, met uitzondering van Azure OpenAI Whisper. Deze configuraties bieden u standaard een verantwoorde ervaring.

Met bepaalde modellen kunnen klanten inhoudsfilters configureren en aangepast veiligheidsbeleid maken dat is afgestemd op hun use-casevereisten. Met de configureerbaarheidsfunctie kunnen klanten de instellingen, afzonderlijk voor prompts en voltooiingen, aanpassen om inhoud voor elke inhoudscategorie op verschillende ernstniveaus te filteren, zoals beschreven in de onderstaande tabel. Inhoud die is gedetecteerd op het ernstniveau 'veilig', wordt gelabeld in aantekeningen, maar is niet onderhevig aan filteren en kan niet worden geconfigureerd.

¹ Voor Azure OpenAI-modellen hebben alleen klanten die zijn goedgekeurd voor het filteren van gewijzigde inhoud volledige controle over de inhoudsfilters en kunnen deze uitschakelen. Aanvragen voor gewijzigde inhoudsfilters via dit formulier: Azure Beperkte toegangsbeoordeling openAI: Gewijzigde inhoudsfilters. Voor Azure Government klanten kunt u via dit formulier aangepaste inhoudsfilters aanvragen: Azure Government - Aangepaste inhoudsfilters aanvragen voor Azure OpenAI in Foundry-modellen.

Configuraties voor inhoudsfilters worden gemaakt in een resource in de Foundry-portal en kunnen worden gekoppeld aan implementaties. Meer informatie over het configureren van een inhoudsfilter

Scenario's voor inhoudsfilters

Wanneer het veiligheidssysteem voor inhoud schadelijke inhoud detecteert, krijgt u een foutmelding over de API-aanroep als de prompt ongepast is geacht, of het finish_reason antwoord geeft content_filter aan dat sommige van de voltooiing is gefilterd. Wanneer u uw toepassing of systeem bouwt, moet u rekening houden met deze scenario's waarbij de inhoud die wordt geretourneerd door de Voltooiings-API wordt gefilterd, wat kan leiden tot onvolledige inhoud.

Het gedrag kan worden samengevat in de volgende punten:

• Prompts die zijn geclassificeerd volgens een gefilterd categorie- en ernstniveau geven een HTTP 400-fout.
• Niet-streaming-voltooiingsoproepen retourneren geen inhoud wanneer de inhoud wordt gefilterd. De finish_reason waarde is ingesteld op content_filter. In zeldzame gevallen met langere antwoorden kan een gedeeltelijk resultaat worden geretourneerd. In deze gevallen wordt de finish_reason bijgewerkt.
• Voor aanroepen voor streaming-voltooiingen worden segmenten geretourneerd naar de gebruiker wanneer ze zijn voltooid. De service gaat door met streamen totdat een stoptoken, lengte of wanneer inhoud die is geclassificeerd op een gefilterd categorie- en ernstniveau wordt gedetecteerd.

Scenario 1: Niet-streaming-aanroep zonder gefilterde inhoud

Wanneer alle generaties de filters doorgeven zoals geconfigureerd, bevat het antwoord geen details over inhoudsbeheer. De finish_reason voor elke generatie is stop of length.

HTTP-antwoordcode: 200

Voorbeeld van aanvraag payload:

{
    "prompt": "Text example", 
    "n": 3,
    "stream": false
}

Voorbeeldantwoord:

{
    "id": "example-id",
    "object": "text_completion",
    "created": 1653666286,
    "model": "davinci",
    "choices": [
        {
            "text": "Response generated text",
            "index": 0,
            "finish_reason": "stop",
            "logprobs": null
        }
    ]
}

Scenario 2: Meerdere antwoorden met ten minste één gefilterd

Wanneer uw API-aanroep om meerdere antwoorden vraagt (N>1) en ten minste één van de antwoorden wordt gefilterd, hebben de generaties die worden gefilterd een finish_reason waarde van content_filter.

HTTP-antwoordcode: 200

Voorbeeld van nettolading van aanvraag:

{
    "prompt": "Text example",
    "n": 3,
    "stream": false
}

Voorbeeldantwoord:

{
    "id": "example",
    "object": "text_completion",
    "created": 1653666831,
    "model": "ada",
    "choices": [
        {
            "text": "returned text 1",
            "index": 0,
            "finish_reason": "length",
            "logprobs": null
        },
        {
            "text": "returned text 2",
            "index": 1,
            "finish_reason": "content_filter",
            "logprobs": null
        }
    ]
}

Scenario 3: Onjuiste invoerprompt

De API-aanroep mislukt wanneer de prompt een inhoudsfilter activeert zoals geconfigureerd. Wijzig de prompt en probeer het opnieuw.

HTTP-antwoordcode: 400

Voorbeeld van nettolading van aanvraag:

{
    "prompt": "Content that triggered the filtering model"
}

Voorbeeldantwoord:

{
    "error": {
        "message": "The response was filtered",
        "type": null,
        "param": "prompt",
        "code": "content_filter",
        "status": 400
    }
}

Scenario 4: Streaming-aanroep zonder gefilterde inhoud

In dit geval komt de aanroep terug met de volledige generatie en is finish_reason ofwel length of stop voor elke gegenereerde reactie.

HTTP-antwoordcode: 200

Voorbeeld van nettolading van aanvraag:

{
    "prompt": "Text example",
    "n": 3,
    "stream": true
}

Voorbeeldantwoord:

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1653670914,
    "model": "ada",
    "choices": [
        {
            "text": "last part of generation",
            "index": 2,
            "finish_reason": "stop",
            "logprobs": null
        }
    ]
}

Scenario 5: Streaming-aanroep met gefilterde inhoud

Voor een bepaalde generatieindex bevat het laatste segment van de generatie een niet-null-waarde finish_reason . De waarde is content_filter wanneer de generatie wordt gefilterd.

HTTP-antwoordcode: 200

Voorbeeld van nettolading van aanvraag:

{
    "prompt": "Text example",
    "n": 3,
    "stream": true
}

Voorbeeldantwoord:

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1653670515,
    "model": "ada",
    "choices": [
        {
            "text": "Last part of generated text streamed back",
            "index": 2,
            "finish_reason": "content_filter",
            "logprobs": null
        }
    ]
}

Scenario 6: Het inhoudsfiltersysteem is niet beschikbaar

Als het inhoudsfiltersysteem niet beschikbaar is of de bewerking op een andere manier niet kan worden voltooid, wordt uw aanvraag nog steeds voltooid zonder inhoudsfiltering. U kunt bepalen dat het filteren niet is toegepast door te zoeken naar een foutbericht in het content_filter_results object.

HTTP-antwoordcode: 200

Voorbeeld van verzoekpayload:

{
    "prompt": "Text example",
    "n": 1,
    "stream": false
}

Voorbeeldantwoord:

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1652294703,
    "model": "ada",
    "choices": [
        {
            "text": "generated text",
            "index": 0,
            "finish_reason": "length",
            "logprobs": null,
            "content_filter_results": {
                "error": {
                    "code": "content_filter_error",
                    "message": "The contents are not filtered"
                }
            }
        }
    ]
}

Beste praktijken

Overweeg als onderdeel van uw toepassingsontwerp de volgende aanbevolen procedures om een positieve ervaring met uw toepassing te bieden en tegelijkertijd mogelijke schade te minimaliseren:

• Gefilterde inhoud op de juiste manier verwerken: bepaal hoe u scenario's wilt afhandelen waarin uw gebruikers prompts verzenden die inhoud bevatten die is geclassificeerd op een gefilterd categorie- en ernstniveau of anderszins misbruik maken van uw toepassing.
• Controleer finish_reason: Controleer altijd of finish_reason een voltooiing is gefilterd.
• Controleer de uitvoering van het inhoudsfilter: controleer of er geen foutobject is ( content_filter_results waarmee wordt aangegeven dat inhoudsfilters niet zijn uitgevoerd).
• Bronvermeldingen weergeven voor beveiligd materiaal: als u het beveiligde materiaalcodemodel gebruikt in de modus aantekeningen, geeft u de bronvermeldings-URL weer wanneer u de code in uw toepassing weergeeft.

Verwante inhoud

• Meer informatie over Azure AI Content Veiligheid.
• Meer informatie over het begrijpen en beperken van risico's die zijn gekoppeld aan uw toepassing: Overview van verantwoorde AI-procedures voor Azure OpenAI-modellen.
• Meer informatie over hoe gegevens worden verwerkt met inhoudsfilters en misbruikcontrole: Data, privacy en beveiliging voor Azure OpenAI.