Filtragem de conteúdo para modelos de Microsoft foundry (clássico)

Aplica-se somente a:Portal Foundry (clássico). Este artigo não está disponível para o novo portal do Foundry. Saiba mais sobre o novo portal.

Microsoft Foundry inclui um sistema de filtragem de conteúdo que funciona junto com modelos principais e modelos de geração de imagem e é alimentado por Segurança de Conteúdo de IA do Azure. Esse sistema executa o prompt e a conclusão por meio de um conjunto de modelos de classificação projetados para detectar e impedir a saída de conteúdo prejudicial. O sistema de filtragem de conteúdo detecta e toma medidas em categorias específicas de conteúdo potencialmente prejudicial em solicitações de entrada e resultados de saída. Variações nas configurações de API e no design do aplicativo podem afetar as conclusões de processos e, portanto, o comportamento de filtragem.

As seções a seguir fornecem informações sobre as categorias de filtragem de conteúdo, os níveis de severidade de filtragem e sua configurabilidade e cenários de API a serem considerados no design e na implementação do aplicativo.

Além do sistema de filtragem de conteúdo, o Azure OpenAI executa o monitoramento para detectar conteúdo e comportamentos que sugerem o uso do serviço de maneira que possa violar os termos do produto aplicáveis. Para obter mais informações sobre como entender e mitigar os riscos associados ao seu aplicativo, consulte a Nota de Transparência para Azure OpenAI. Para obter mais informações sobre como os dados são processados para filtragem de conteúdo e monitoramento de abuso, consulte Data, privacidade e segurança para Azure OpenAI.

Tipos de filtro de conteúdo

O sistema de filtragem de conteúdo integrado no serviço Modelos Foundry nas Ferramentas Foundry contém:

• Modelos de classificação multiclasse neural que detectam e filtram conteúdo nocivo. Esses modelos abrangem quatro categorias (ódio, sexual, violência e automutilação) em quatro níveis de gravidade (seguro, baixo, médio e alto). O conteúdo detectado no nível de gravidade 'seguro' é rotulado em anotações, mas não está sujeito à filtragem e não é configurável.
• Modelos de classificação opcionais adicionais que detectam o risco de jailbreak e conteúdos conhecidos em texto e código. Esses modelos são classificadores binários que sinalizam se o comportamento do usuário ou do modelo se qualifica como um ataque de jailbreak ou corresponde ao texto ou código-fonte conhecido. O uso desses modelos é opcional, mas o uso do modelo de código material protegido pode ser necessário para a cobertura do Compromisso de Direitos Autorais do Cliente.

¹ Se você for um proprietário do material de texto e quiser enviar conteúdo de texto para proteção, registre uma solicitação.

² Não disponível em cenários que não são de streaming; disponível somente para cenários de streaming. As seguintes regiões dão suporte à Detecção de Aterramento: Eua Central, Leste dos EUA, França Central e Leste do Canadá

Filtros de entrada

Filtros de conteúdo de texto

Consulte categorias de danos e níveis de gravidade para saber mais sobre as quatro categorias de filtragem de conteúdo (ódio, sexual, violência e automutilação) e seus níveis de gravidade (seguro, baixo, médio e alto).

Filtros de conteúdo de imagem

Consulte categorias de danos e níveis de gravidade para saber mais sobre as quatro categorias de filtragem de conteúdo (ódio, sexual, violência e automutilação) e seus níveis de gravidade (seguro, baixo, médio e alto).

Escudos de prompt

Os escudos de prompt são um filtro de segurança para as entradas de modelos de IA generativos.

Filtros de saída

Você também pode habilitar os seguintes filtros de saída especiais:

• Material protegido para texto: o texto de material protegido descreve o conteúdo de texto conhecido (por exemplo, letras de música, artigos, receitas e conteúdo da Web selecionado) que um modelo de linguagem grande pode gerar.
• Material protegido para código: o código material protegido descreve o código-fonte que corresponde a um conjunto de código-fonte de repositórios públicos, que um modelo de linguagem grande pode gerar sem citação adequada de repositórios de origem.
• Fundamentação: o filtro de detecção de fundamentação identifica se as respostas de texto de LLMs (grandes modelos de linguagem) estão fundamentadas nos materiais de origem fornecidos pelos usuários.
• Informações de identificação pessoal (PII): o filtro PII detecta se as respostas de texto de LLMs (grandes modelos de linguagem) contêm informações de identificação pessoal (PII). A PII refere-se a qualquer informação que possa ser usada para identificar um indivíduo específico, como nome, endereço, número de telefone, endereço de email, número de segurança social, número da carteira de motorista, número do passaporte ou informações semelhantes.

Criar um filtro de conteúdo no Microsoft Foundry

Para qualquer implantação de modelo no Foundry, você pode usar diretamente o filtro de conteúdo padrão, mas talvez queira ter mais controle. Por exemplo, você pode tornar um filtro mais rigoroso ou mais flexível ou habilitar recursos mais avançados, como escudos de prompt e detecção de materiais protegidos.

Siga estas etapas para criar um filtro de conteúdo:

1. Entre no Microsoft Foundry. Certifique-se de que o alternador New Foundry está desativado. Essas etapas se referem ao Foundry (clássico).

   

2. Navegue até seu projeto. Em seguida, selecione a página Guardrails + controles no menu esquerdo e selecione a guia Filtros de conteúdo .

   

3. Selecione + Criar filtro de conteúdo.

4. Na página informações básicas , insira um nome para sua configuração de filtragem de conteúdo. Selecione uma conexão para associar ao filtro de conteúdo. Em seguida, selecione Avançar.

   

   Agora você pode configurar os filtros de entrada (para prompts de usuário) e filtros de saída (para conclusão do modelo).

5. Na página Filtros de entrada , você pode definir o filtro para o prompt de entrada. Para as quatro primeiras categorias de conteúdo, há três níveis de gravidade configuráveis: baixo, médio e alto. Você pode usar os controles deslizantes para definir o limite de severidade se determinar que seu aplicativo ou cenário de uso requer filtragem diferente dos valores padrão. Alguns filtros, como o Prompt Shields e a detecção de material protegido, permitem determinar se o modelo deve anotar e/ou bloquear o conteúdo. A seleção de Anotar executa apenas o respectivo modelo e retorna anotações por meio da resposta à API, mas não filtrará o conteúdo. Além de anotar, você também pode optar por bloquear o conteúdo.

   Se o caso de uso tiver sido aprovado para filtros de conteúdo modificados, você receberá controle total sobre as configurações de filtragem de conteúdo. Você pode optar por desativar parcial ou totalmente a filtragem ou habilitar anotar somente para as categorias de danos de conteúdo (violência, ódio, sexual e automutilação).

   O conteúdo é anotado por categoria e bloqueado de acordo com o limite definido. Para as categorias violência, ódio, sexual e automutilação, ajuste o controle deslizante para bloquear o conteúdo de alta, média ou baixa gravidade.

   

6. Na página Filtros de saída , você pode configurar o filtro de saída, que é aplicado a todo o conteúdo de saída gerado pelo modelo. Configure os filtros individuais como antes. A página fornece a opção modo Streaming, permitindo filtrar o conteúdo quase em tempo real à medida que o modelo o gera e reduzindo a latência. Quando terminar, selecione Avançar.

   O conteúdo é anotado por cada categoria e bloqueado de acordo com o limite. Para conteúdo violento, conteúdo de ódio, conteúdo sexual e categoria de conteúdo de automutilação, ajuste o limite para bloquear conteúdo nocivo com níveis de gravidade iguais ou mais altos.

   

7. Opcionalmente, na página Conexão , você pode associar o filtro de conteúdo a uma implantação. Se uma implantação selecionada já tiver um filtro anexado, você deverá confirmar se deseja substituí-la. Você também pode associar o filtro de conteúdo a uma implantação posteriormente. Selecione Criar.

   As configurações de filtragem de conteúdo são criadas no nível do hub no portal do Foundry. Saiba mais sobre a configurabilidade na documentação Azure OpenAI in Foundry Models.

8. Na página Revisão , examine as configurações e selecione Criar filtro.

Usar uma lista de bloqueios como um filtro

Você pode aplicar uma lista de bloqueios como um filtro de entrada ou de saída ou ambos. Habilite a opção Blocklist na página Filtro de entrada e/ou filtro de saída . Selecione uma ou mais listas de bloqueio na lista suspensa ou use a lista de bloqueio de palavrões integrada. Você pode combinar várias listas de bloqueio no mesmo filtro.

Aplicar um filtro de conteúdo

O processo de criação de filtro oferece a opção de aplicar o filtro às implantações desejadas. Você também pode alterar ou remover filtros de conteúdo de suas implantações a qualquer momento.

Siga estas etapas para aplicar um filtro de conteúdo a uma implantação:

1. Vá para o Foundry e selecione um projeto.

2. Selecione Modelos + pontos de extremidade no painel esquerdo e escolha uma de suas implantações e, em seguida, selecione Editar.

   

3. Na janela Atualizar implantação , selecione o filtro de conteúdo que você deseja aplicar à implantação. Em seguida, selecione Salvar e fechar.

   

   Você também pode editar e excluir uma configuração de filtro de conteúdo, se necessário. Antes de excluir uma configuração de filtragem de conteúdo, você precisa desatribuí-la e substituí-la de qualquer implantação na guia Implantações .

Agora, você pode ir ao playground para testar se o filtro de conteúdo funciona conforme o esperado.

Configurabilidade

Os modelos implantados no Microsoft Foundry (anteriormente conhecidos Azure Serviços de IA) incluem configurações de segurança padrão aplicadas a todos os modelos, excluindo Azure OpenAI Whisper. Essas configurações fornecem uma experiência responsável por padrão.

Determinados modelos permitem que os clientes configurem filtros de conteúdo e criem políticas de segurança personalizadas adaptadas aos requisitos de caso de uso. O recurso de configurabilidade permite que os clientes ajustem as configurações, separadamente para solicitações e conclusões, para filtrar o conteúdo de cada categoria de conteúdo em diferentes níveis de severidade, conforme descrito na tabela abaixo. O conteúdo detectado no nível de gravidade 'seguro' é rotulado em anotações, mas não está sujeito à filtragem e não é configurável.

¹ Para modelos OpenAI do Azure, somente os clientes aprovados para a filtragem modificada de conteúdo têm controle completo sobre a filtragem de conteúdo e podem desativar os filtros de conteúdo. Aplique filtros de conteúdo modificados por meio deste formulário: Azure Revisão de Acesso Limitado do OpenAI: Filtros de Conteúdo Modificados. Para clientes do Azure Governamental, solicite filtros de conteúdo modificados por meio deste formulário: Azure Governamental - Request Modified Content Filtering for Azure OpenAI in Foundry Models.

As configurações de filtragem de conteúdo são criadas em um recurso no portal do Foundry e podem ser associadas a Implantações. Saiba como configurar um filtro de conteúdo

Cenários de filtragem de conteúdo

Quando o sistema de segurança de conteúdo detecta conteúdo prejudicial, você recebe um erro na chamada à API se o prompt for considerado inadequado, ou o finish_reason na resposta será content_filter para indicar que parte da conclusão foi filtrada. Ao criar seu aplicativo ou sistema, você desejará considerar esses cenários em que o conteúdo retornado pela API de Conclusões é filtrado, o que pode resultar em conteúdo incompleto.

O comportamento pode ser resumido nos seguintes pontos:

• Os prompts classificados em uma categoria filtrada e em um nível de gravidade específico retornam um erro HTTP 400.
• Solicitações de conclusão sem streaming não retornam conteúdo se o conteúdo for filtrado. O finish_reason valor é definido como content_filter. Em casos raros com respostas mais longas, um resultado parcial pode ser retornado. Nesses casos, o finish_reason é atualizado.
• Para chamadas de conclusão de streaming, os segmentos são retornados ao usuário conforme são concluídos. O serviço continua transmitindo até atingir um token de parada, o comprimento máximo ou quando o conteúdo classificado em uma categoria filtrada e nível de gravidade é detectado.

Cenário 1: chamada sem streaming sem conteúdo filtrado

Quando todas as gerações passam os filtros conforme configurado, a resposta não inclui detalhes de moderação de conteúdo. O finish_reason para cada geração é ou stop ou length.

Código de resposta HTTP: 200

Conteúdo da solicitação de exemplo:

{
    "prompt": "Text example", 
    "n": 3,
    "stream": false
}

Exemplo de resposta:

{
    "id": "example-id",
    "object": "text_completion",
    "created": 1653666286,
    "model": "davinci",
    "choices": [
        {
            "text": "Response generated text",
            "index": 0,
            "finish_reason": "stop",
            "logprobs": null
        }
    ]
}

Cenário 2: Várias respostas com pelo menos uma filtrada

Quando sua chamada à API solicita várias respostas (N>1) e pelo menos uma das respostas é filtrada, as gerações filtradas têm um finish_reason valor de content_filter.

Código de resposta HTTP: 200

Conteúdo da solicitação de exemplo:

{
    "prompt": "Text example",
    "n": 3,
    "stream": false
}

Exemplo de resposta:

{
    "id": "example",
    "object": "text_completion",
    "created": 1653666831,
    "model": "ada",
    "choices": [
        {
            "text": "returned text 1",
            "index": 0,
            "finish_reason": "length",
            "logprobs": null
        },
        {
            "text": "returned text 2",
            "index": 1,
            "finish_reason": "content_filter",
            "logprobs": null
        }
    ]
}

Cenário 3: prompt de entrada inadequado

A chamada à API falha quando o prompt dispara um filtro de conteúdo conforme configurado. Modifique o prompt e tente novamente.

Código de resposta HTTP: 400

Conteúdo da solicitação de exemplo:

{
    "prompt": "Content that triggered the filtering model"
}

Exemplo de resposta:

{
    "error": {
        "message": "The response was filtered",
        "type": null,
        "param": "prompt",
        "code": "content_filter",
        "status": 400
    }
}

Cenário 4: Chamada de streaming sem conteúdo filtrado

Nesse caso, a chamada retorna com a geração completa e finish_reason é length ou stop para cada resposta gerada.

Código de resposta HTTP: 200

Conteúdo da solicitação de exemplo:

{
    "prompt": "Text example",
    "n": 3,
    "stream": true
}

Exemplo de resposta:

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1653670914,
    "model": "ada",
    "choices": [
        {
            "text": "last part of generation",
            "index": 2,
            "finish_reason": "stop",
            "logprobs": null
        }
    ]
}

Cenário 5: Chamada de streaming com conteúdo filtrado

Para um determinado índice de geração, a última parte da geração inclui um valor não nulo finish_reason . O valor é content_filter quando a geração é filtrada.

Código de resposta HTTP: 200

Conteúdo da solicitação de exemplo:

{
    "prompt": "Text example",
    "n": 3,
    "stream": true
}

Exemplo de resposta:

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1653670515,
    "model": "ada",
    "choices": [
        {
            "text": "Last part of generated text streamed back",
            "index": 2,
            "finish_reason": "content_filter",
            "logprobs": null
        }
    ]
}

Cenário 6: Sistema de filtragem de conteúdo indisponível

Se o sistema de filtragem de conteúdo estiver inativo ou não conseguir concluir a operação a tempo, sua solicitação ainda será concluída sem filtragem de conteúdo. Você pode determinar que a filtragem não foi aplicada procurando uma mensagem de erro no content_filter_results objeto.

Código de resposta HTTP: 200

Conteúdo da solicitação de exemplo:

{
    "prompt": "Text example",
    "n": 1,
    "stream": false
}

Exemplo de resposta:

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1652294703,
    "model": "ada",
    "choices": [
        {
            "text": "generated text",
            "index": 0,
            "finish_reason": "length",
            "logprobs": null,
            "content_filter_results": {
                "error": {
                    "code": "content_filter_error",
                    "message": "The contents are not filtered"
                }
            }
        }
    ]
}

Práticas recomendadas

Como parte do design do aplicativo, considere as seguintes práticas recomendadas para oferecer uma experiência positiva com seu aplicativo, minimizando possíveis danos:

• Manipule o conteúdo filtrado adequadamente: decida como você deseja lidar com cenários em que os usuários enviam prompts contendo conteúdo classificado em uma categoria filtrada e nível de severidade ou, de outra forma, use seu aplicativo incorretamente.
• Verifique finish_reason: sempre verifique finish_reason se uma conclusão foi filtrada.
• Verificar a content_filter_results: verifique se não há nenhum objeto de erro no (indicando que os filtros de conteúdo não foram executados).
• Exibir citações para material protegido: se você estiver usando o modelo de código material protegido no modo de anotação, exiba a URL de citação quando estiver exibindo o código em seu aplicativo.

Conteúdo relacionado

• Saiba mais sobre Segurança de Conteúdo de IA do Azure.
• Saiba mais sobre como entender e mitigar os riscos associados ao seu aplicativo: Visão geral das práticas de IA responsável para os modelos OpenAI do Azure.
• Saiba mais sobre como os dados são processados com filtragem de conteúdo e monitoramento de abuso: Data, privacidade e segurança para Azure OpenAI.