Filtragem de conteúdos para modelos Microsoft Foundry (clássico)

Aplica-se apenas a:Portal Foundry (clássico). Este artigo não está disponível para o novo portal da Foundry. Saiba mais sobre o novo portal.

Microsoft Foundry inclui um sistema de filtragem de conteúdos que funciona em conjunto com modelos centrais e modelos de geração de imagens, sendo alimentado por Segurança de conteúdo de IA do Azure. Este sistema executa tanto o prompt como a conclusão através de um conjunto de modelos de classificação concebidos para detetar e prevenir a produção de conteúdo nocivo. O sistema de filtragem de conteúdos deteta e age sobre categorias específicas de conteúdo potencialmente prejudicial tanto em prompts de entrada como em conclusões de saída. Variações nas configurações da API e no design da aplicação podem afetar as completações e, consequentemente, o comportamento de filtragem.

As secções seguintes fornecem informações sobre as categorias de filtragem de conteúdo, os níveis de severidade e a sua configurabilidade, bem como cenários de API a considerar no design e implementação de aplicações.

Para além do sistema de filtragem de conteúdos, o Azure OpenAI realiza monitorização para detetar conteúdos e comportamentos que sugiram a utilização do serviço de forma a violar os termos do produto aplicáveis. Para mais informações sobre como compreender e mitigar riscos associados à sua aplicação, consulte a Nota Transparência para Azure OpenAI. Para mais informações sobre como os dados são processados para filtragem de conteúdos e monitorização de abusos, consulte Dados, privacidade e segurança para Azure OpenAI.

Tipos de filtro de conteúdo

O sistema de filtragem de conteúdos integrado no serviço Foundry Models em Foundry Tools contém:

• Modelos neurais de classificação multiclasse que detetam e filtram conteúdos nocivos. Estes modelos abrangem quatro categorias (ódio, sexual, violência e autoagressão) distribuídas por quatro níveis de gravidade (seguro, baixo, médio e alto). O conteúdo detetado no nível de gravidade 'seguro' é rotulado em anotações, mas não está sujeito a filtragem nem é configurável.
• Outros modelos de classificação opcionais que detetam risco de jailbreak e conteúdo conhecido para texto e código. Estes modelos são classificadores binários que assinalam se o comportamento do utilizador ou do modelo é qualificado como um ataque de jailbreak ou corresponde a texto ou código-fonte conhecidos. A utilização destes modelos é opcional, mas pode ser necessário o uso de um modelo de código de material protegido para a cobertura do Compromisso de Direitos de Autor do Cliente.

¹ Se for proprietário de material de texto e quiser submeter conteúdo de texto para proteção, faça um pedido.

² Não disponível em cenários não de streaming; Disponível apenas para cenários em streaming. As seguintes regiões suportam a Deteção de Fundamentação: Centro dos EUA, Leste dos EUA, França Central e Este do Canadá

Filtros de entrada

Filtros de conteúdo de texto

Consulte as categorias de Danos e níveis de gravidade para saber mais sobre as quatro categorias de filtragem de conteúdo (ódio, sexual, violência e autoagressão) e os seus níveis de gravidade (seguro, baixo, médio e alto).

Filtros de conteúdo de imagem

Consulte as categorias de Danos e níveis de gravidade para saber mais sobre as quatro categorias de filtragem de conteúdo (ódio, sexual, violência e autoagressão) e os seus níveis de gravidade (seguro, baixo, médio e alto).

Escudos de aviso

Os escudos de prompt são um filtro de segurança para as entradas dos modelos de IA generativa.

Filtros de saída

Também pode ativar os seguintes filtros de saída especiais:

• Material protegido para texto: O texto de material protegido descreve conteúdos textuais conhecidos (por exemplo, letras de músicas, artigos, receitas e conteúdos web selecionados) que um grande modelo de linguagem pode produzir.
• Material protegido para código: O código de material protegido descreve código-fonte que corresponde a um conjunto de código-fonte de repositórios públicos, que um grande modelo de linguagem pode gerar sem a devida citação dos repositórios fonte.
• Fundamentação: O filtro de deteção de fundamentação detecta se as respostas textuais dos grandes modelos de linguagem (LLMs) estão baseadas nos materiais de origem fornecidos pelos utilizadores.
• Informação pessoalmente identificável (PII): O filtro PII deteta se as respostas textuais dos grandes modelos de linguagem (LLMs) contêm informação pessoalmente identificável (PII). PII refere-se a qualquer informação que possa ser usada para identificar um indivíduo em particular, como nome, morada, número de telefone, endereço de email, número de segurança social, número de carta de condução, número de passaporte ou informações semelhantes.

Criar um filtro de conteúdo no Microsoft Foundry

Para qualquer implementação de modelos no Foundry, podes usar diretamente o filtro de conteúdo predefinido, mas talvez queiras ter mais controlo. Por exemplo, poderia tornar um filtro mais rigoroso ou mais flexível, ou ativar capacidades mais avançadas como escudos de alerta e deteção de materiais protegidos.

Siga estes passos para criar um filtro de conteúdo:

1. Iniciar sessão no Microsoft Foundry. Certifica-te de que a opção do New Foundry está desligada. Estes passos referem-se à Foundry (clássica).

   

2. Navegue até ao seu projeto. Depois seleciona a página Guardrails + controlos no menu esquerdo e seleciona o separador Filtros de Conteúdo .

   

3. Selecionar + Criar filtro de conteúdo.

4. Na página de Informação Básica , introduza um nome para a configuração de filtragem de conteúdo. Selecione uma ligação para associar ao filtro de conteúdo. Depois seleciona Próximo.

   

   Agora podes configurar os filtros de entrada (para prompts do utilizador) e os filtros de saída (para completar o modelo).

5. Na página de filtros de entrada, podes definir o filtro para o prompt de entrada. Para as primeiras quatro categorias de conteúdo, existem três níveis de gravidade configuráveis: Baixo, médio e alto. Pode usar os sliders para definir o limiar de gravidade se determinar que a sua aplicação ou cenário de utilização requer filtros diferentes dos valores padrão. Alguns filtros, como Prompt Shields e Deteção de Material Protegido, permitem-lhe determinar se o modelo deve anotar e/ou bloquear conteúdo. Selecionar Anotar apenas executa o respetivo modelo e retorna anotações via resposta da API, mas não filtra o conteúdo. Além de anotar, também podes escolher bloquear conteúdo.

   Se o seu caso de uso foi aprovado para filtros de conteúdo modificados, recebe controlo total sobre as configurações de filtragem de conteúdo. Pode optar por desligar o filtro parcial ou totalmente, ou ativar a anotação apenas para as categorias de prejuízo do conteúdo (violência, ódio, sexual e autoagressão).

   O conteúdo é anotado por categoria e bloqueado de acordo com o limiar que definir. Para as categorias de violência, ódio, sexualidade e autoagressão, ajuste o controlo deslizante para bloquear conteúdos de gravidade alta, média ou baixa.

   

6. Na página de filtros de saída , pode configurar o filtro de saída, que é aplicado a todo o conteúdo de saída gerado pelo modelo. Configura os filtros individuais como antes. A página oferece a opção de modo Streaming, permitindo filtrar o conteúdo quase em tempo real à medida que o modelo o gera e reduzindo a latência. Quando terminares, seleciona Próximo.

   O conteúdo é anotado por cada categoria e bloqueado consoante o limite. Para conteúdo violento, conteúdo de ódio, conteúdo sexual e conteúdo de autoagressão, ajuste o limiar para bloquear conteúdos prejudiciais com níveis iguais ou superiores de gravidade.

   

7. Opcionalmente, na página de Ligação , pode associar o filtro de conteúdo a uma implementação. Se uma implementação selecionada já tiver um filtro acoplado, deve confirmar que pretende substituí-lo. Também pode associar o filtro de conteúdo a uma implementação mais tarde. Selecione Criar.

   As configurações de filtragem de conteúdos são criadas ao nível do hub no portal Foundry. Saiba mais sobre configurabilidade na documentação Azure OpenAI na Foundry Models.

8. Na página de Revisão , revê as definições e depois seleciona Criar filtro.

Use uma lista de bloqueio como filtro

Podes aplicar uma lista de bloqueio como filtro de entrada ou saída, ou ambos. Ative a opção Lista de Bloqueio na página de filtro de Entrada e/ou Filtro de Saída . Selecione uma ou mais listas de exclusão no menu dropdown, ou use a lista de exclusão de palavrões incorporada. Podes combinar várias listas de bloqueio no mesmo filtro.

Aplique um filtro de conteúdo

O processo de criação do filtro dá-te a opção de aplicar o filtro às implementações que queres. Também pode alterar ou remover filtros de conteúdo das suas implementações a qualquer momento.

Siga estes passos para aplicar um filtro de conteúdo a uma implementação:

1. Vai a Foundry e seleciona um projeto.

2. Seleciona Modelos + endpoints no painel esquerdo e escolhe uma das tuas implementações, depois seleciona Editar.

   

3. Na janela Atualizar implementação , selecione o filtro de conteúdo que pretende aplicar à implementação. Depois seleciona Guardar e fechar.

   

   Também pode editar e eliminar uma configuração de filtro de conteúdo, se necessário. Antes de eliminar uma configuração de filtragem de conteúdo, precisa de a desatribuir e substituir em qualquer implantação no separador Implantações.

Agora, podes ir ao playground para testar se o filtro de conteúdo funciona como esperado.

Configurabilidade

Os modelos implementados no Microsoft Foundry (anteriormente conhecido como Azure AI Services) incluem definições de segurança predefinidas aplicadas a todos os modelos, exceto o Azure OpenAI Whisper. Estas configurações proporcionam uma experiência responsável por padrão.

Certos modelos permitem que os clientes configurem filtros de conteúdo e criem políticas de segurança personalizadas adaptadas aos requisitos do seu caso de uso. A funcionalidade de configurabilidade permite aos clientes ajustar as definições, separadamente, tanto para prompts quanto para completamentos, para filtrar o conteúdo de cada categoria de conteúdos em diferentes níveis de gravidade, conforme descrito na tabela abaixo. O conteúdo detetado no nível de gravidade 'seguro' é rotulado em anotações, mas não está sujeito a filtragem nem é configurável.

¹ Para Azure modelos OpenAI, apenas os clientes aprovados para filtragem de conteúdo modificada têm controlo total e podem desligar os filtros de conteúdo. Candidate-se a filtros de conteúdo modificado através deste formulário: Azure Revisão de Acesso Limitado OpenAI: Filtros de Conteúdo Modificado. Para Azure Government clientes, candidate-se a filtros de conteúdo modificados através deste formulário: Azure Government - Solicitar Filtragem de Conteúdo Modificada para Azure OpenAI em Foundry Models.

As configurações de filtragem de conteúdo são criadas dentro de um recurso no portal Foundry e podem ser associadas a Implementações. Aprenda a configurar um filtro de conteúdo

Cenários de filtragem de conteúdos

Quando o sistema de segurança de conteúdos deteta conteúdo prejudicial, pode receber um erro na chamada API se o prompt for considerado inadequado ou a resposta finish_reason indicará content_filter que parte da conclusão foi filtrada. Ao construir a sua aplicação ou sistema, deve ter em conta estes cenários em que o conteúdo devolvido pela API Completions é filtrado, o que pode resultar em conteúdo incompleto.

O comportamento pode ser resumido nos seguintes pontos:

• As solicitações que são classificadas numa categoria e nível de severidade filtrados retornam um erro HTTP 400.
• As chamadas de conclusão não transmitidas não retornam qualquer conteúdo quando o conteúdo é filtrado. O finish_reason valor é definido como content_filter. Em casos raros com respostas mais longas, pode ser devolvido um resultado parcial. Nestes casos, o finish_reason é atualizado.
• Para chamadas de conclusão de streaming, os segmentos são devolvidos ao utilizador à medida que são concluídos. O serviço continua a transmitir até alcançar um token de paragem, um comprimento específico, ou quando é detetado conteúdo classificado numa categoria filtrada e nível de gravidade.

Cenário 1: Chamada sem transmissão e sem conteúdo filtrado

Quando todas as gerações passam os filtros conforme configurados, a resposta não inclui detalhes sobre moderação de conteúdos. O finish_reason para cada geração é ou stop ou length.

Código de resposta HTTP: 200

Exemplo de carga útil de pedido:

{
    "prompt": "Text example", 
    "n": 3,
    "stream": false
}

Exemplo de resposta:

{
    "id": "example-id",
    "object": "text_completion",
    "created": 1653666286,
    "model": "davinci",
    "choices": [
        {
            "text": "Response generated text",
            "index": 0,
            "finish_reason": "stop",
            "logprobs": null
        }
    ]
}

Cenário 2: Múltiplas respostas com pelo menos uma filtrada

Quando a sua chamada API pede múltiplas respostas (N>1) e pelo menos uma das respostas é filtrada, as gerações filtradas têm um finish_reason valor de content_filter.

Código de resposta HTTP: 200

Exemplo de carga útil de pedido:

{
    "prompt": "Text example",
    "n": 3,
    "stream": false
}

Exemplo de resposta:

{
    "id": "example",
    "object": "text_completion",
    "created": 1653666831,
    "model": "ada",
    "choices": [
        {
            "text": "returned text 1",
            "index": 0,
            "finish_reason": "length",
            "logprobs": null
        },
        {
            "text": "returned text 2",
            "index": 1,
            "finish_reason": "content_filter",
            "logprobs": null
        }
    ]
}

Cenário 3: Prompt de entrada inapropriado

A chamada API falha quando o prompt aciona um filtro de conteúdo conforme configurado. Modifica o prompt e tenta novamente.

Código de Resposta HTTP: 400

Exemplo de carga de dados do pedido:

{
    "prompt": "Content that triggered the filtering model"
}

Exemplo de resposta:

{
    "error": {
        "message": "The response was filtered",
        "type": null,
        "param": "prompt",
        "code": "content_filter",
        "status": 400
    }
}

Cenário 4: Chamada em streaming sem conteúdo filtrado

Neste caso, a chamada retorna com a geração completa, e finish_reason é ou length ou stop para cada resposta gerada.

Código de resposta HTTP: 200

Exemplo de carga útil de solicitação:

{
    "prompt": "Text example",
    "n": 3,
    "stream": true
}

Exemplo de resposta:

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1653670914,
    "model": "ada",
    "choices": [
        {
            "text": "last part of generation",
            "index": 2,
            "finish_reason": "stop",
            "logprobs": null
        }
    ]
}

Cenário 5: Chamada em streaming com conteúdo filtrado

Para um dado índice de geração, a última parte da geração inclui um valor não nulo finish_reason . O valor é content_filter quando a geração é filtrada.

Código de resposta HTTP: 200

Exemplo de carga útil de requisição:

{
    "prompt": "Text example",
    "n": 3,
    "stream": true
}

Exemplo de resposta:

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1653670515,
    "model": "ada",
    "choices": [
        {
            "text": "Last part of generated text streamed back",
            "index": 2,
            "finish_reason": "content_filter",
            "logprobs": null
        }
    ]
}

Cenário 6: Sistema de filtragem de conteúdos indisponível

Se o sistema de filtragem de conteúdo estiver em baixo ou não conseguir concluir a operação a tempo, o seu pedido será processado sem o filtro de conteúdo. Pode determinar que o filtro não foi aplicado procurando uma mensagem de erro no content_filter_results objeto.

Código de resposta HTTP: 200

Exemplo de carga útil de pedido:

{
    "prompt": "Text example",
    "n": 1,
    "stream": false
}

Exemplo de resposta:

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1652294703,
    "model": "ada",
    "choices": [
        {
            "text": "generated text",
            "index": 0,
            "finish_reason": "length",
            "logprobs": null,
            "content_filter_results": {
                "error": {
                    "code": "content_filter_error",
                    "message": "The contents are not filtered"
                }
            }
        }
    ]
}

Melhores práticas

Como parte do design da sua candidatura, considere as seguintes melhores práticas para proporcionar uma experiência positiva com a sua candidatura, minimizando potenciais danos:

• Trata o conteúdo filtrado adequadamente: Decide como queres lidar com cenários em que os teus utilizadores enviam prompts contendo conteúdo classificado numa categoria e nível de gravidade filtrados ou em que a tua aplicação seja mal utilizada.
• Verifique finish_reason: Verifique sempre finish_reason para ver se uma conclusão foi filtrada.
• Verificar a execução do filtro de conteúdo: Verifique se não há nenhum objeto de erro no content_filter_results (indicando que os filtros de conteúdo não foram executados).
• Mostrar citações para material protegido: Se estiver a usar o modelo de código de material protegido em modo de anotação, mostre a URL da citação quando estiver a mostrar o código na sua aplicação.

Conteúdo relacionado

• Aprenda sobre Segurança de conteúdo de IA do Azure.
• Saiba mais sobre como compreender e mitigar riscos associados à sua aplicação: Visão geral das práticas responsáveis de IA para Azure modelos OpenAI.
• Saiba mais sobre como os dados são processados com filtragem de conteúdos e monitorização de abusos: Dados, privacidade e segurança para Azure OpenAI.