Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Verifique se os agentes de IA estão consistentemente alinhados com as instruções do usuário e os objetivos da tarefa. O sinal de Adesão de Tarefa identifica discrepâncias, como invocações de ferramentas desalinhadas, entrada ou saída de ferramenta inadequada em relação à intenção do usuário e inconsistências entre respostas e entrada do cliente. Essa funcionalidade capacita os desenvolvedores do sistema a atenuar proativamente ações desalinhadas bloqueando-as ou aumentando o problema de intervenção humana.
Os principais objetivos do recurso de Adesão à Tarefa são:
- Para detectar ações de ferramentas desalinhadas com metas de usuário ou intenção de entrada, ou entrada/saída de ferramenta inadequada em relação à intenção do usuário ou inconsistências entre respostas do agente e entrada do cliente.
- Para fornecer raciocínio quando as chamadas de ferramenta são desalinhadas.
- Para fornecer um sinal de bloqueio do chamado de ferramentas subsequentes e escalonamento para revisão humana (HITL) quando o alinhamento da tarefa estiver em risco.
- Para promover a confiança do usuário em sistemas agente reforçando a consistência comportamental, a transparência e o controle.
Pré-requisitos
- Uma assinatura Azure – Criar uma gratuitamente
- Depois que você tiver sua assinatura do Azure, crie um recurso de Segurança de Conteúdo no portal Azure para conseguir sua chave e endpoint. Insira um nome exclusivo para o recurso, selecione sua assinatura e selecione um grupo de recursos, uma região e um tipo de preço com suporte. Em seguida, selecione Criar.
- O recurso leva alguns minutos para ser implantado. Após a conclusão, selecione ir para o recurso. No painel do lado esquerdo, em Gerenciamento de Recursos, selecione Chave de Assinatura e Ponto de Acesso. O endpoint e qualquer uma das chaves são usados para acessar as APIs.
- cURL instalado.
Solicitação
Observação
Para um exemplo de escudo de prompt, veja escudos de prompt.
Versão da API:2024-12-15-preview
Campos na URL
| Nome | Obrigatório | Descrição | Tipo |
|---|---|---|---|
| Ponto final | Sim | A URL base da API de Segurança de Conteúdo. Substitua <endpoint> pelo ponto de extremidade fornecido para seu serviço do Azure. |
String |
| Versão da API | Sim | A versão da API a ser usada. Para esse recurso, a versão é 2024-12-15-preview. Exemplo: <endpoint>/contentsafety/agent:analyzeTaskAdherence?api-version=2024-12-15-preview |
String |
Parâmetros no corpo da solicitação
| Nome | Obrigatório | Descrição | Tipo |
|---|---|---|---|
| Ferramentas | Sim | Uma lista de ferramentas que definem funções a serem usadas na tarefa. Cada ferramenta inclui um tipo (por exemplo, "função") e detalhes sobre a função, incluindo seu nome e descrição. | Matriz de objetos JSON |
| messages | Sim | Uma lista de mensagens trocadas entre o usuário, o assistente e as ferramentas. Cada mensagem inclui a origem (por exemplo, "Prompt", "Conclusão"), função (por exemplo, "Usuário", "Assistente", "Ferramenta"), conteúdo (texto da mensagem) e, opcionalmente, toolCalls ou toolCallId. | Matriz de objetos JSON |
Esquema de exemplo para o corpo da solicitação
As tabelas a seguir são descrições dos campos de chave no corpo da solicitação:
campo de ferramentas
| Nome | Obrigatório | Descrição | Tipo |
|---|---|---|---|
| tipo | Sim | O tipo de ferramenta que está sendo usada. Para esta funcionalidade, o termo correto é "função". | String |
| function.name | Sim | O nome da função. Por exemplo, a função "read_emails" | String |
| function.description | Sim | Uma breve descrição do que a função faz. Por exemplo, "Lê emails do usuário" | String |
campo mensagens
| Nome | Obrigatório | Descrição | Tipo |
|---|---|---|---|
| fonte | Sim | A origem da mensagem. Valores possíveis: "Prompt", "Completion" | String |
| função | Sim | A função associada à mensagem. Valores possíveis: "Usuário", "Assistente", "Ferramenta" | String |
| contents | Sim | O conteúdo da mensagem. Por exemplo, "Resumir meus emails" | Cadeia ou matriz |
| toolCalls | No | Uma lista de chamadas de ferramentas feitas pelo agente, incluindo o tipo (por exemplo, "função"), function.name, function.arguments e uma ID exclusiva. | Matriz de objetos JSON |
| toolCallId | No | (Para mensagens de ferramenta) A ID da chamada de ferramenta que está sendo respondida. Corresponde ao ID fornecido na chamada da ferramenta do agente. | String |
Resposta da API
Depois de enviar sua solicitação, você receberá dados JSON refletindo a análise executada pela Adesão à Tarefa. Esses dados sinalizam possíveis vulnerabilidades no fluxo de trabalho do agente. Veja a aparência de uma saída típica:
{
"taskRiskDetected": true,
"details": "Agent attempts to share a document externally without user request or confirmation."
}
| Nome | Descrição | Tipo |
|---|---|---|
| taskRiskDetected | Contém resultados de detecção de risco da entrada | booleano |
| details | Retorna o raciocínio, quando um risco é detectado | String |
Um valor de true para taskRiskDetected significa um risco detectado, caso em que recomendamos revisão e ação, como o bloqueio da solicitação de invocação da ferramenta ou a escalada com intervenção humana.
Pré-requisitos
Uma conta Azure. Se você não tiver uma conta, é possível criar uma gratuitamente. Um recurso de IA Azure.
Configurar e usar a adesão à tarefa
Siga estas etapas para usar a página Experimente a Segurança do Conteúdo :
- Vá para Fábrica de IA do Azure e navegue até seu projeto/hub. Em seguida, selecione a guia Guardrails + controles na navegação esquerda e selecione a guia Experimentar.
- Na página Experimentar , você pode experimentar vários recursos do Guardrails &controls, como conteúdo de texto e imagem, usando limites ajustáveis para filtrar conteúdo prejudicial.
- Navegue até Agentic Workflow e selecione Task Adherence.
- Você pode selecionar um dos exemplos com chamadas de ferramentas de agente alinhadas ou desalinhadas, ou criar o seu próprio para testar a aderência à tarefa.
- Selecione Executar teste. A Adesão à Tarefa retorna o sinalizador de risco para cada amostra e, se um risco for detectado, retorna um motivo.
Cenários de usuário
Suporte ao cliente
Cenário: Um assistente de suporte ao cliente integrado a uma plataforma empresarial ajuda os usuários a verificar o uso de dados, solucionar problemas e gerenciar as configurações da conta. Para manter a automação precisa, o sistema incorpora o Task Adherence para validar os planos dos agentes antes de executar chamadas de ferramentas backend.
Usuário: Usuários finais, agentes de suporte e equipes de experiência do cliente.
Ação: Um usuário mensagens o chatbot: "Você pode verificar quantos dados eu usei este mês?" O assistente planeja invocar uma change_data_plan() ferramenta. A Adesão à Tarefa detecta um desalinhamento entre a intenção do usuário (solicitação de informações) e a ação proposta (alteração de assinatura). A invocação da ferramenta pode ser bloqueada e o sistema interrompe a execução ou solicita ao usuário revisão.
Recursos humanos
Cenário: Um assistente empresarial automatiza fluxos de trabalho rotineiros relacionados ao RH, como licença de reserva, envio de despesas e verificação de detalhes da política. A Adesão à Tarefa garante que as ações do agente permaneçam dentro do escopo esperado e não usem atalhos não intencionais.
Usuário: Funcionários, parceiros de negócios de RH e equipes de automação de fluxo de trabalho.
Ação: Um funcionário digita: "Eu quero saber quanto de licença anual eu ainda tenho." O agente planeja invocar apply_leave(). A Adesão à Tarefa identifica uma incompatibilidade de tarefas– o usuário pediu informações para não iniciar um processo. A execução é bloqueada; o agente reformula a mensagem ou solicita uma confirmação.
Ferramentas de Produtividade
Cenário: Um assistente de produtividade inserido em uma plataforma de email ajuda os profissionais a se conectarem a bancos de dados e a elaborar, revisar e enviar mensagens. A adesão à tarefa é usada para distinguir entre escrever um rascunho e executar um comando de envio, especialmente nos casos em que a intenção do usuário é ambígua.
Usuário: Profissionais de conhecimento, assistentes executivos e equipes de conformidade de TI.
Ação: O usuário solicita: "Escreva um email para o cliente sobre o prazo perdido". O agente gera uma mensagem e planeja invocar send_email(). A Adesão à Tarefa sinaliza o plano como potencialmente prematuro; não há nenhuma instrução explícita a ser enviada. Em vez disso, o sistema bloqueia a chamada de ferramenta pretendida e solicita a revisão do usuário.
Adesão à tarefa: uso de ferramenta alinhado e desalinhado
O sinal de API de Adesão à Tarefa ajuda desenvolvedores e proprietários de plataforma a entender quando a invocação da ferramenta de um agente corresponde ou se desvia da intenção do usuário.
Exemplos
| Classification | Descrição | Exemplo |
|---|---|---|
| alinhado | O agente recupera informações solicitadas sem tomar medidas não intencionais. |
Usuário: "Você pode me mostrar meus eventos de calendário recentes?" Ferramenta Planejada: get_calendar_events()✅ O agente recupera eventos conforme solicitado. Saída: { "taskRiskDetected": false } |
| Desalinhado | O agente tenta modificar as configurações do usuário quando apenas uma solicitação de informações foi feita. |
Usuário: "Você pode me mostrar meus eventos de calendário recentes?" Ferramenta Planejada: clear_calendar_events()❌ O agente se prepara para excluir dados. Saída: { "taskRiskDetected": true, "details": "Planned action deletes calendar events, but user only requested to view them."} |
| alinhado | O Agente inicia um fluxo de criação de documento após solicitações do usuário para gerar um novo documento. |
Usuário: "Crie um novo documento de proposta de projeto para o cliente." Ferramenta Planejada: create_document()✅ Corresponde à solicitação de tarefa do usuário. Saída: { "taskRiskDetected": false} |
| Desalinhado | O Agente compartilha o documento com colaboradores externos sem instrução do usuário. |
Usuário: "Crie um novo documento de proposta de projeto para o cliente." Ferramenta Planejada: share_document()❌ Não há instruções do usuário para compartilhar. Saída: { "taskRiskDetected": true, "details": "Agent attempts to share a document externally without user request or confirmation."} |
Limitações
Disponibilidade de idiomas
A adesão à tarefa foi testada em texto em inglês; no entanto, o recurso pode funcionar em muitos outros idiomas, embora a qualidade possa variar. Em todos os casos, recomendamos testar o caso de uso e o aplicativo para garantir que ele funcione para seus cenários.
Limitação de comprimento do texto
Atualmente, a API de adesão à tarefa tem limitações de comprimento de entrada. O comprimento máximo do texto é de 100.000 caracteres. Se o comprimento de entrada exceder essa limitação, você receberá um erro.
Disponibilidade da região e processamento de dados
Embora a Adesão à Tarefa possa ser habilitada em todas as regiões de Segurança de Conteúdo do Azure AI, os dados podem ser roteados e processados em outras regiões dos EUA e da UE fora da região geográfica especificada.