Threads, processos e mensagens no Serviço do Foundry Agent (clássico)

O Serviço do Foundry Agent oferece suporte para threads persistentes, execuções e mensagens. Esses componentes são essenciais para gerenciar estados de conversa e interações com os usuários.

Componentes do agente

Quando você usa um agente, as seguintes etapas estão envolvidas:

• Criar um agente: Crie um agente para começar a enviar mensagens e receber respostas.
• Crie um thread: Crie um thread uma vez e acrescente mensagens a ele à medida que os usuários respondem. O histórico de conversas é mantido e gerenciado automaticamente.
• Enviar mensagens: O agente e o usuário podem enviar mensagens. Essas mensagens podem incluir texto, imagens e outros arquivos.
• Execute o agente: Quando você inicia uma execução, o agente processa as mensagens no thread e executa tarefas com base em sua configuração. Ele pode acrescentar novas mensagens ao thread como parte de sua resposta.
• Monitore o status da execução: Monitore a execução até que ela seja concluída.
• Obtenha a resposta: Depois que o agente criar uma resposta, exiba-a para o usuário.

Agente

Um agente é um componente de orquestração configurável que usa modelos de IA com instruções, ferramentas, parâmetros e controles opcionais de segurança e governança. Em tempo de execução, um agente usa esses componentes e o histórico de mensagens de um determinado thread para responder às entradas do usuário.

Tópicos

Os threads são sessões de conversa entre um agente e um usuário. Eles armazenam mensagens e manipulam automaticamente o truncamento para ajustar o conteúdo no contexto de um modelo. Ao criar um thread, você pode acrescentar novas mensagens (até 100.000 por thread) à medida que os usuários respondem.

Quando criar um novo thread

• Novo contexto de conversa: crie um novo thread ao iniciar um novo tópico ou quando o usuário deseja explicitamente "recomeçar".
• Usuários diferentes: cada usuário normalmente deve ter seus próprios threads para manter o isolamento da conversa.
• Considerações de desempenho: threads com milhares de mensagens podem ter uma latência maior. Considere a criação de novos threads para interações de execução prolongada.

Ciclo de vida do thread

Os threads persistem até serem excluídos explicitamente. Na configuração do agente Standard, os threads são armazenados em sua conta Azure Cosmos DB. Planeje sua estratégia de retenção de thread com base em:

• Custos de armazenamento: um grande número de threads com muitas mensagens consomem armazenamento
• Requisitos de conformidade: considere suas políticas de retenção de dados ao gerenciar a exclusão de thread

Mensagens

As mensagens são as partes individuais de comunicação dentro de um thread. Eles podem ser criados pelo agente ou pelo usuário e podem incluir texto ou outros arquivos. As mensagens são armazenadas como uma lista dentro do thread, permitindo um fluxo de conversa estruturado e organizado.

Executa

Uma execução envolve invocar o agente em um thread. O agente processa as mensagens no thread e pode acrescentar novas mensagens, que são respostas do agente. O agente usa sua configuração e as mensagens do thread para executar tarefas chamando modelos e ferramentas. Como parte de uma execução, o agente acrescenta mensagens ao thread.

Valores de status de execução

Monitore o status de execução para determinar quando o processamento é concluído:

Práticas recomendadas

• Limpar recursos: excluir threads e agentes quando não for mais necessário gerenciar custos e armazenamento
• Manipular erros de forma elegante: sempre verifique o failed status da execução e implemente a lógica de repetição com backoff exponencial
• Use os intervalos de sondagem apropriados: ao verificar o status da execução, comece com intervalos de 500ms e aumente para operações de execução mais longas
• Limitar o tamanho da mensagem: enquanto os threads dão suporte a até 100.000 mensagens, procure manter as conversas concisas para um desempenho ideal

Próximas etapas

• Início Rápido: criar um agente