Otimizar o custo e desempenho do modelo

Quando os custos do seu modelo ou agente começarem a aumentar, utilize a funcionalidade Ask AI (modo de visualização prévia) para diagnosticar rapidamente problemas, tomar medidas e verificar melhorias. Ask AI é um assistente de chat integrado ao qual pode aceder a partir da barra de ferramentas do portal Microsoft Foundry. Para mais informações sobre as capacidades e limitações da Ask AI, consulte Ask AI para ajuda (pré-visualização).

Neste artigo, identifica picos de custo, muda para um modelo eficiente em custos e valida melhorias de desempenho utilizando o portal Foundry.

Pré-requisitos

• Uma conta no Azure com uma subscrição ativa. Se não tiveres uma, cria uma conta Azure free, que inclui uma subscrição de teste gratuita.

• Um projeto da Foundry. Se não tiveres um, cria um projeto.

• As seguintes permissões:

  • Leia o acesso ao projeto e à subscrição para a qual pretende visualizar os dados.
  • Log Analytics Reader ou uma função superior no recurso Application Insights associado ao seu agente.
  • Função de Leitor de Gestão de Custos .

• Application Insights configurado para o seu projeto Foundry. Para mais informações, consulte Configurar monitorização.

• Pelo menos um agente implementado ou publicado com dados de custos. Para uma análise de tendências significativa, é necessário um mínimo de sete dias de dados de utilização.

• O agente Ask AI está ativado no seu projeto Foundry. Está disponível em pré-visualização na barra de ferramentas do portal Foundry. Se não a vires, verifica se o teu projeto está numa região suportada e que o teu administrador não desativou a funcionalidade.

• Um conjunto de dados de avaliação que representa a carga de trabalho típica do seu agente. Use este conjunto de dados para comparar o desempenho dos modelos após a mudança de modelo.

Detetar aumentos de custo

Começa por abrir o agente Ask AI a partir da barra de ferramentas. Ou, vai para Operação>Visão Geral para usar um dos prompts pré-definidos que são específicos para otimização e desempenho do agente.

Peça ao assistente que forneça um resumo das suas métricas e dados de custos a partir do painel do Foundry Control Plane. Pode selecionar um prompt pré-definido no painel de Visão Geral ou escrever a sua própria pergunta, tais como:

• "Resume a minha tendência recente de custos."

• "Que agentes contribuíram mais para o meu aumento de custos?"

O agente Ask AI gera um resumo que destaca os principais fatores de custo, como o elevado uso de tokens, maior duração de conclusão ou execuções frequentes de avaliação. O resumo inclui ligações anotadas para os gráficos do painel para uma inspeção mais aprofundada.

Investigue agentes de alto custo

Depois de rever o resumo, pode explorar informações detalhadas sobre agentes específicos, perguntando:

• "Mostre-me detalhes de custos e desempenho para [nome do agente]."

• Divida o custo por modelo ou implementação para este agente.

Também podes selecionar Assets no painel esquerdo. Depois, selecione Ver detalhes do agente para ver o painel de Ativos . Lá, pode comparar os seus agentes, considerando o custo e o uso de tokens, e ver qual é o que tem o maior custo.

Mudar para um modelo eficiente em termos de custos

Quando identificar um modelo como fator de custo, use o Ask AI para encontrar uma alternativa mais eficiente em termos de custo.

1. No Ask AI, introduza um pedido como "Recomende um modelo mais barato com desempenho semelhante" ou "Compare custo e qualidade para modelos semelhantes ao [modelo atual]."

2. Veja a resposta. A Ask AI recomenda modelos alternativos do catálogo de modelos com comparações de desempenho e custos. Revise as recomendações e selecione um modelo que satisfaça os seus requisitos.

3. Implementa o novo modelo. A Ask AI pode iniciar a implementação diretamente no chat ou fornecer um link para a página de implementação. Também podes implementar manualmente. Para passos detalhados de implementação, consulte Deploy Microsoft Foundry Models no portal Foundry ou Deploy models usando CLI do Azure e Bicep.

4. Após a conclusão da implementação, verifique se o novo modelo aparece na lista de implementação do seu agente com o estado Sucedido .

Avaliar as diferenças de custo e qualidade do modelo

Depois de mudares de modelo, compara os modelos antigos e novos fazendo uma avaliação.

1. No Ask AI, introduza um prompt como "Quero avaliar e comparar o modelo antigo e o novo."

2. Siga as orientações que a Ask AI fornece. Para criar execuções de avaliação, vá à secção de avaliação do seu projeto.

3. Crie duas execuções de avaliação: uma para o modelo original e outra para o novo modelo.

4. Aguarde que ambas as avaliações terminem. Vá a Resumo do Trabalho> ou ao histórico de avaliação do seu projeto para comparar resultados lado a lado.

5. Procure diferenças nas pontuações de qualidade, latência e custo por token. No histórico de avaliação, verifique se ambas as execuções mostram um estado concluído com pontuações para cada métrica.

   Métricas-chave para comparar:

   • Fundamentação — quão bem as respostas estão fundamentadas nos dados de origem
   • Relevância — quão relevantes são as respostas à consulta
   • Coerência — quão logicamente consistentes são as respostas
   • Latência — tempo de resposta para o modelo
   • Custo por token — a eficiência de custos do modelo

   Concentre-se em métricas que estejam alinhadas com os requisitos de qualidade do seu agente.

Atualize o modelo de implementação do seu agente

Quando confirmares que o novo modelo cumpre os teus requisitos de custo e desempenho, atualiza o agente para o usar.

1. No portal da Fundição, vai a Agentes de Construção>.

2. Selecione o agente que quer atualizar.

3. Mude o modelo para a nova implementação.

4. Teste o agente para verificar se responde corretamente com o novo modelo.

5. Na página de detalhes do agente, selecione Guardar para criar uma nova versão. Verifique se o número de versão foi incrementado e que o nome do modelo reflete a nova implementação.

Depois de verificar se o novo modelo funciona corretamente, considere eliminar a implementação do modelo antigo para evitar custos contínuos.

Acompanhar melhorias de custos e desempenho

Para verificar melhorias após a mudança de modelo, consulte os dados de custos mais recentes.

1. Abre o Ask AI a partir da barra de ferramentas.

2. Introduza um prompt como "Mostre-me o resumo dos dados mais recentes de custos."

3. Veja o resumo. A Ask AI destaca os dados de custos e desempenho disponíveis nas páginas de Visão Geral e Monitorização de Trabalho>, incluindo quaisquer métricas de avaliação contínua aí apresentadas. O resumo destaca as alterações das tendências de custos em comparação com o período anterior.

Use este fluxo de trabalho regularmente para monitorizar a eficiência e o retorno do investimento.

Resolver problemas comuns

Conteúdo relacionado

• Peça ajuda à IA (pré-visualização)
• Monitorize a saúde e o desempenho dos agentes em toda a sua frota
• Gerir agentes no Foundry Control Plane
• Impor limites de tokens nos modelos
• O que é o Plano de Controlo da Fundição?
• Executar avaliações a partir do SDK
• Explorar os Modelos do Microsoft Foundry