Registre o uso de tokens, prompts e conclusões para APIs de modelo de linguagem.

Neste artigo, você aprenderá a configurar o log de monitoramento do Azure para solicitações e respostas de API de modelos de linguagem no Gerenciamento de API do Azure.

O administrador do API Management pode usar os logs de solicitação e resposta da API de modelo de linguagem, juntamente com os logs do gateway do API Management, para cenários como:

• Calcular uso para faturamento. Calcule as métricas de uso para cobrança com base no número de tokens consumidos por cada aplicativo ou consumidor de API (por exemplo, segmentado por ID de assinatura ou endereço IP).

• Inspecione as mensagens. Inspecionar e analisar prompts e conclusões para auxiliar na depuração, auditoria e avaliação do modelo.

Saiba mais sobre:

• Funcionalidades da porta de entrada de IA no Gerenciamento de API
• Monitoramento do Gerenciamento de API

Pré-requisitos

• Uma instância de Gerenciamento de API do Azure.
• Uma API de conclusões de chat de modelo de linguagem gerenciada integrada ao API Management do Azure. Por exemplo, importe uma API do Microsoft Foundry.
• Acesso a um espaço de trabalho do Azure Log Analytics.
• Permissões apropriadas para definir configurações de diagnóstico e logs de acesso no Gerenciamento de API.

Habilitar a configuração de diagnóstico para logs da API do modelo de linguagem

Habilite uma configuração de diagnóstico para registrar as solicitações que o gateway processa para APIs REST de modelo de linguagem de grande porte. Para cada solicitação, Azure Monitor recebe:

• Dados sobre o uso de tokens, como tokens de prompt, tokens de conclusão e tokens totais.

• Nome do modelo usado

• Opcionalmente, as mensagens de solicitação e resposta: prompt e conclusão

  Azure Monitor divide solicitações e respostas grandes em várias entradas de log com números de sequência para reconstrução posterior, se necessário.

Siga estas etapas para habilitar uma configuração de diagnóstico que direciona os logs da API de modelo de linguagem para um espaço de trabalho do Log Analytics. Para obter mais informações, consulte Habilitar a configuração de diagnóstico para logs do Azure Monitor.

1. No portal do Azure, navegue até a instância de Gerenciamento de API do Azure.

2. No menu à esquerda, em Monitoramento, selecione Configurações> de diagnóstico+ Adicionar configuração de diagnóstico.

3. Configure as definições para enviar os registos do gateway de IA para um espaço de trabalho do Log Analytics:

   • Em Logs, selecione Logs relacionados ao gateway de IA generativa.
   • Em detalhes de destino, selecione Enviar para o workspace do Log Analytics.

4. Examine ou defina outras configurações e faça alterações, se necessário.

5. Clique em Salvar.

Habilitar o registro em log de solicitações ou respostas para a API do modelo de idioma

Você pode habilitar as configurações de diagnóstico para todas as APIs ou personalizar o registro em log para APIs específicas. Siga estas etapas para registrar em log solicitações de modelo de idioma e mensagens de resposta para uma API. Para obter mais informações, consulte Modificar configurações de log de API.

1. No menu à esquerda da instância de Gerenciamento de API, selecione APIs>e selecione o nome da API.
2. Selecione Configurações na barra superior.
3. Role para baixo até a seção de Logs de Diagnóstico e selecione Azure Monitor.
4. Em mensagens de log LLM, selecione Habilitado.
5. Selecione Solicitações de registro e introduza um tamanho em bytes, como 32768.
6. Selecione Concluir registros e insira o tamanho em bytes, como 32768.
7. Examine outras configurações e faça alterações, se necessário. Clique em Salvar.

Examinar o caderno de análise para APIs de modelos de linguagem

O painel deAnálises baseado no Azure Monitor fornece informações sobre a utilização da API do modelo de linguagem e o consumo de tokens, utilizando dados agregados num espaço de trabalho do Log Analytics. Para obter mais informações, consulte Get API analytics in Gerenciamento de API do Azure.

1. No menu à esquerda da sua instância de Gerenciamento de API, selecione Monitoramento> e Análise.
2. Selecione a guia Modelos de idioma .
3. Reveja as métricas e visualizações para o consumo de tokens e pedidos da API do modelo de linguagem em um Intervalo de tempo selecionado.

Examinar os logs do Azure Monitor em busca de solicitações e respostas

Examine o log ApiManagementGatewayLlmLog para obter detalhes sobre solicitações e respostas do modelo de linguagem, incluindo consumo de token, implantação de modelo usado e outros detalhes sobre intervalos de tempo específicos.

Solicitações e respostas, incluindo mensagens em partes para solicitações e respostas grandes, aparecem em entradas de log separadas que você pode correlacionar usando o CorrelationId campo.

Para fins de auditoria, use uma consulta Kusto semelhante à consulta a seguir para unir cada solicitação e resposta em um único registro. Ajuste a consulta para incluir os campos que você deseja rastrear.

ApiManagementGatewayLlmLog
| extend RequestArray = parse_json(RequestMessages)
| extend ResponseArray = parse_json(ResponseMessages)
| mv-expand RequestArray
| mv-expand ResponseArray
| project
    CorrelationId,
    RequestContent = tostring(RequestArray.content),
    ResponseContent = tostring(ResponseArray.content)
| summarize
    Input = strcat_array(make_list(RequestContent), " . "),
    Output = strcat_array(make_list(ResponseContent), " . ")
    by CorrelationId
| where isnotempty(Input) and isnotempty(Output)

Carregar dados no Microsoft Foundry para avaliação de modelo

Você pode exportar dados de log do modelo de idioma como um conjunto de dados para model evaluation no Microsoft Foundry. Com a avaliação do modelo, você pode avaliar o desempenho de seus modelos e aplicativos de IA generativos em relação a um modelo de teste ou conjunto de dados usando métricas de avaliação internas ou personalizadas.

Para utilizar os registos do modelo de linguagem como um conjunto de dados para avaliação do modelo:

1. Ingresse mensagens de solicitação e resposta do modelo de idioma em um único registro para cada interação, conforme mostrado na seção anterior. Inclua os campos que você deseja usar para avaliação de modelo.
2. Exporte o conjunto de dados para o formato CSV, que é compatível com o Microsoft Foundry.
3. No portal do Microsoft Foundry, crie uma nova avaliação para carregar e avaliar o conjunto de dados.

Para obter detalhes sobre como criar e executar uma avaliação de modelo no Microsoft Foundry, consulte Executar avaliações no portal Microsoft Foundry.

Conteúdo relacionado

• Monitorar o Gerenciamento de API
• Referência de dados de monitoramento do Gerenciamento de API
• Tutorial: Monitorar APIs publicadas