Comparar modelos usando o quadro de classificação de modelos (pré-visualização)

Importante

Itens marcados (versão prévia) neste artigo estão atualmente em versão prévia pública. Essa versão prévia é fornecida sem um contrato de nível de serviço e não recomendamos isso para cargas de trabalho de produção. Alguns recursos podem não ter suporte ou ter recursos restritos. Para obter mais informações, consulte Supplemental Terms of Use for Microsoft Azure Previews.

Este artigo mostra como simplificar a seleção de modelos no catálogo de modelos do Foundry usando os placares de modelos (versão prévia) e a função de comparação lado a lado no portal do Foundry. Avalie as pontuações de parâmetro de comparação do modelo entre qualidade, segurança, custo e taxa de transferência para escolher o melhor modelo para seu cenário.

Depois de ler este artigo, você pode identificar o melhor modelo para seu cenário comparando pontuações de parâmetro de comparação, exibindo gráficos de compensação e avaliando modelos lado a lado.

Analisar e comparar modelos usando:

  • tabela de classificação do modelo para identificar rapidamente modelos de alta performance em classificações de qualidade, segurança, custo estimado e taxa de transferência

  • Gráficos de compensação para comparar visualmente o desempenho do modelo entre duas métricas, como qualidade versus custo

  • Rankings por cenário para encontrar o ranking de benchmarks mais relevante para o seu cenário específico.

  • Comparar modelos para avaliar recursos, desempenho e custo estimado em uma exibição lado a lado

Pré-requisitos

Tabelas de líderes do modelo de acesso

Use o catálogo de modelos para acessar o placar de líderes e identificar modelos de alto desempenho.

  1. Se você ainda não estiver em seu projeto, selecione-o.

  2. Selecione Descobrir na barra de navegação superior para procurar o catálogo de modelos. A página de visão geral exibe um instantâneo da tabela de classificação do modelo na parte superior.

  3. Classifique as diferentes métricas – qualidade, segurança, custo estimado e taxa de transferência – para exibir os principais modelos para cada critério. Selecione qualquer modelo para acessar sua página de detalhes ou selecione Ir para o placar de líderes para exibir a lista completa. A página de detalhes do modelo mostra a visão geral, os parâmetros de comparação e as opções de implantação do modelo.

  4. Na página de classificação do Modelo, veja os principais líderes em qualidade, segurança, desempenho e custo estimado. Expanda esses gráficos para exibir visualmente os 10 primeiros. Cada gráfico expandido mostra um grafo de barras dos 10 principais modelos para essa métrica.

  5. Role para baixo dos gráficos para encontrar o ranking completo dos modelos. Classifique as métricas mais importantes e selecione um nome de modelo para acessar sua página de detalhes.

    A tabela de classificação aparece com colunas classificáveis para qualidade, segurança, rendimento e custo estimado.

  6. Selecione dois ou três modelos para comparação detalhada de recursos em uma exibição lado a lado.

    A exibição de comparação é exibida, mostrando recursos, desempenho e custo estimado para seus modelos selecionados.

Gráficos de compensação

O gráfico de compensação permite comparar as compensações visualmente com base nos critérios mais importantes para você.

Por exemplo, suponha que o modelo de maior qualidade não seja o mais barato. Talvez seja necessário fazer compensações entre critérios de qualidade, segurança, custo e taxa de transferência. No gráfico de compensação, você pode comparar a performance dos modelos em relação a duas métricas de forma rápida e prática.

Use o gráfico de trade-off na página de classificação dos modelos para visualizar como os modelos equilibram os critérios concorrentes.

  1. Use o menu suspenso Comparar qualidade com para alternar entre comparações de custo estimado, produtividade ou segurança.

  2. Adicione ou remova modelos do gráfico de compensação usando o seletor de modelo no lado direito do gráfico.

  3. Passe o mouse sobre um ponto de dados para exibir as pontuações exatas do modelo selecionado. Os modelos mais próximos do canto superior direito do gráfico têm um bom desempenho em ambos os eixos.

Exibir placares de líderes por cenário

Suponha que você tenha um cenário que exija determinadas funcionalidades de modelo. Por exemplo, se você estiver criando um chatbot de resposta a perguntas que precise de fortes capacidades de raciocínio e resistência a conteúdo prejudicial, compare modelos em tabelas de classificação específicas de capacidades.

  1. Na página da tabela de líderes do modelo, role até a seção Tabelas de Líderes por cenário.

  2. Selecione uma categoria de cenário, como Raciocínio, Codificação ou Resposta a Perguntas.

  3. Revise a ordem de modelos para o cenário selecionado. O ranking mostra o desempenho dos modelos em benchmarks específicos para essa capacidade.

Depois de explorar os placares de líderes, decida sobre um modelo a ser usado.

Comparar modelos

A exibição de comparação lado a lado permite que você avalie até três modelos simultaneamente em várias dimensões.

  1. No placar de modelos, selecione dois ou três modelos marcando as caixas ao lado dos seus nomes.

  2. Selecione Comparar para abrir o modo de exibição de comparação lado a lado.

  3. Examine a comparação entre as seguintes abas:

    • Parâmetros de comparação de desempenho: pontuações de qualidade, segurança e taxa de transferência de conjuntos de dados públicos
    • Detalhes do modelo: janela de contexto, dados de treinamento e idiomas compatíveis
    • Pontos de extremidade com suporte: Opções de implantação, como API sem servidor e computação gerenciada.
    • Suporte a recursos: recursos como chamada de função, saída estruturada e visão

  4. Para saber mais sobre um modelo específico, selecione Exibir detalhes. Se você estiver pronto para começar a usar um modelo, selecione Implantar.

Screenshot mostrando a experiência do modelo de comparação em Microsoft Foundry.

Exibir parâmetros de comparação de modelo

Para exibir parâmetros de comparação para um modelo específico, selecione o nome do modelo no placar de líderes ou pesquise-o no catálogo de modelos. Na página de detalhes do modelo, selecione a guia Parâmetros de Comparação .

Nota

Os dados de parâmetro de comparação não estão disponíveis para todos os modelos no catálogo. Se um modelo não tiver uma guia Benchmarks , os resultados do benchmark ainda não foram publicados para esse modelo. Os resultados do benchmarking realizados por Microsoft estão disponíveis para modelos selecionados. As informações de benchmarking relatadas pelos provedores são incluídas quando disponíveis.

Quando estiver na guia Parâmetros de Comparação para um modelo específico, você poderá coletar informações abrangentes para entender melhor e interpretar os resultados do parâmetro de comparação:

  • Resultados de parâmetro de comparação de dados públicos: pontuações agregadas de alto nível para qualidade de IA, segurança, custo estimado, latência e taxa de transferência que fornecem uma visão geral rápida do desempenho do modelo.

  • Gráficos comparativos: esses gráficos exibem a posição relativa do modelo em comparação com os modelos relacionados.

  • Tabela de comparação de métricas: esta tabela apresenta resultados detalhados para cada métrica.

    Captura de tela mostrando a tabela de comparação de métricas na guia parâmetros de comparação.

Por padrão, o Foundry exibe um índice médio entre várias métricas e conjuntos de dados para fornecer uma visão geral de alto nível do desempenho do modelo.

Dica

As pontuações de parâmetro de comparação são índices normalizados. Uma pontuação mais alta indica melhor desempenho para métricas de qualidade e segurança. Para custo e taxa de transferência, o custo estimado mais baixo e a taxa de transferência mais alta geralmente são preferenciais. Use os gráficos de compensação para equilibrar esses critérios concorrentes para seu cenário.

Para acessar os resultados de parâmetro de comparação para uma métrica e um conjunto de dados específicos:

  1. Selecione o botão expandir no gráfico. O gráfico de comparação pop-up revela informações detalhadas e oferece maior flexibilidade para comparação.

  2. Selecione a métrica de interesse e escolha conjuntos de dados diferentes, com base em seu cenário específico. Para obter definições mais detalhadas das métricas e descrições dos conjuntos de dados públicos usados para calcular os resultados, selecione Ler mais.

Para comparações de modelo lado a lado, compare modelos para avaliar recursos, métricas de desempenho e custos estimados em vários modelos.

Nota

A opção Experimentar com seus próprios dados na guia parâmetros de comparação está disponível apenas na Foundry (clássica). Para avaliar um modelo com seus próprios dados no novo portal, consulte Avaliar aplicativos de IA generativos.

Solucionando problemas

Questão Resolução
O modelo não aparece no placar classificatório Nem todos os modelos são avaliados. Verifique se há disponibilidade no catálogo de modelos.
Sem a guia de Parâmetros de comparação no cartão de modelo Os resultados do benchmark ainda não foram publicados para este modelo.
As pontuações de parâmetro de comparação diferem dos meus resultados Os parâmetros de comparação públicos usam conjuntos de dados padronizados e podem não refletir o desempenho em seus dados específicos. Para avaliar um modelo com seus próprios dados, consulte Avaliar aplicativos de IA generativos.
Gráfico de trade-off não mostra pontos de dados Verifique se você tem modelos selecionados no seletor de modelo. Pelo menos dois modelos são necessários para comparações de compensação.
Não é possível comparar mais de três modelos A exibição de comparação lado a lado dá suporte a no máximo três modelos. Desmarque um modelo antes de adicionar outro.
As pontuações de parâmetro de comparação parecem desatualizadas Microsoft atualiza pontuações de parâmetro de comparação periodicamente. Verifique a página de detalhes do modelo para a data de avaliação do parâmetro de comparação.

Conteúdo relacionado

  • Last updated on