Classificações de modelo no portal Microsoft Foundry (prévia)

Os rankings de modelos (versão preliminar) no portal do Foundry ajudam você a comparar modelos no catálogo de modelos do Foundry usando benchmarks de modelos padrão do setor.

Para começar, compare e selecione modelos usando o ranking de modelos no portal Foundry.

Você pode revisar a metodologia detalhada de benchmarking para cada categoria de ranking.

• Benchmark de qualidade de modelos de linguagem para entender o desempenho dos modelos em tarefas essenciais, incluindo raciocínio, conhecimento, resposta a perguntas, matemática e codificação.
• Parâmetro de Comparação de Segurança de modelos de linguagem para entender o quão seguros eles são contra a geração de comportamentos prejudiciais.
• Benchmarking de desempenho de modelos de linguagem para entender como os modelos são executados em termos de latência e taxa de transferência.
• Parâmetro de comparação de custos de modelos de linguagem para entender o custo estimado do uso de modelos.
• Benchmarking do placar de líderes de cenários de modelos de linguagem para ajudá-lo a encontrar o melhor modelo para seu caso de uso específico ou cenário.
• Benchmarking de qualidade de modelos de inserção para entender o desempenho dos modelos em tarefas baseadas em inserção, incluindo pesquisa e recuperação.

Ao encontrar um modelo adequado, você pode abrir seus resultados detalhados de benchmarking no catálogo de modelos. A partir daí, você pode implantar o modelo, experimentá-lo no playground ou avaliá-lo em seus próprios dados. As classificações dão suporte a parâmetros de comparação para modelos de linguagem de texto, incluindo modelos de linguagem grandes (LLMs) e pequenos modelos de linguagem (SLMs), e modelos de inserção.

Os benchmarks de modelos avaliam LLMs e SLMs em termos de qualidade, segurança, custo e taxa de transferência. Os modelos de inserção são avaliados usando parâmetros de comparação de qualidade padrão. Os placares de líderes são atualizados à medida que novos modelos e conjuntos de dados de parâmetro de comparação ficam disponíveis.

Escopo de benchmarking de modelo

As classificações de modelos apresentam uma seleção curada de modelos de linguagem baseados em texto do catálogo de modelos do Foundry. Os modelos são incluídos com base nos seguintes critérios:

• Azure Modelos Diretos priorizados: Azure Modelos Diretos são selecionados para relevância para cenários comuns de IA generativa.
• Aplicabilidade de parâmetro de comparação principal: os modelos devem dar suporte a tarefas de linguagem de uso geral, como raciocínio, conhecimento, resposta a perguntas, raciocínio matemático e codificação. Não há suporte para modelos especializados (por exemplo, enovelamento de proteínas ou QA específico do domínio) e outras modalidades.

Esse escopo garante que os rankings reflitam modelos atuais e de alta qualidade relevantes para cenários principais de IA.

Interpretar os resultados da tabela de classificação

As tabelas de classificação ajudam você a comparar modelos em várias dimensões para que possa escolher o modelo certo para sua aplicação. Aqui estão algumas diretrizes para interpretar os resultados:

• Índice de qualidade: um índice de qualidade mais alto indica um desempenho geral mais forte nas tarefas de raciocínio, codificação, matemática e conhecimento. Compare o índice de qualidade entre modelos para identificar os principais desempenhos para tarefas de linguagem de uso geral.
• Pontuações de segurança: taxas de sucesso de ataque mais baixas indicam modelos mais robustos. Considere as pontuações de segurança juntamente com as pontuações de qualidade, especialmente para aplicativos voltados para o cliente, em que a saída prejudicial é uma preocupação significativa.
• Compensações de desempenho: use as métricas de latência e taxa de transferência para entender a capacidade de resposta real de um modelo. Um modelo com alta qualidade, mas alta latência, pode não atender a aplicativos em tempo real.
• Considerações de custo: a métrica de custo estimada usa uma taxa de token de entrada para saída de três para um. Ajuste suas expectativas com base na taxa de entrada e saída da carga de trabalho real.
• Classificação de Cenário: se o seu caso de uso estiver associado a um cenário específico (por exemplo, codificação ou matemática), comece com a classificação de cenário para identificar modelos otimizados para essa tarefa ao invés de se basear apenas no índice de qualidade geral.

Parâmetros de comparação de qualidade de modelos de linguagem

A Foundry avalia a qualidade de LLMs e SLMs usando pontuações de precisão de conjuntos de dados de benchmark padrão que medem recursos de raciocínio, conhecimento, resposta a perguntas, matemática e codificação.

Os valores de índice de qualidade variam de zero a um, em que valores mais altos indicam melhor desempenho. Os conjuntos de dados incluídos no índice de qualidade são:

Veja mais detalhes em pontuações de precisão:

As pontuações de precisão variam de zero a um, em que valores mais altos são melhores.

Parâmetros de comparação de segurança de modelos de linguagem

Os parâmetros de comparação de segurança são selecionados por meio de um processo estruturado de filtragem e validação projetado para garantir relevância e rigor. Um parâmetro de comparação se qualifica para integração se ele resolver riscos de alta prioridade. As classificações de segurança incluem parâmetros de referência confiáveis o suficiente para fornecer sinais significativos sobre tópicos de interesse em relação à segurança. Os placares de líderes utilizam HarmBench para avaliar a segurança do modelo, e organizam os placares de líderes de cenário da seguinte maneira:

Detecção de comportamento prejudicial

O parâmetro de comparação HarmBench mede comportamentos prejudiciais usando prompts projetados para provocar respostas não seguras. Ele abrange sete categorias semânticas:

• Crimes cibernéticos e intrusão não autorizada
• Armas químicas e biológicas ou drogas
• Violações de direitos autorais
• Informação incorreta e desinformação
• Assédio e intimidação
• Atividades ilegais
• Dano geral

Essas categorias são agrupadas em três áreas funcionais:

• Comportamentos nocivos padrão
• Comportamentos contextualmente prejudiciais
• Violações de direitos autorais

Cada categoria funcional é destacada em um ranking de cenário distinto. A avaliação utiliza solicitações diretas do HarmBench (sem ataques) e avaliadores do HarmBench para calcular a Taxa de Sucesso de Ataque (ASR). Valores asr mais baixos significam modelos mais seguros. Nenhuma estratégia de ataque é usada para avaliação, e a comparação de modelos é realizada com os Guardrails do Foundry (anteriormente filtros de conteúdo) desativados.

Detecção de conteúdo tóxico

Toxigen é um conjunto de dados em grande escala para detectar discursos de ódio implícitos e adversários. Inclui sentenças implicitamente tóxicas e benignas que fazem referência a 13 grupos minoritários. O Foundry usa exemplos anotados do Toxigen e calcula medidas f para avaliar o desempenho da classificação. Pontuações mais altas indicam melhor detecção de conteúdo tóxico. O benchmark é realizado com os Guardrails do Foundry (anteriormente filtros de conteúdo) desativados.

Conhecimento de domínio confidencial

O modelo de referência de WMDP (Armas de Destruição em Massa por Procuração) mede o conhecimento em domínios sensíveis, incluindo biossegurança, cibersegurança e segurança química. A classificação usa as médias das pontuações de precisão em segurança cibernética, biossegurança e segurança química. Uma pontuação de precisão de WMDP mais alta indica mais conhecimento de funcionalidades perigosas (pior comportamento do ponto de vista de segurança). O benchmarking de modelo é executado com os Foundry Guardrails padrão (anteriormente filtros de conteúdo) ativados. Esses guardrails detectam e bloqueiam danos de conteúdo em violência, automutilação, sexual, ódio e injustiça, mas não visam categorias em segurança cibernética, biossegurança e segurança química.

Limitações dos parâmetros de comparação de segurança

Segurança é um tópico complexo com várias dimensões. Nenhum parâmetro de comparação de software livre pode testar ou representar a segurança total de um sistema em todos os cenários. Além disso, muitos parâmetros de comparação sofrem de saturação ou desalinhamento entre design de parâmetro de comparação e definição de risco. Alguns parâmetros de comparação também não têm documentação clara sobre como os riscos de destino são conceituados e operacionalizados, dificultando a avaliação de se os resultados capturam com precisão as nuances dos riscos do mundo real. Essas limitações podem levar à superestimação ou à subestimação do desempenho do modelo em cenários de segurança do mundo real.

Parâmetros de comparação de desempenho de modelos de linguagem

As métricas de desempenho são agregadas ao longo de 14 dias usando 24 avaliações por dia, com duas solicitações por avaliação enviadas em intervalos de uma hora. A menos que observado de outra forma, os seguintes parâmetros padrão se aplicam a implantações de API sem servidor e Azure OpenAI:

O desempenho de LLMs e SLMs é avaliado nas seguintes métricas:

O Foundry resume o desempenho usando:

Para métricas de desempenho, como latência ou taxa de transferência, o tempo para o primeiro token e os tokens gerados por segundo dão uma melhor noção geral do desempenho e comportamento típicos do modelo. Os números de desempenho são atualizados periodicamente para refletir as configurações de implantação mais recentes.

Parâmetros de comparação de custo de modelos de linguagem

Os parâmetros de comparação de custo medem o custo real para executar cada modelo nos conjuntos de dados de parâmetro de comparação de qualidade, em vez de um custo estimado com base no preço do token.

O custo de parâmetro de comparação é calculado usando:

• Número real de tokens de entrada, raciocínio e saída consumidos durante a execução do benchmark.
• Configuração de esforço de raciocínio específica do modelo usada para avaliação (normalmente high ou xhigh).
• Características e complexidade do conjunto de dados, que afetam o uso e o runtime do token.

Ao contrário das estimativas baseadas em uma relação fixa de tokens, essa abordagem reflete o verdadeiro custo total da execução dos benchmarks de cargas de trabalho.

Como interpretar os resultados de custo

• O custo é relatado em USD por execução de benchmark nos conjuntos de dados de qualidade padrão.
• Os valores representam o custo real de execução e permitem a comparação direta entre modelos.
• Valores mais baixos indicam um desempenho mais econômico no pacote de parâmetros de comparação.

Benchmarking do placar de líderes do cenário

Classificações de cenários agrupam conjuntos de dados de benchmark por objetivos comuns de avaliação do mundo real. Você pode identificar rapidamente os pontos fortes e fracos de um modelo por caso de uso. Cada cenário agrega um ou mais conjuntos de dados de benchmark públicos.

Use a tabela a seguir para encontrar seu caso de uso na coluna Cenário e, em seguida, examine os conjuntos de dados de parâmetro de comparação associados e o que os resultados indicam. A tabela a seguir resume os rankings de cenário disponíveis e seus conjuntos de dados associados e descrições:

Parâmetros de comparação de qualidade de modelos de inserção

O índice de qualidade dos modelos de incorporação é definido como as pontuações médias de precisão de um conjunto abrangente de conjuntos de dados de benchmark de API sem servidor direcionados a tarefas de Recuperação de Informações, Clustering de Documentos e Sumarização.

Cálculo de pontuações

Pontuações individuais

Os resultados de parâmetro de comparação são provenientes de conjuntos de dados públicos que geralmente são usados para avaliação do modelo de linguagem. Na maioria dos casos, os dados são hospedados em GitHub repositórios mantidos pelos criadores ou curadores dos dados. Os pipelines de avaliação do Foundry baixam dados das respectivas fontes originais, extraem prompts de cada linha de exemplo, geram respostas de modelo e computam métricas de precisão relevantes.

A construção do prompt segue as melhores práticas para cada conjunto de dados, conforme especificado no artigo que apresenta o conjunto de dados e nos padrões da indústria. Na maioria dos casos, cada prompt contém vários shots, ou seja, vários exemplos de perguntas e respostas completas para aprimorar o modelo para a tarefa. O número de capturas varia de acordo com o conjunto de dados e segue a metodologia especificada na publicação original de cada conjunto de dados. Os pipelines de avaliação criam amostras ao selecionar perguntas e respostas de uma parte dos dados reservada para a avaliação.

Limitações de parâmetro de comparação

Todos os parâmetros de comparação têm limitações inerentes que você deve considerar ao interpretar os resultados:

• Parâmetros de comparação de qualidade: os conjuntos de dados de benchmark podem ficar saturados ao longo do tempo à medida que os modelos são treinados ou ajustados em dados semelhantes. Os resultados da avaliação também podem variar dependendo da construção do prompt e do número de exemplos com poucos exemplos utilizados.
• Parâmetros de comparação de desempenho: as métricas são coletadas usando cargas de trabalho sintéticas com uma taxa de token de entrada para saída fixa e implantações de região única. O desempenho do mundo real pode ser diferente com base em padrões de carga de trabalho, simultaneidade, região e configuração de implantação.
• Parâmetros de comparação de custo: as estimativas de custo são baseadas em uma taxa de token de entrada para saída de três para um e preços atuais no momento da medição. Os custos reais dependem da carga de trabalho e estão sujeitos a alterações de preços.

Conteúdo relacionado

• Comparar e selecionar modelos usando o quadro de classificação de modelos no portal do Foundry
• Avaliar seus aplicativos de IA generativos