Ajuste fino de modelos com Microsoft Foundry (clássico)

Aplica-se apenas a:Portal Foundry (clássico). Este artigo não está disponível para o novo portal da Foundry. Saiba mais sobre o novo portal.

O ajuste fino personaliza um modelo de IA pré-treinado com treino adicional numa tarefa ou conjunto de dados específico para melhorar o desempenho, adicionar novas competências ou aumentar a precisão. O resultado é um novo modelo GenAI otimizado baseado nos exemplos fornecidos. Este artigo guia-o pelos conceitos-chave e decisões a tomar antes de afinar, incluindo o tipo de ajuste fino adequado ao seu caso de uso, e critérios de seleção de modelos baseados em técnicas de treino, casos de uso para afinamento e como isso o ajuda na sua jornada GenAI.

Se está a começar com afinação, recomendamos o GPT-4.1 para habilidades complexas, como tradução de línguas, adaptação de domínio ou geração avançada de código. Para tarefas mais focadas (como classificação, análise de sentimento ou moderação de conteúdo) ou ao destilar conhecimento de um modelo mais sofisticado, comece com o GPT-4.1-mini para iterações mais rápidas e custos mais baixos.

Principais casos de uso para afinação fina

O ajuste fino destaca-se na personalização de modelos de linguagem para aplicações e domínios específicos. Alguns casos de uso chave incluem:

• Especialização do Domínio: Adapte um modelo de linguagem para uma área especializada como medicina, finanças ou direito – onde o conhecimento e a terminologia específicos do domínio são importantes. Ensine o modelo a compreender o jargão técnico e a fornecer respostas mais precisas.
• Desempenho da Tarefa: Otimize um modelo para uma tarefa específica, como análise de sentimento, geração de código, tradução ou resumo. Pode melhorar significativamente o desempenho de um modelo mais pequeno numa aplicação específica, comparado com um modelo de uso geral.
• Estilo e Tom: Ensine o modelo a corresponder ao seu estilo de comunicação preferido – por exemplo, adapte o modelo para escrita formal de negócios, voz específica de marca ou escrita técnica.
• Instrução Seguinte: Melhorar a capacidade do modelo de seguir requisitos específicos de formatação, instruções em múltiplos passos ou saídas estruturadas. Em frameworks multi-agente, ensine o modelo a chamar o agente certo para a tarefa certa.
• Conformidade e Segurança: Treine um modelo afinado para cumprir as políticas organizacionais, requisitos regulamentares ou outras diretrizes únicas da sua candidatura.
• Adaptação Linguística ou Cultural: Adapte um modelo de linguagem para uma língua, dialeto ou contexto cultural específico que possa não estar bem representado nos dados de treino. O ajuste fino é especialmente valioso quando um modelo de uso geral não satisfaz os seus requisitos específicos – mas quer evitar o custo e a complexidade de treinar um modelo do zero.

Computação Sem Servidor ou Gerida?

Antes de escolher um modelo, é importante selecionar o produto de afinação que se adeque às suas necessidades. O Foundry da Microsoft oferece duas modalidades principais para afinações: computação serverless e computação gerida.

• Serverless permite a personalização de modelos usando a nossa infraestrutura, com preços baseados no consumo a partir de 1,70 dólares por milhão de tokens de entrada. Otimizamos a formação para velocidade e escalabilidade enquanto gerimos toda a infraestrutura. Esta abordagem não exige quotas de GPU e oferece acesso exclusivo a modelos OpenAI, embora com menos opções de hiperparâmetros do que a computação gerida.
• A computação gerida oferece uma gama mais ampla de modelos e personalização avançada através do AzureML, mas exige que forneça as suas próprias VMs para treino e alojamento. Embora isto dê controlo total sobre os recursos, exige quotas elevadas que muitos clientes não têm, não inclui modelos OpenAI e não pode utilizar as nossas otimizações de multi-inquilinos.

Para a maioria dos clientes, o serverless oferece o melhor equilíbrio entre facilidade de uso, eficiência de custos e acesso a modelos premium. Este documento foca-se nas opções serverless.

Para encontrar os passos para afinar um modelo no Foundry, veja Fine-tune Models in Foundry ou Fine-tune models using managed compute. Para orientações detalhadas sobre o ajuste fino do OpenAI, veja Fine-tune Azure OpenAI Models.

Técnicas de Treino

Depois de identificar um caso de uso, precisa de selecionar a técnica de treino adequada – que orienta o modelo que escolhe para o treino. Oferecemos três técnicas de treino para otimizar os seus modelos:

• Fine-Tuning supervisionada (SFT): Técnica fundamental que treina o seu modelo em pares entrada-saída, ensinando-o a produzir respostas desejadas para entradas específicas.

  • Melhor para: A maioria dos casos de uso inclui especialização de domínio, desempenho de tarefas, estilo e tom, seguir instruções e adaptação da linguagem.
  • Quando usar: Começa aqui para a maioria dos projetos. A SFT aborda o maior número de cenários de ajuste fino e fornece resultados fiáveis com dados claros de treino de entrada-saída.
  • Modelos Suportados: GPT 4o, 4o-mini, 4.1, 4.1-mini, 4.1-nano; Llama 2 e Llama 3.1; Phi 4, Phi-4-mini-instruct; Mistral Nemo, Ministral-3B, Mistral Large (2411); NTT Tsuzumi-7b

• Otimização por Preferência Direta (DPO): Treina os modelos para preferirem certos tipos de respostas em detrimento de outros, aprendendo a partir do feedback comparativo, sem exigir um modelo de recompensa separado.

  • Melhor para: Melhorar a qualidade da resposta, segurança e alinhamento com as preferências humanas.
  • Quando usar: Quando tem exemplos de resultados preferidos vs. não preferidos, ou quando precisa de otimizar em função de qualidades subjetivas como utilidade, inofensividade ou estilo. Os casos de uso incluem adaptar modelos a um estilo e tom específicos, ou adaptar um modelo a preferências culturais.
  • Modelos Suportados: GPT 4o, 4.1, 4.1-mini, 4.1-nano

• Ajuste Fino por Reforço (RFT): Utiliza aprendizagem por reforço para otimizar modelos com base em sinais de recompensa, permitindo objetivos de otimização mais complexos.

  • Melhor para: Cenários complexos de otimização onde pares simples de entrada/saída não são suficientes.
  • Quando usar: A RFT é ideal para domínios objetivos como matemática, química e física, onde existem respostas certas e erradas e o modelo já demonstra alguma competência. Funciona melhor quando adivinhar com sorte é difícil e avaliadores especialistas concordam consistentemente numa resposta inequívoca e correta. Requer mais conhecimentos em ML para ser implementado eficazmente.
  • Modelos suportados: o4-mini

A maioria dos clientes deve começar com o SFT, pois aborda o maior número de casos de uso para ajuste fino.

Siga este link para ver e descarregar conjuntos de dados de exemplo para experimentar o ajuste fino.

Modalidades de Treino

• Texto para Texto (Todos os Modelos): Todos os nossos modelos suportam o ajuste fino padrão de texto para tarefas baseadas na linguagem.
• Visão + Texto (GPT 4o, 4.1): Alguns modelos suportam ajuste fino de visão, aceitando tanto entradas de imagem como de texto enquanto produzem saídas de texto. Os casos de uso para o ajuste fino da visão incluem a interpretação de gráficos, gráficos e dados visuais; moderação de conteúdos; avaliação da qualidade visual; processamento de documentos com texto e imagem mistos; e catalogação de produtos a partir de fotografias.

Tabela de Comparação de Modelos

Esta tabela fornece uma visão geral dos modelos disponíveis

Comece com a Otimização

1. Defina o seu caso de uso: Identifique se precisa de um modelo de uso geral altamente capaz (por exemplo, GPT 4.1), um modelo menor e rentável para uma tarefa específica (GPT 4.1-mini ou nano), ou um modelo de raciocínio complexo (o4-mini).
2. Prepare os seus dados: Comece com 50-100 exemplares de alta qualidade para testes iniciais, escalando para 500+ exemplares para modelos de produção.
3. Escolha a sua técnica: Comece com Supervised Fine-Tuning (SFT), a menos que tenha requisitos específicos para modelos de raciocínio / RFT.
4. Iterar e avaliar: O ajuste fino é um processo iterativo — comece com uma linha de base, meça o desempenho e aperfeiçoe a sua abordagem com base nos resultados.

Para encontrar passos para afinar finamente um modelo no Foundry, veja Fine-tune Models in Foundry, Fine-tune Azure OpenAI Models, ou Fine-tune models using managed compute.

Ajuste Fino na Disponibilidade

Agora que sabe quando usar o ajuste fino para o seu caso de uso, pode ir ao Microsoft Foundry para encontrar modelos disponíveis para afinamento.

Para afinar um modelo Foundry usando Serverless , é necessário ter um hub/projeto na região onde o modelo está disponível para afinação. Consulte Disponibilidade de Regiões para modelos na implementação de APIs serverless para informações detalhadas sobre a disponibilidade de modelos e regiões, e Como Criar um projeto baseado em Hub para criar o seu projeto.

Para afinar um modelo OpenAI pode usar um recurso Azure OpenAI, um recurso Foundry ou projeto padrão, ou um hub/projeto. O GPT 4.1, 4.1-mini, 4.1-nano e o GPT 4o, 4omini estão disponíveis em todas as regiões com Formação Global. Para a disponibilidade regional, consulte Disponibilidade Regional e Limites para a afinação do Azure OpenAI. Consulte Criar um projeto para a Foundry para instruções sobre como criar um novo projeto.

Para afinar um modelo usando Computação Gerida , deve ter um hub/projeto e uma quota de VM disponível para treino e inferência. Consulte Ajuste fino de modelos usando computação gerida (pré-visualização) para mais detalhes sobre como usar ajuste fino de computação gerida e Como Criar um projeto baseado em Hub para criar o seu projeto.

Conteúdo relacionado

• Ajuste fino de modelos usando computação gerida (pré-visualização)
• Ajuste fino de um modelo do Azure OpenAI no portal Foundry
• Ajuste fino de modelos usando implementação de APIs serverless