Ajuste de modelos con Microsoft Foundry (clásico)

Solo se aplica a:portal Foundry (clásico). Este artículo no está disponible para el nuevo portal de Foundry. Obtenga más información sobre el nuevo portal.

El ajuste personalizado personaliza un modelo de inteligencia artificial previamente entrenado con entrenamiento adicional en una tarea o conjunto de datos específico para mejorar el rendimiento, agregar nuevas aptitudes o mejorar la precisión. El resultado es un nuevo modelo genAI optimizado basado en los ejemplos proporcionados. Este artículo le guía por los conceptos clave y las decisiones que se deben tomar antes de ajustar, incluido el tipo de ajuste adecuado para su caso de uso y los criterios de selección de modelos en función de los casos de uso de técnicas de entrenamiento para ajustar y cómo le ayuda en el recorrido de GenAI.

Si acaba de comenzar con el ajuste fino, recomendamos GPT-4.1 para habilidades complejas, como la traducción de idiomas, la adaptación a dominios o la generación avanzada de código. Para tareas más centradas (como clasificación, análisis de sentimiento o moderación de contenido) o al destilar conocimientos de un modelo más sofisticado, comience con GPT-4.1-mini para una iteración más rápida y menores costos.

Casos de uso principales para el ajuste fino

El ajuste preciso se destaca en la personalización de modelos de lenguaje para aplicaciones y dominios específicos. Algunos casos de uso clave incluyen:

• Especialización de dominio: Adaptar un modelo de lenguaje para un campo especializado, como medicina, finanzas o derecho, donde es importante el conocimiento y la terminología específicos del dominio. Enseñe el modelo para comprender la jerga técnica y proporcionar respuestas más precisas.
• Rendimiento de la tarea: Optimice un modelo para una tarea específica, como análisis de sentimiento, generación de código, traducción o resumen. Puede mejorar significativamente el rendimiento de un modelo más pequeño en una aplicación específica, en comparación con un modelo de uso general.
• Estilo y tono: Enseñe el modelo para que coincida con su estilo de comunicación preferido; por ejemplo, adapte el modelo para la escritura empresarial formal, la voz específica de la marca o la escritura técnica.
• Instrucción siguiente: Mejore la capacidad del modelo de seguir requisitos de formato específicos, instrucciones de varios pasos o salidas estructuradas. En marcos de varios agentes, enseñe al modelo a llamar al agente adecuado para la tarea correcta.
• Cumplimiento y seguridad: Entrene un modelo ajustado para cumplir las directivas organizativas, los requisitos normativos u otras directrices únicas de la aplicación.
• Adaptación cultural o lingüística: Adapte un modelo de lenguaje para un contexto cultural, dialecto o idioma específico que no esté bien representado en los datos de entrenamiento. La optimización es especialmente valiosa cuando un modelo de uso general no cumple sus requisitos específicos, pero quiere evitar el costo y la complejidad del entrenamiento de un modelo desde cero.

¿Proceso sin servidor o administrado?

Antes de seleccionar un modelo, es importante seleccionar el producto de ajuste adecuado que se adapte a sus necesidades. Microsoft Foundry ofrece dos modalidades principales para el ajuste preciso: proceso sin servidor y administrado.

• Sin servidor le permite personalizar modelos usando nuestra capacidad, con un precio basado en el consumo a partir de 1,70 USD por millón de tokens de entrada. Optimizamos el entrenamiento para la velocidad y la escalabilidad, a la vez que manejamos toda la administración de la infraestructura. Este enfoque no requiere restricciones de GPU y proporciona acceso exclusivo a los modelos de OpenAI, aunque con menos opciones de hiperparámetros que la computación gestionada.
• Cómputo administrado ofrece una amplia gama de modelos y personalización avanzada a través de AzureML, pero requiere que disponga de sus propias VMs para entrenamiento y alojamiento. Aunque esto proporciona control total sobre los recursos, exige cuotas elevadas que muchos clientes no tienen, no incluye modelos de OpenAI y no puede usar nuestras optimizaciones de multiinquilinato.

Para la mayoría de los clientes, sin servidor proporciona el mejor equilibrio entre facilidad de uso, rentabilidad y acceso a modelos Premium. Este documento se centra en las opciones sin servidor.

Para consultar los pasos para ajustar un modelo en Foundry, consulte Ajustar modelos en Foundry o Ajustar modelos usando cómputo administrado. Para obtener instrucciones detalladas sobre el ajuste de la precisión de OpenAI, consulte Fine-tune Azure OpenAI Models.

Técnicas de entrenamiento

Una vez que identifique un caso de uso, debe seleccionar la técnica de entrenamiento adecuada, que guía el modelo que seleccione para el entrenamiento. Ofrecemos tres técnicas de entrenamiento para optimizar los modelos:

• Fine-Tuning supervisado (SFT): Técnica fundamental que entrena tu modelo en pares de entrada-salida, enseñándole a generar respuestas deseadas para entradas específicas.

  • Lo mejor para: La mayoría de los casos de uso, incluidos la especialización de dominio, el rendimiento de tareas, el estilo y el tono, seguir instrucciones y adaptar el idioma.
  • Cuándo usar: Comience aquí para la mayoría de los proyectos. SFT aborda el número más amplio de escenarios de ajuste preciso y proporciona resultados confiables con datos claros de entrenamiento de salida de entrada.
  • Modelos admitidos: GPT 4o, 4o-mini, 4.1, 4.1-mini, 4.1-nano; Llama 2 y Llama 3.1; Phi 4, Phi-4-mini-instruct; Mistral Nemo, Ministrol-3B, Mistral Large (2411); NTT Tsuzumi-7b

• Optimización de preferencias directas (DPO): Entrena modelos para preferir determinados tipos de respuestas sobre otros mediante el aprendizaje de comentarios comparativos, sin necesidad de un modelo de recompensa independiente.

  • Lo mejor para: Mejorar la calidad, la seguridad y la alineación de la respuesta con las preferencias humanas.
  • Cuándo usar: Cuando tenga ejemplos de salidas preferidas frente a no preferidas, o cuando necesite optimizar para cualidades subjetivas como la utilidad, la inofensión o el estilo. Los casos de uso incluyen la adaptación de modelos a un estilo y tono específicos, o la adaptación de un modelo a las preferencias culturales.
  • Modelos admitidos: GPT 4o, 4.1, 4.1-mini, 4.1-nano

• Ajuste fino por refuerzo (RFT): Utiliza el aprendizaje por refuerzo para optimizar modelos basados en señales de recompensa, permitiendo así objetivos de optimización más complejos.

  • Lo mejor para: Escenarios de optimización complejos en los que los pares simples de salida de entrada no son suficientes.
  • Cuándo usar: RFT es ideal para dominios objetivos como matemáticas, química y física, donde hay respuestas claras y incorrectas y el modelo ya muestra alguna competencia. Funciona mejor cuando la adivinación afortunada es difícil y los evaluadores expertos aceptarían de forma coherente una respuesta inequívoca y correcta. Requiere más experiencia en aprendizaje automático para implementar de forma eficaz.
  • Modelos admitidos: o4-mini

La mayoría de los clientes deben empezar con SFT, ya que aborda el número más amplio de casos de uso de ajuste fino.

Siga este vínculo para ver y descargar conjuntos de datos de ejemplo para probar el ajuste fino.

Modalidades de entrenamiento

• Texto a texto (todos los modelos): Todos nuestros modelos admiten el ajuste de texto a texto estándar para tareas basadas en lenguaje.
• Visión + texto (GPT 4o, 4.1): Algunos modelos admiten el ajuste de la visión, aceptando entradas de imagen y texto al generar salidas de texto. Entre los casos de uso para el ajuste de visión se incluyen la interpretación de gráficos, gráficos y datos visuales; moderación de contenido; evaluación de la calidad visual; procesamiento de documentos con texto mixto e imagen; y catalogación de productos de fotografías.

Tabla de comparación de modelos

En esta tabla se proporciona información general sobre los modelos disponibles.

Comienza con el ajuste fino

1. Defina el caso de uso: Identifique si necesita un modelo de uso general altamente capaz (por ejemplo, GPT 4.1), un modelo más pequeño rentable para una tarea específica (GPT 4.1-mini o nano) o un modelo de razonamiento complejo (o4-mini).
2. Prepare los datos: Comience con ejemplos de alta calidad de 50 a 100 para pruebas iniciales, escalado a más de 500 ejemplos para modelos de producción.
3. Elija la técnica: Comience con el Fine-Tuning supervisado (SFT), a menos que tenga requisitos específicos para los modelos de razonamiento o RFT.
4. Iteración y evaluación: El ajuste preciso es un proceso iterativo: comience con una línea de base, mida el rendimiento y afina el enfoque en función de los resultados.

Para encontrar pasos para ajustar un modelo en Foundry, consulte Fine-tune Models in Foundry, Fine-tune Azure OpenAI Models o Fine-tune models using managed compute.

Optimización de disponibilidad

Ahora que sabe cuándo usar el ajuste adecuado para su caso de uso, puede ir a Microsoft Foundry para encontrar modelos disponibles para ajustar.

Para ajustar un modelo Foundry mediante Serverless, debe tener un hub o proyecto en la región donde el modelo está disponible para ajuste. Consulte la Disponibilidad de modelos en la implementación de API sin servidor por región para obtener información detallada sobre la disponibilidad de modelos y regiones y Cómo crear un proyecto basado en Hub para crear su proyecto.

Para afinar un modelo de OpenAI puede utilizar un recurso de Azure OpenAI, un recurso de Foundry o un proyecto predeterminado, o un hub o proyecto. GPT 4.1, 4.1-mini, 4.1-nano y GPT 4o, 4omini están disponibles en todas las regiones con formación global. Para obtener disponibilidad regional, consulte Disponibilidad y límites regionales para el ajuste fino de Azure OpenAI. Consulte Creación de un proyecto para Foundry para obtener instrucciones sobre cómo crear un proyecto.

Para ajustar un modelo mediante Computación gestionada, debe tener un repositorio del centro/proyecto y una cuota de máquina virtual disponible para el entrenamiento y la inferencia. Consulte Afinación de modelos con computación administrada (versión preliminar) para obtener más información sobre cómo usar la afinación de computación administrada, y Cómo crear un proyecto basado en concentrador para crear tu proyecto.

Contenido relacionado

• Ajuste de modelos usando computación gestionada (vista previa)
• Ajustar un modelo OpenAI de Azure en el Portal de Foundry
• Ajuste de modelos mediante la implementación de API sin servidor