Optimización del costo y el rendimiento del modelo

Cuando el modelo o los costos del agente empiecen a aumentar, use Ask AI (versión preliminar) para diagnosticar rápidamente problemas, tomar medidas y comprobar las mejoras. Ask AI es un asistente de chat integrado al que puede acceder desde la barra de herramientas del portal de Microsoft Foundry. Para más información sobre las limitaciones y las funcionalidades de Ask AI, consulte Ask AI for help (preview) (Preguntar a IA para obtener ayuda [versión preliminar]).

En este artículo, identificará los picos de costos, cambiará a un modelo rentable y validará las mejoras de rendimiento mediante el portal de Foundry.

Requisitos previos

• Una cuenta de Azure con una suscripción activa. Si no tiene una, cree una cuenta de free Azure, que incluye una suscripción de evaluación gratuita.

• Un proyecto de fundición. Si no tiene uno, cree un proyecto.

• Los permisos siguientes:

  • Acceso de lectura al proyecto y a la suscripción para los que desea ver los datos.
  • En el recurso de Application Insights que está asociado con su agente, necesita un rol de Log Analytics Reader o uno superior.
  • Rol lector de Cost Management.

• Application Insights configurados para el proyecto Foundry. Para obtener más información, consulte Configuración de la supervisión.

• Al menos un agente implementado o publicado con datos de costo. Para un análisis de tendencias significativo, necesita un mínimo de siete días de datos de uso.

• Ask AI agent habilitado en el proyecto Foundry. Está disponible en versión preliminar en la barra de herramientas del portal de Foundry. Si no lo ve, compruebe que el proyecto está en una región admitida y que el administrador no ha deshabilitado la característica.

• Un conjunto de datos de evaluación que representa la carga de trabajo típica del agente. Use este conjunto de datos para comparar el rendimiento del modelo después de cambiar los modelos.

Detección de aumentos de costos

Comience abriendo el agente de Ask AI desde la barra de herramientas. O bien, vaya a Operar>Resumen para usar una de las indicaciones predefinidas específicas para la optimización y el rendimiento del agente.

Pida al asistente que proporcione un resumen de las métricas y los datos de costos del panel del plano de control de Foundry. Puede seleccionar un mensaje predefinido en el panel Información general o escribir su propia pregunta, como:

• Resume mi tendencia reciente de costos.

• "¿Qué agentes han contribuido más a mi aumento de costos?"

El agente de Ask AI genera un resumen que resalta los factores clave de costos, como el uso elevado de tokens, la longitud de finalización extendida o las ejecuciones de evaluación frecuentes. El resumen incluye vínculos anotados a los gráficos del panel para una inspección más profunda.

Investigar agentes de alto costo

Después de revisar el resumen, puede explorar información detallada para agentes específicos preguntando:

• "Mostrar detalles de costo y rendimiento para [nombre del agente]."

• "Desglosar el costo por modelo o implementación para este agente".

También puede seleccionar Activos en el panel izquierdo. A continuación, seleccione Ver detalles del agente para abrir el panel de Recursos. Allí, puede comparar a sus agentes según el costo y el uso de tokens, y ver cuál agente cuesta más.

Cambio a un modelo rentable

Al identificar un modelo como controlador de costos, use Ask AI para encontrar una alternativa más rentable.

1. En Preguntar AI, escriba un indicador como "Recomendar un modelo más barato con un rendimiento similar" o "Comparar el costo y la calidad de los modelos que son similares a [modelo actual]."

2. Revise la respuesta. Pregunte a AI recomienda modelos alternativos del catálogo de modelos con comparaciones de rendimiento y costos. Revise las recomendaciones y seleccione un modelo que cumpla sus requisitos.

3. Implemente el nuevo modelo. Ask AI puede iniciar el despliegue directamente en el chat o proporcionar un enlace a la página de despliegue. También puede desplegar manualmente. Para conocer los pasos de implementación detallados, consulte Deploy Microsoft Foundry Models in the Foundry portal or Deploy models using CLI de Azure and Bicep.

4. Una vez completada la implementación, compruebe que el nuevo modelo aparece en la lista de implementación del agente con un estado Correcto .

Evaluación de las diferencias de calidad y costo del modelo

Después de cambiar los modelos, compare los modelos antiguos y nuevos mediante la ejecución de una evaluación.

1. En Ask AI, escriba un mensaje como "Quiero evaluar y comparar el modelo antiguo y el nuevo".

2. Siga las instrucciones que proporciona Ask AI. Para crear ejecuciones de evaluación, vaya a la sección de evaluación del proyecto.

3. Cree dos ejecuciones de evaluación: una para el modelo original y otra para el nuevo modelo.

4. Espere a que finalicen ambas ejecuciones de evaluación. Vaya a Operar>Resumen o al historial de evaluación de su proyecto para comparar los resultados en paralelo.

5. Busque diferencias en las puntuaciones de calidad, la latencia y el costo por token. En el historial de evaluación, compruebe que ambas ejecuciones muestran un estado de "completado" con puntuaciones para cada métrica.

   Métricas clave que se van a comparar:

   • Fundamento: cómo las respuestas están fundamentadas en los datos de origen
   • Relevancia : cómo son las respuestas pertinentes a la consulta
   • Coherencia : cómo son las respuestas coherentes lógicamente
   • Latencia: tiempo de respuesta para el modelo
   • Costo por token : la eficiencia de costos del modelo

   Céntrese en las métricas que se alinean con los requisitos de calidad del agente.

Actualiza la implementación del modelo de tu agente

Una vez que confirme que el nuevo modelo cumple con los requisitos de costo y rendimiento, actualice el agente para usarlo.

1. En el portal de Foundry, vaya a Build>Agents.

2. Seleccione el agente que desea actualizar.

3. Cambie el modelo a la nueva implementación.

4. Pruebe el agente para verificar que responde correctamente según el nuevo modelo.

5. En la página de detalles del agente, seleccione Guardar para crear una nueva versión. Compruebe que el número de versión se incrementó y el nombre del modelo refleja la nueva implementación.

Después de comprobar que el nuevo modelo funciona correctamente, considere la posibilidad de eliminar la implementación del modelo anterior para evitar costos continuos.

Seguimiento de las mejoras de costo y rendimiento

Para verificar las mejoras después del cambio de modelo, compruebe los datos de costos más recientes.

1. Abra Ask AI desde la barra de herramientas.

2. Ingrese un mensaje como "Muéstrame el resumen de los datos más recientes sobre el costo".

3. Revise el resumen. Pregunte a la inteligencia artificial los datos de costo y rendimiento que están disponibles en las páginasInformación general de > y Supervisión, incluidas las métricas de evaluación continua que se muestran allí. El resumen resalta los cambios de tendencia de costos en comparación con el período anterior.

Use este flujo de trabajo regularmente para supervisar la eficiencia y la rentabilidad de la inversión.

Solución de problemas comunes

Contenido relacionado

• Pedir ayuda a AI (versión preliminar)
• Monitorea la salud y el rendimiento de los agentes en toda tu flota
• Administrar agentes en el Foundry Control Plane
• Aplicación de límites de token en modelos
• ¿Qué es el Plano de Control Foundry?
• Ejecución de evaluaciones desde el SDK
• Explorar modelos de Microsoft Foundry