Implementación de un flujo para la inferencia en tiempo real (clásico)

Solo se aplica a:portal Foundry (clásico). Este artículo no está disponible para el nuevo portal de Foundry. Obtenga más información sobre el nuevo portal.

Después de crear un flujo de solicitud y probarlo, puede implementarlo como punto de conexión en línea. Las implementaciones se hospedan en un punto de conexión. Pueden recibir datos de clientes y enviar respuestas en tiempo real.

Puede invocar el punto de conexión para la inferencia en tiempo real para un chat, un copiloto u otra aplicación de IA generativa. Los flujos de procesos admiten la implementación de puntos de conexión a partir de un flujo o una ejecución de prueba masiva.

En este artículo, aprenderá a implementar un flujo como punto de conexión en línea administrado para la inferencia en tiempo real.

• Pruebe el flujo y prepárelo para la implementación.
• Cree una implementación en línea.
• Conceda permisos al punto de conexión.
• Pruebe el punto de conexión.
• Consuma el punto de conexión.

Requisitos previos

• Una cuenta de Azure con una suscripción activa. Si no tiene una, cree una cuenta de free Azure, que incluye una suscripción de evaluación gratuita.
• Si no tiene uno, cree un proyecto basado en hub.

Para implantar un flujo automático como un punto de conexión en línea, necesita:

• Una suscripción Azure. Si no tiene una suscripción de Azure, cree una cuenta free.
• Un proyecto de Microsoft Foundry.
• Un Microsoft.PolicyInsights proveedor de recursos registrado en tu suscripción. Para más información, consulte Registro de un proveedor de recursos.

Creación de una implementación en línea

Después de compilar un flujo y probarlo, cree el punto de conexión en línea para la inferencia en tiempo real.

Para implementar un flujo de indicaciones como un punto de conexión online en el portal de Foundry:

1. Tener un flujo de comandos listo para despliegue. Si no tiene una, consulte Desarrollo de un flujo de avisos.

2. Opcional: seleccione Chat para probar si el flujo funciona correctamente. Se recomienda probar el flujo antes de la implementación.

3. Seleccione Implementar en el editor de flujo.

   

4. En la página Configuración básica , proporcione la información necesaria.

   

5. Seleccione Revisar y crear. O bien, seleccione Siguiente para continuar con las páginas de configuración avanzadas que no son necesarias para este artículo.

6. Seleccione Crear para implementar el flujo de indicaciones.

7. Para ver el estado de la implementación, seleccione Modelos y puntos de conexión en el panel izquierdo. Una vez creada correctamente la implementación, seleccione la implementación para ver más información.

   

8. Seleccione la pestaña Consumir para ver ejemplos de código que puede usar para consumir el modelo implementado en la aplicación.

   En esta página, también puede ver la dirección URL del punto de conexión que puede utilizar para acceder a él.

   

9. Puede usar el punto de conexión rest directamente o empezar a trabajar con uno de los ejemplos que se muestran aquí.

   

Para obtener información sobre cómo implementar un modelo base, consulte Implementación de modelos con Foundry.

Ajustes y configuraciones

Archivo de texto de requisitos

Opcionalmente, puede especificar paquetes adicionales que necesita en requirements.txt. Puede encontrar requirements.txt en la carpeta raíz de la carpeta de flujo. Al implementar un flujo de solicitud en un punto de conexión en línea administrado en la interfaz de usuario, de forma predeterminada, la implementación usa el entorno que se creó en función de la imagen base especificada en flow.dag.yaml y las dependencias especificadas en requirements.txt.

La imagen base especificada en flow.dag.yaml se crea en función de la imagen base del flujo de solicitud mcr.microsoft.com/azureml/promptflow/promptflow-runtime-stable:<newest_version>. Para ver la versión más reciente, consulte esta lista. Si no especifica la imagen base en flow.dag.yaml, la implementación usa la imagen mcr.microsoft.com/azureml/promptflow/promptflow-runtime-stable:latestbase predeterminada.

Configuración básica

En este paso, configurará las opciones básicas al seleccionar Implementar en el editor de flujo.

Después de finalizar la configuración básica, seleccione Revisar y crear para finalizar la creación. También puede seleccionar Siguiente para configurar opciones avanzadas.

Configuración avanzada: Punto de conexión

Puede especificar la siguiente configuración para el punto de conexión.

En el flujo de trabajo Configuración avanzada , también puede especificar etiquetas de implementación y seleccionar un entorno personalizado.

Tipo de autenticación

Esta configuración identifica el método de autenticación para el punto de conexión. La autenticación basada en claves proporciona una clave principal y secundaria que no expira. La autenticación basada en tokens de Azure Machine Learning proporciona un token que se actualiza periódicamente.

Tipo de identidad

El punto de conexión debe acceder a los recursos de Azure para la inferencia, como Azure Container Registry o las conexiones del centro de Foundry. Puede permitir que el punto de conexión acceda a los recursos de Azure al conceder permiso a su identidad administrada.

La identidad asignada por el sistema se crea después de crear el punto de conexión. El usuario crea la identidad asignada por el usuario. Para obtener más información, consulte Administrar identidades para recursos de Azure.

Sistema asignado

La opción Aplicar acceso a secretos de conexión (versión preliminar) está habilitada de forma predeterminada. Si el flujo usa conexiones, el punto de conexión debe acceder a las conexiones para realizar la inferencia.

Si tiene permiso de lector de secretos de conexión, al punto de conexión se le concede acceso al rol lector de secretos de conexión del área de trabajo de Azure Machine Learning para acceder a las conexiones. Si deshabilita esta opción, debe conceder este rol manualmente a la identidad asignada por el sistema o pedir ayuda al administrador. Para obtener más información, consulte Concesión de permiso a la identidad del punto de conexión.

Usuario asignado

Al crear la implementación, Azure intenta extraer la imagen del contenedor de usuario desde el registro de contenedores del hub de Foundry y monta el modelo de usuario y los artefactos de código en el contenedor de usuario desde la cuenta de almacenamiento del hub.

Si crea el punto de conexión asociado con la opción Identidad asignada por el usuario, conceda a la identidad asignada por el usuario los siguientes roles antes de crear la implementación. De lo contrario, se produce un error en la creación del despliegue.

Para obtener más información sobre cómo conceder permisos a la identidad del punto de conexión, consulte Concesión de permisos al punto de conexión.

Configuración avanzada: salidas y conexiones

En este paso, puede ver todas las salidas de flujo y especificar qué salidas se van a incluir en la respuesta del punto de conexión que implemente. De forma predeterminada, se seleccionan todas las salidas de flujo.

También puede especificar las conexiones que usa el punto de conexión cuando realiza la inferencia. De forma predeterminada, el punto de conexión hereda las conexiones del flujo.

Después de configurar y revisar todos los pasos anteriores, seleccione Revisar y crear para finalizar la creación.

Espere que la creación del punto de conexión tarde más de 15 minutos. Las fases incluyen la creación de un punto de conexión, el registro de un modelo y la creación de una implementación.

El progreso de creación de la implementación envía una notificación que comienza con Prompt Flow Deployment.

Habilitación del seguimiento activando diagnósticos de Application Insights (versión preliminar)

Si habilita esta funcionalidad, los datos de seguimiento y las métricas del sistema durante el tiempo de inferencia se recopilan en Application Insights vinculado al área de trabajo. Estas métricas incluyen el recuento de tokens, la latencia de flujo y la solicitud de flujo. Para obtener más información, consulte Activar el rastreo y obtener retroalimentación para una implementación de flujo.

Concesión de permisos al punto de conexión

Para conceder los permisos necesarios en el portal de Azure, siga estos pasos:

1. Vaya a la página de información general del proyecto Foundry en el portal Azure.

2. Seleccione Control de acceso (IAM) y, a continuación, seleccione Agregar asignación de roles.

   

3. Seleccione Azure Machine Learning Workspace Connection Secrets Reader y seleccione Siguiente.

   El rol integrado Lector de secretos de conexión del área de trabajo de Azure Machine Learning tiene permiso para obtener conexiones del centro de operaciones.

   Si desea usar un rol personalizado, asegúrese de que el rol personalizado tiene el permiso de Microsoft.MachineLearningServices/workspaces/connections/listsecrets/action. Obtenga más información sobre cómo crear roles personalizados.

4. Seleccione Identidad administrada y, a continuación, seleccione miembros:

   • Identidad asignada por el sistema: en Identidad administrada asignada por el sistema, seleccione Punto de conexión en línea de Machine Learning y busque por nombre de punto de conexión.
   • Identidad asignada por el usuario: seleccione Identidad administrada asignada por el usuario y busque por nombre de identidad.

5. Para la identidad asignada por el usuario, conceda permisos al registro de contenedores del hub y a la cuenta de almacenamiento. Puede encontrar el registro de contenedor y la cuenta de almacenamiento en la página de información general del centro en el portal de Azure.

   Vaya a la página de información general del registro de contenedores del concentrador y seleccione Control de acceso>Agregar asignación de roles. Asigne ACR Pull a la identidad del punto de conexión.

   Vaya a la página de información general del almacenamiento predeterminado del concentrador y seleccione Control de acceso>Agregar asignación de roles. Asigne Storage Blob Data Reader a la identidad del punto de conexión.

6. Opcional: para la identidad asignada por el usuario, si desea supervisar las métricas relacionadas con el punto de conexión, como la utilización de CPU, GPU, disco o memoria, debe conceder el rol de escritor de métricas del espacio de trabajo del hub a la identidad.

Comprobación del estado del punto de conexión

Una vez finalizada la implementación, recibirá notificaciones. Una vez creado correctamente el punto de conexión y la implementación, seleccione Ver detalles en la página de detalles de la notificación a la implementación.

También puede ir directamente a la página Modelo y puntos de conexión en el panel izquierdo y seleccionar la implementación para comprobar el estado.

Prueba del punto de conexión

En la página de detalles de implementación, seleccione la pestaña Prueba .

En el caso de los puntos de conexión implementados desde el flujo estándar, puede escribir valores en el editor de formularios o en el editor JSON para probar el punto de conexión.

Prueba del punto de conexión implementado desde un flujo de chat

En el caso de los puntos de conexión implementados desde un flujo de chat, puede probarlo en una ventana de chat inmersiva.

El chat_input mensaje se estableció durante el desarrollo del flujo de chat. Puede colocar el chat_input mensaje en el cuadro de entrada. Si el flujo tiene varias entradas, especifique los valores de otras entradas además del chat_input mensaje en el panel Entradas del lado derecho.

Consumir el punto de conexión

En la página de detalles de implementación, seleccione la pestaña Consumir. Puede encontrar el endpoint REST y la clave o token para consumir su endpoint. El código de ejemplo también está disponible para usar el endpoint en distintos lenguajes de programación.

Debe escribir valores para RequestBody o data y api_key. Por ejemplo, si el flujo tiene dos entradas location y url, especifique los datos como el ejemplo siguiente:

 {
"location": "LA",
"url": "<the_url_to_be_classified>"
}

Limpieza de recursos

Si no va a usar el punto de conexión después de finalizar este tutorial, elimine el punto de conexión. La eliminación completa puede tardar 20 minutos.

Contenido relacionado

• Obtenga más información sobre lo que puede hacer en Foundry.
• Obtenga respuestas a las preguntas más frecuentes en las preguntas más frecuentes sobre Foundry.
• Habilite el seguimiento y recopile comentarios para la implementación.