Bereitstellen eines Flusses für echtzeitbasierte Ableitung (klassisch)

Gilt nur für:klassisches Foundry Portal. Dieser Artikel ist für das neue Foundry-Portal nicht verfügbar. Erfahren Sie mehr über das neue Portal.

Nachdem Sie einen Eingabeaufforderungsfluss erstellt und getestet haben, können Sie ihn als Onlineendpunkt bereitstellen. Bereitstellungen werden in einem Endpunkt gehostet. Sie können Daten von Clients empfangen und Antworten in Echtzeit senden.

Sie können den Endpunkt für die Echtzeit-Ableitung für Chat, einen Copilot oder eine andere generative KI-Anwendung aufrufen. Prompt-Flows unterstützen die Endpunktbereitstellung aus einem Flow oder einem Massen-Testlauf.

In diesem Artikel erfahren Sie, wie Sie einen Fluss als verwalteten Onlineendpunkt für die Echtzeit-Ableitung bereitstellen.

• Testen Sie Ihren Ablauf, und bereiten Sie ihn für die Bereitstellung bereit.
• Erstellen Sie eine Online-Bereitstellung.
• Erteilen von Berechtigungen für den Endpunkt.
• Testen Sie den Endpunkt.
• Nutzen Sie den Endpunkt.

Voraussetzungen

• Ein Azure Konto mit einem aktiven Abonnement. Wenn Sie kein Konto haben, erstellen Sie ein free Azure Konto, das ein kostenloses Testabonnement enthält.
• Wenn Sie über keins verfügen, erstellen Sie ein hubbasiertes Projekt.

Um einen Eingabeaufforderungsfluss als Onlineendpunkt bereitzustellen, benötigen Sie Folgendes:

• Ein Azure-Abonnement. Wenn Sie nicht über ein Azure-Abonnement verfügen, erstellen Sie ein free-Konto.
• Ein Microsoft Foundry-Projekt.
• Ein in Ihrem Abonnement registrierter Microsoft.PolicyInsights-Ressourcenanbieter. Weitere Informationen finden Sie unter Registrieren eines Ressourcenanbieters.

Online-Bereitstellung erstellen

Nachdem Sie einen Fluss erstellt und getestet haben, erstellen Sie Ihren Onlineendpunkt für die Echtzeit-Ableitung.

So stellen Sie einen Prompt-Flow als Online-Endpunkt im Foundry-Portal bereit:

1. Bereiten Sie einen Ablauf für die Bereitstellung vor. Wenn Sie keinen haben, lesen Sie " Entwickeln eines Eingabeaufforderungsflusses".

2. Optional: Wählen Sie "Chat" aus, um zu testen, ob der Fluss ordnungsgemäß funktioniert. Es wird empfohlen, den Ablauf vor der Bereitstellung zu testen.

3. Wählen Sie "Bereitstellen" im Fluss-Editor aus.

   

4. Geben Sie auf der Seite "Standardeinstellungen " die erforderlichen Informationen an.

   

5. Wählen Sie "Überprüfen" und "Erstellen" aus. Oder wählen Sie "Weiter" aus, um zu den Seiten mit erweiterten Einstellungen zu gelangen, die für diesen Artikel nicht erforderlich sind.

6. Wählen Sie "Erstellen" aus, um den Eingabeaufforderungsfluss bereitzustellen.

7. Um den Status Ihrer Bereitstellung anzuzeigen, wählen Sie "Modelle + Endpunkte " im linken Bereich aus. Nachdem die Bereitstellung erfolgreich erstellt wurde, wählen Sie die Bereitstellung aus, um weitere Informationen anzuzeigen.

   

8. Wählen Sie die Registerkarte " Nutzen " aus, um Codebeispiele anzuzeigen, mit denen Sie das bereitgestellte Modell in Ihrer Anwendung nutzen können.

   Auf dieser Seite können Sie auch die Endpunkt-URL sehen, die Sie verwenden können, um den Endpunkt zu nutzen.

   

9. Sie können den REST-Endpunkt direkt verwenden oder mit einem der hier gezeigten Beispiele beginnen.

   

Informationen zum Bereitstellen eines Basismodells finden Sie unter Bereitstellen von Modellen mit Foundry.

Einstellungen und Konfigurationen

Anforderungstextdatei

Optionalerweise können Sie zusätzliche Pakete angeben, die Sie in requirements.txt benötigen. Sie finden requirements.txt im Stammverzeichnis Ihres Flow-Ordners. Wenn Sie in der Benutzeroberfläche einen Prompt-Flow auf einem verwalteten Online-Endpunkt bereitstellen, verwendet die Bereitstellung standardmäßig die Umgebung, die basierend auf dem im flow.dag.yaml angegebenen Basis-Image und den im requirements.txt angegebenen Abhängigkeiten erstellt wurde.

Das in flow.dag.yaml angegebene Basisbild wird basierend auf dem Prompt-Flow-Basisbild mcr.microsoft.com/azureml/promptflow/promptflow-runtime-stable:<newest_version> erstellt. Die neueste Version finden Sie in dieser Liste. Wenn Sie das Basisimage flow.dag.yamlnicht angeben, verwendet die Bereitstellung das Standardbasisimage mcr.microsoft.com/azureml/promptflow/promptflow-runtime-stable:latest.

Grundlegende Einstellungen

In diesem Schritt konfigurieren Sie die grundlegenden Einstellungen, wenn Sie "Bereitstellen" im Flow-Editor auswählen.

Nachdem Sie die grundlegenden Einstellungen abgeschlossen haben, wählen Sie "Überprüfen" und "Erstellen" aus, um die Erstellung abzuschließen. Sie können auch "Weiter" auswählen, um erweiterte Einstellungen zu konfigurieren.

Erweiterte Einstellungen: Endpunkt

Sie können die folgenden Einstellungen für den Endpunkt angeben.

Im Workflow für erweiterte Einstellungen können Sie auch Bereitstellungstags angeben und eine benutzerdefinierte Umgebung auswählen.

Authentifizierungstyp

Diese Einstellung identifiziert die Authentifizierungsmethode für den Endpunkt. Die schlüsselbasierte Authentifizierung stellt einen primären und sekundären Schlüssel bereit, der nicht abläuft. Azure Machine Learning tokenbasierte Authentifizierung stellt ein Token bereit, das regelmäßig aktualisiert wird.

Identitätstyp

Der Endpunkt muss auf Azure Ressourcen für die Ableitung zugreifen, z. B. Azure Container Registry oder Ihre Foundry Hub-Verbindungen. Sie können dem Endpunkt die Berechtigung erteilen, auf Azure-Ressourcen zuzugreifen, indem Sie seiner verwalteten Identität die Erlaubnis geben.

Die vom System zugewiesene Identität wird erstellt, nachdem Ihr Endpunkt erstellt wurde. Der Benutzer erstellt die vom Benutzer zugewiesene Identität. Weitere Informationen finden Sie unter Managed identities for Azure resources.

System zugewiesen

Die Option "Zugriff auf geheime Verbindungsschlüssel erzwingen" (Vorschau) ist standardmäßig aktiviert. Wenn Ihr Fluss Verbindungen verwendet, muss der Endpunkt auf Verbindungen zugreifen, um eine Ableitung durchzuführen.

Wenn Sie über die Berechtigung "Connection Secrets Reader" verfügen, wird dem Endpunkt Zugriff auf die Rolle "Azure Machine Learning Workspace Connection Secrets Reader" gewährt, um auf Verbindungen zugreifen zu können. Wenn Sie diese Option deaktivieren, müssen Sie dieser Rolle die vom System zugewiesene Identität manuell erteilen oder Ihren Administrator um Hilfe bitten. Weitere Informationen finden Sie unter Erteilen der Berechtigung für die Endpunktidentität.

Zugewiesener Benutzer

Wenn Sie die Bereitstellung erstellen, versucht Azure, das Benutzercontainer-Image aus der Container-Registry des Foundry-Hubs zu ziehen und das Benutzermodell sowie die Code-Artefakte aus dem Speicherkonto des Hubs in den Benutzercontainer einzuhängen.

Wenn Sie den zugehörigen Endpunkt mit der Option " Benutzer zugewiesene Identität " erstellen, erteilen Sie der vom Benutzer zugewiesenen Identität die folgenden Rollen, bevor Sie die Bereitstellung erstellen. Andernfalls schlägt die Bereitstellungserstellung fehl.

Weitere Informationen zum Erteilen von Berechtigungen für die Endpunktidentität finden Sie unter Erteilen von Berechtigungen für den Endpunkt.

Erweiterte Einstellungen: Ausgaben und Verbindungen

In diesem Schritt können Sie alle Ablaufausgaben anzeigen und angeben, welche Ausgaben in die Antwort des von Ihnen bereitgestellten Endpunkts eingeschlossen werden sollen. Standardmäßig sind alle Flussausgaben ausgewählt.

Sie können auch die Verbindungen angeben, die der Endpunkt verwendet, wenn er eine Inferenz durchführt. Standardmäßig erbt der Endpunkt die Verbindungen vom Fluss.

Nachdem Sie alle vorherigen Schritte konfiguriert und überprüft haben, wählen Sie "Überprüfen" und "Erstellen" aus, um die Erstellung abzuschließen.

Erwarten Sie, dass die Endpunkterstellung mehr als 15 Minuten dauert. Die Phasen umfassen das Erstellen eines Endpunkts, das Registrieren eines Modells und das Erstellen einer Bereitstellung.

Der Fortschritt bei der Erstellung der Bereitstellung sendet eine Benachrichtigung, die mit Bereitstellung des Prompt Flows beginnt.

Aktivieren der Ablaufverfolgung durch Aktivieren der Application Insights-Diagnose (Vorschau)

Wenn Sie diese Funktion aktivieren, werden Ablaufverfolgungsdaten und Systemmetriken während der Ableitungszeit in arbeitsbereichsverknüpften Application Insights erfasst. Zu diesen Metriken gehören die Tokenanzahl, die Ablauflatenz und die Ablaufanforderung. Weitere Informationen finden Sie unter Aktivieren der Ablaufverfolgung und Sammeln von Feedback für eine Ablaufbereitstellung.

Erteilen von Berechtigungen für den Endpunkt

Führen Sie die folgenden Schritte aus, um die erforderlichen Berechtigungen im Azure-Portal zu erteilen:

1. Wechseln Sie zur Übersichtsseite des Foundry-Projekts im portal Azure.

2. Wählen Sie access control (IAM) und dann "Rollenzuweisung hinzufügen" aus.

   

3. Wählen Sie Azure Machine Learning Workspace Connection Secrets Reader aus, und wählen Sie Next aus.

   Die Rolle Azure Machine Learning Workspace Connection Secrets Reader ist eine integrierte Rolle, die über die Berechtigung zum Abrufen von Hubverbindungen verfügt.

   Wenn Sie eine angepasste Rolle verwenden möchten, stellen Sie sicher, dass die angepasste Rolle über die Berechtigung Microsoft.MachineLearningServices/workspaces/connections/listsecrets/action verfügt. Erfahren Sie mehr darüber, wie Sie benutzerdefinierte Rollen erstellen.

4. Wählen Sie verwaltete Identität und dann Mitglieder aus:

   • Vom System zugewiesene Identität: Wählen Sie unter vom System zugewiesener verwalteter Identität den Onlineendpunktfür maschinelles Lernen aus, und suchen Sie nach Endpunktname.
   • Vom Benutzer zugewiesene Identität: Wählen Sie vom Benutzer zugewiesene verwaltete Identität aus, und suchen Sie nach Identitätsnamen.

5. Erteilen Sie für vom Benutzer zugewiesene Identität Berechtigungen für die Hubcontainerregistrierung und das Speicherkonto. Sie finden das Containerregistrierungs- und Speicherkonto auf der Hubübersichtsseite im Azure-Portal.

   Wechseln Sie zur Übersichtsseite des Hub-Containers und wählen Sie Zugriffskontrolle>Rollenzuweisung hinzufügen aus. Weisen Sie ACR Pull der Endpunktidentität zu.

   Wechseln Sie zur Standardspeicherübersichtsseite des Hubs, wählen Sie Access control>Rollenzuweisung hinzufügen aus. Weisen Sie Speicher-Blob-Datenleser der Endpunktidentität zu.

6. Optional: Für benutzerzugewiesene Identitäten, wenn Sie Metriken, die mit dem Endpunkt zusammenhängen, wie CPU/GPU/Festplatte/Arbeitsspeicherauslastung überwachen möchten, müssen Sie der Identität die Rolle Workspace metrics writer des Hubs zuweisen.

Überprüfen des Status des Endpunkts

Nach Abschluss der Bereitstellung erhalten Sie Benachrichtigungen. Nachdem der Endpunkt und die Bereitstellung erfolgreich erstellt wurden, wählen Sie " Details anzeigen " in der Benachrichtigung für die Bereitstellungsdetailseite aus.

Sie können auch direkt zur Seite "Modell+ Endpunkte " im linken Bereich wechseln und die Bereitstellung auswählen, um den Status zu überprüfen.

Testen des Endpunkts

Wählen Sie auf der Seite "Bereitstellungsdetails" die Registerkarte " Test " aus.

Für Endpunkte, die aus dem Standardfluss bereitgestellt werden, können Sie Werte im Formular-Editor oder JSON-Editor eingeben, um den Endpunkt zu testen.

Testen des Endpunkts, der aus einem Chat-Flow bereitgestellt wird

Für Endpunkte, die aus einem Chatfluss bereitgestellt werden, können Sie sie in einem immersiven Chatfenster testen.

Die chat_input Nachricht wurde während der Entwicklung des Chatflusses festgelegt. Sie können die chat_input Nachricht in das Eingabefeld einfügen. Wenn Ihr Flow über mehrere Eingaben verfügt, geben Sie die Werte für andere Eingaben neben der chat_input Nachricht im Eingabe-Bereich auf der rechten Seite an.

Verwenden Sie den Endpunkt

Wählen Sie auf der Seite "Bereitstellungsdetails" die Registerkarte " Nutzen " aus. Sie finden den REST-Endpunkt und schlüssel/token, um Ihren Endpunkt zu nutzen. Beispielcode steht ihnen auch zur Verfügung, um den Endpunkt in verschiedenen Sprachen zu nutzen.

Sie müssen Werte für RequestBody oder data und api_key eingeben. Wenn Ihr Ablauf beispielsweise zwei Eingaben hat, location und url, geben Sie Daten wie im folgenden Beispiel an:

 {
"location": "LA",
"url": "<the_url_to_be_classified>"
}

Bereinigen von Ressourcen

Wenn Sie den Endpunkt nach Abschluss dieses Lernprogramms nicht verwenden werden, löschen Sie den Endpunkt. Der vollständige Löschvorgang kann 20 Minuten dauern.

Verwandte Inhalte

• Erfahren Sie mehr darüber, was Sie in Foundry tun können.
• Erhalten Sie Antworten auf häufig gestellte Fragen im Foundry FAQ.
• Aktivieren Sie die Protokollierung und sammeln Sie Feedback für Ihre Bereitstellung.