Überwachen von Modellen mithilfe von Rückschlusstabellen

Von Bedeutung

Dieses Feature befindet sich in der Betaversion. Kontoadministratoren können den Zugriff auf dieses Feature über die Seite " Vorschau" der Kontokonsole steuern. Siehe Manage Azure Databricks Previews.

Auf dieser Seite wird beschrieben, wie Sie Schlussfolgerungstabellen verwenden, um Unity AI Gateway-Endpunkte zu überwachen.

Was sind Unity AI Gateway-Ableitungstabellen?

Unity AI Gateway Inference-Tabellen protokollieren Anforderungen und Antworten von Ihren Unity AI Gateway-Endpunkten in Unity Catalog Delta-Tabellen. Sie können diese Daten zum Überwachen, Debuggen und Optimieren Ihrer Modelle verwenden.

Zu den gängigen Anwendungsfällen gehören:

  • Debuggen: Analysieren Sie Anforderungs- und Antwortnutzlasten, um Probleme zu beheben.
  • Überwachung: Nachverfolgen der Modellleistung und Identifizieren von Anomalien.
  • Optimierung: Überprüfen Sie Interaktionen, um Modellaufforderungen und -konfigurationen zu verbessern.
  • Compliance: Führen von Prüfprotokollen aller Modellinteraktionen.

Anforderungen

  • Unity AI Gateway Preview für Ihr Konto aktiviert. Siehe Manage Azure Databricks Previews.

  • Ein Azure Databricks-Arbeitsbereich in einer von Unity AI Gateway unterstützten Region.

  • Unity-Katalog für Ihren Arbeitsbereich aktiviert. Weitere Informationen finden Sie unter Aktivieren eines Arbeitsbereichs für Unity Catalog.

  • Sowohl der Ersteller des Endpunkts als auch der Modifizierer müssen über die Berechtigung Kann Verwalten für den Endpunkt verfügen.

    • CREATE TABLE Berechtigung im angegebenen Unity-Katalog und -Schema.
    • USE CATALOG Berechtigung für den angegebenen Katalog.
    • USE SCHEMA Berechtigung für das angegebene Schema.

  • Der Katalog kann kein Delta-Freigabekatalog für den aktuellen Metastore sein.

  • Databricks empfiehlt, eine predictive Optimierung für eine verbesserte Leistung zu ermöglichen.

Aktivieren von Rückschlusstabellen

Inference-Tabellen können nur konfiguriert werden, nachdem Sie einen Unity AI Gateway-Endpunkt erstellt haben.

So aktivieren Sie Inferencetabellen:

  1. Klicken Sie in der Randleiste auf AI-Gateway.
  2. Klicken Sie auf den Endpunktnamen, um die Endpunktseite zu öffnen.
  3. Klicken Sie auf Einrichten neben Inference-Tabellen.
  4. Geben Sie den Katalog und das Schema an, in dem Die Ableitungstabelle gespeichert werden soll.
  5. Klicken Sie auf "Speichern".

Der Besitzer der Rückschlusstabelle ist der Benutzer, der den Endpunkt erstellt hat. Alle ACLs folgen den Standardberechtigungen des Unity-Katalogs und können vom Tabellenbesitzer geändert werden.

Hinweis

Das Angeben einer vorhandenen Tabelle wird nicht unterstützt. Azure Databricks erstellt beim Aktivieren von Rückschlusstabellen automatisch eine neue Ableitungstabelle.

Warnung

Die Ableitungstabelle könnte die Protokollierung von Daten beenden oder beschädigt werden, wenn Sie eine der folgenden Aktionen ausführen:

  • Ändern Sie das Tabellenschema.
  • Ändern Sie den Tabellennamen.
  • Löschen Sie die Tabelle.

Deaktivieren von Rückschlusstabellen

So deaktivieren Sie Inferencetabellen:

  1. Klicken Sie in der Randleiste auf AI-Gateway.
  2. Klicken Sie auf den Endpunktnamen, um die Endpunktseite zu öffnen.
  3. Klicken Sie auf das Bearbeitungssymbol neben Inferenz-Tabellen.
  4. Klicken Sie auf "Rückschlusstabellen deaktivieren".

Abfrage der Inferenztabelle

Sie können die Tabelle auf der Benutzeroberfläche anzeigen oder die Tabelle aus Databricks SQL oder einem Notizbuch abfragen.

Wenn Sie die Tabelle auf der Benutzeroberfläche anzeigen möchten, klicken Sie auf der Endpunktseite auf die Verknüpfung der Ableitungstabelle, um die Tabelle im Katalog-Explorer zu öffnen.

So fragen Sie die Tabelle aus Databricks SQL oder einem Notizbuch ab:

SELECT * FROM <catalog>.<schema>.<payload_table>

Ersetzen Sie <catalog>, <schema> und <payload_table> mit Ihrem Tabellenstandort.

Inference-Tabellenschema

Unity AI Gateway-Ableitungstabellen weisen das folgende Schema auf:

Spaltenname Typ Description Example
request_id STRING Ein eindeutiger Bezeichner für die Anforderung. 7a99b43cb46c432bb0a7814217701909
request_tags MAP Tags, die der Anforderung zugeordnet sind. {"team": "engineering"}
event_time TIMESTAMP Der Zeitstempel, zu dem die Anforderung empfangen wurde. 2024-05-17T13:47:13.282-07:00
status_code INT Der HTTP-Statuscode der Antwort. 200
sampling_fraction DOUBLE Die Sampling-Anteil, wenn Downsampling verwendet wurde. Ein Wert von 1 bedeutet kein Downsampling. 1
latency_ms LONG Die Gesamtlatenz in Millisekunden. 300
time_to_first_byte_ms LONG Die Zeit für das erste Byte in Millisekunden. 200
request STRING Die unformatierte JSON-Anforderungsnutzlast. {"messages": [...], ...}
response STRING Die unformatierte JSON-Antwortnutzlast. {"choices": [...], ...}
destination_id STRING Die ID des Zielmodells oder Anbieters. 7a99b43c-b46c-432b-b0a7-814217701909
logging_error_codes ARRAY Fehlercodes, wenn die Protokollierung fehlgeschlagen ist (z. B. MAX_REQUEST_SIZE_EXCEEDED). ["MAX_RESPONSE_SIZE_EXCEEDED"]
requester STRING Die ID des Benutzers oder Dienstprinzipals, der die Anforderung gestellt hat. databricks.engineer@databricks.com
schema_version STRING Die Schemaversion des Inferenztabellendatensatzes. 0

Einschränkungen

  • Nur externe Speicherkataloge: Inference-Tabellen können nur in externen Speicherkatalogen erstellt werden. Standardspeicherkataloge werden derzeit nicht unterstützt.
  • Private Endpunkte werden nicht unterstützt: Inference-Tabellen können nicht im Speicher erstellt werden, der über einen privaten Endpunkt gesichert ist. Siehe Einschränkungen des Zerobus-Ingest-Connectors.
  • Bestmögliche Zustellung: Protokolle sind in der Regel innerhalb von Minuten nach einer Anforderung verfügbar, aber die Übermittlung ist nicht garantiert.
  • Maximale Nutzlastgröße: Anforderungen und Antworten, die größer als 10 MiB sind, werden nicht protokolliert. Die logging_error_codes-Spalte gibt an, wann dies mit MAX_REQUEST_SIZE_EXCEEDED oder MAX_RESPONSE_SIZE_EXCEEDED erfolgt.
  • Fehlerantworten: Protokolle werden möglicherweise nicht für Anforderungen aufgefüllt, die Fehler 401, 403, 429 oder 500 zurückgeben.

Nächste Schritte

  • Last updated on