Övervaka modeller med hjälp av slutsatsdragningstabeller

Viktigt!

Den här funktionen finns i Beta. Kontoadministratörer kan styra åtkomsten till den här funktionen från sidan förhandsversioner av kontokonsolen. Se Hantera Azure Databricks förhandsversioner.

Den här sidan beskriver hur du använder slutsatsdragningstabeller för att övervaka Unity AI Gateway-slutpunkter .

Vad är Unity AI Gateway-slutsatsdragningstabeller?

Unity AI Gateway-slutsatsdragningstabeller loggar begäranden och svar från dina Unity AI Gateway-slutpunkter till Delta-tabeller i Unity Catalog. Du kan använda dessa data för övervakning, felsökning och optimering av dina modeller.

Vanliga användningsfall är:

  • Felsökning: Analysera nyttolaster för begäran och svar för att felsöka problem.
  • Övervakning: Spåra modellprestanda och identifiera avvikelser.
  • Optimering: Granska interaktioner för att förbättra modellprompter och konfigurationer.
  • Efterlevnad: Underhåll granskningsloggar för alla modellinteraktioner.

Kravspecifikation

  • Förhandsversionen av Unity AI Gateway är aktiverad för ditt konto. Se Hantera Azure Databricks förhandsversioner.

  • En Azure Databricks arbetsyta i en Unity AI Gateway-stödd region.

  • Unity Catalog har aktiverats för din arbetsyta. Se Aktivera en arbetsyta för Unity Catalog.

  • Både skaparen av slutpunkten och modifieraren måste ha behörigheten Kan hantera på slutpunkten.

    • CREATE TABLE behörighet i den angivna Unity Catalog-katalogen och schemat.
    • USE CATALOG behörighet för den angivna katalogen.
    • USE SCHEMA behörighet för det angivna schemat.

  • Katalogen kan inte vara en Delta Sharing-katalog till den aktuella metastore.

  • Databricks rekommenderar att du aktiverar förutsägande optimering för bättre prestanda.

Aktivera slutsatsdragningstabeller

Slutsatsdragningstabeller kan bara konfigureras när du har skapat en Unity AI Gateway-slutpunkt.

Så här aktiverar du slutsatsdragningstabeller:

  1. I sidofältet klickar du på AI Gateway.
  2. Klicka på slutpunktsnamnet för att öppna slutpunktssidan.
  3. Klicka på Konfigurera bredvid Inferenstabeller.
  4. Ange katalogen och schemat där du vill lagra slutsatsdragningstabellen.
  5. Klicka på Spara.

Ägaren till slutsatsdragningstabellen är den användare som skapade slutpunkten. Alla ACL:er följer standardbehörigheterna för Unity-katalogen och kan ändras av tabellägaren.

Anmärkning

Det går inte att ange en befintlig tabell. Azure Databricks skapar automatiskt en ny slutsatstabell när du aktiverar slutsatsdragningstabeller.

Varning

Slutsatsdragningstabellen kan sluta logga data eller skadas om du gör något av följande:

  • Ändra tabellschemat.
  • Ändra tabellnamnet.
  • Ta bort tabellen.

Inaktivera slutsatsdragningstabeller

Så här inaktiverar du slutsatsdragningstabeller:

  1. I sidofältet klickar du på AI Gateway.
  2. Klicka på slutpunktsnamnet för att öppna slutpunktssidan.
  3. Klicka på redigeringsikonen bredvid Inferenstabeller.
  4. Klicka på Inaktivera slutsatsdragningstabeller.

Hämta data från inferenstabellen

Du kan visa tabellen i användargränssnittet eller fråga tabellen från Databricks SQL eller en notebook-fil.

Om du vill visa tabellen i användargränssnittet klickar du på länken för slutsatsdragningstabellen på slutpunktssidan för att öppna tabellen i Catalog Explorer.

Så här frågar du tabellen från Databricks SQL eller en notebook-fil:

SELECT * FROM <catalog>.<schema>.<payload_table>

Ersätt <catalog>, <schema>och <payload_table> med din tabellplats.

Schema för slutsatsdragningstabell

Unity AI Gateway-slutsatsdragningstabeller har följande schema:

Kolumnnamn Typ Description Example
request_id STRING En unik identifierare för begäran. 7a99b43cb46c432bb0a7814217701909
request_tags MAP Taggar som är associerade med begäran. {"team": "engineering"}
event_time TIMESTAMP Tidsstämpeln när begäran togs emot. 2024-05-17T13:47:13.282-07:00
status_code INT HTTP-statuskoden för svaret. 200
sampling_fraction Dubbel Samplingsfraktionen om nedsampling har använts. Värdet 1 innebär ingen nedsampling. 1
latency_ms LONG Den totala svarstiden i millisekunder. 300
time_to_first_byte_ms LONG Tiden till första byte i millisekunder. 200
request STRING Den råa JSON-begärans nyttolast. {"messages": [...], ...}
response STRING Den råa JSON-svarsnyttolasten. {"choices": [...], ...}
destination_id STRING ID:t för målmodellen eller leverantören. 7a99b43c-b46c-432b-b0a7-814217701909
logging_error_codes ARRAY Felkoder om loggningen misslyckades (till exempel MAX_REQUEST_SIZE_EXCEEDED). ["MAX_RESPONSE_SIZE_EXCEEDED"]
requester STRING ID:t för användaren eller tjänstens huvudnamn som gjorde begäran. databricks.engineer@databricks.com
schema_version STRING Schemaversionen av inferenstabellposten. 0

Begränsningar

  • Endast externa lagringskataloger: Slutsatsdragningstabeller kan bara skapas i externa lagringskataloger. Standardlagringskataloger stöds inte för närvarande.
  • Privata slutpunkter stöds inte: Slutsatsdragningstabeller kan inte skapas i lagring som skyddas via en privat slutpunkt. Se Begränsningar för Zerobus-inmatningsanslutning.
  • Bästa möjliga leverans: Loggar är vanligtvis tillgängliga inom några minuter efter en begäran, men leveransen är inte garanterad.
  • Maximal nyttolaststorlek: Begäranden och svar som är större än 10 MiB loggas inte. Kolumnen logging_error_codes anger när detta inträffar med MAX_REQUEST_SIZE_EXCEEDED eller MAX_RESPONSE_SIZE_EXCEEDED.
  • Felsvar: Loggar kanske inte fylls i för begäranden som returnerar felen 401, 403, 429 eller 500.

Nästa steg

  • Last updated on