Modellen bewaken met behulp van deductietabellen

Belangrijk

Deze functie bevindt zich in de bètaversie. Accountbeheerders kunnen de toegang tot deze functie beheren via de pagina Previews van de accountconsole. Zie Azure Databricks previews beheren.

Op deze pagina wordt beschreven hoe u deductietabellen gebruikt om Unity AI Gateway-eindpunten te bewaken.

Wat zijn Unity AI Gateway-inferenstietabellen?

Unity AI Gateway-deductietabellen registreren aanvragen en antwoorden van uw Unity AI Gateway-eindpunten naar Unity Catalog Delta-tabellen. U kunt deze gegevens gebruiken voor het bewaken, opsporen van fouten en het optimaliseren van uw modellen.

Veelvoorkomende gebruiksvoorbeelden zijn:

  • Foutopsporing: Nettoladingen van aanvragen en antwoorden analyseren om problemen op te lossen.
  • Bewaking: modelprestaties bijhouden en afwijkingen identificeren.
  • Optimalisatie: Controleer interacties om modelprompts en configuraties te verbeteren.
  • Naleving: auditlogboeken van alle modelinteracties onderhouden.

Requirements

  • Unity AI Gateway Preview ingeschakeld voor uw account. Zie Azure Databricks previews beheren.

  • Een Azure Databricks-werkruimte in een Unity AI Gateway-ondersteunde regio.

  • Unity Catalog ingeschakeld voor uw werkruimte. Zie Een werkruimte inschakelen voor Unity Catalog.

  • Zowel de maker van het eindpunt als de bewerker moet beschikken over de machtiging Kan Beheren voor het eindpunt.

    • CREATE TABLE toestemming in de opgegeven catalogus en schema van de Unity Catalog.
    • USE CATALOG toestemming voor de opgegeven catalogus.
    • USE SCHEMA machtiging voor het opgegeven schema.

  • De catalogus kan geen Delta Sharing-catalogus zijn voor de huidige metastore.

  • Databricks raadt aan voorspellende optimalisatie in te schakelen voor verbeterde prestaties.

Deductietabellen inschakelen

Deductietabellen kunnen alleen worden geconfigureerd nadat u een Unity AI Gateway-eindpunt hebt gemaakt.

Deductietabellen inschakelen:

  1. Klik in de zijbalk op AI Gateway.
  2. Klik op de eindpuntnaam om de eindpuntpagina te openen.
  3. Klik op Instellen naast inferentietabellen.
  4. Geef de catalogus en het schema op waar u de deductietabel wilt opslaan.
  5. Klik op Opslaan.

De eigenaar van de deductietabel is de gebruiker die het eindpunt heeft gemaakt. Alle ACL's volgen standaardmachtigingen voor Unity Catalog en kunnen worden gewijzigd door de eigenaar van de tabel.

Opmerking

Het opgeven van een bestaande tabel wordt niet ondersteund. Azure Databricks maakt automatisch een nieuwe deductietabel wanneer u deductietabellen inschakelt.

Waarschuwing

De deductietabel kan de logboekregistratie van gegevens stoppen of beschadigd raken als u een van de volgende handelingen uitvoert:

  • Wijzig het tabelschema.
  • Wijzig de tabelnaam.
  • Verwijder de tabel.

Deductietabellen uitschakelen

Deductietabellen uitschakelen:

  1. Klik in de zijbalk op AI Gateway.
  2. Klik op de eindpuntnaam om de eindpuntpagina te openen.
  3. Klik op het bewerken-pictogram naast de inferentietabellen.
  4. Klik op Deductietabellen uitschakelen.

De deductietabel opvragen

U kunt de tabel in de gebruikersinterface bekijken of een query uitvoeren op de tabel vanuit Databricks SQL of een notebook.

Als u de tabel in de gebruikersinterface wilt weergeven, klikt u op de koppeling naar de deductietabel op de eindpuntpagina om de tabel te openen in Catalog Explorer.

Een query uitvoeren op de tabel vanuit Databricks SQL of een notebook:

SELECT * FROM <catalog>.<schema>.<payload_table>

Vervang <catalog>, <schema> en <payload_table> met uw tabellocatie.

Schema van inferentietabel

Deductietabellen van Unity AI Gateway hebben het volgende schema:

Kolomnaam Typologie Description Example
request_id STRING Een unieke id voor de aanvraag. 7a99b43cb46c432bb0a7814217701909
request_tags MAP Tags die zijn gekoppeld aan de aanvraag. {"team": "engineering"}
event_time TIMESTAMP De tijdstempel waarop de aanvraag is ontvangen. 2024-05-17T13:47:13.282-07:00
status_code INT De HTTP-statuscode van het antwoord. 200
sampling_fraction Dubbel De steekproeffractie indien *down-sampling* is toegepast. Een waarde van 1 betekent geen down-sampling. 1
latency_ms LONG De totale latentie in milliseconden. 300
time_to_first_byte_ms LONG De tijd tot eerste byte in milliseconden. 200
request STRING De nettolading van de onbewerkte JSON-aanvraag. {"messages": [...], ...}
response STRING De onbewerkte nettolading van het JSON-antwoord. {"choices": [...], ...}
destination_id STRING De id van het doelmodel of de doelprovider. 7a99b43c-b46c-432b-b0a7-814217701909
logging_error_codes ARRAY Foutcodes wanneer de logboekregistratie is mislukt (bijvoorbeeld MAX_REQUEST_SIZE_EXCEEDED). ["MAX_RESPONSE_SIZE_EXCEEDED"]
requester STRING De id van de gebruiker of service-principal die de aanvraag heeft ingediend. databricks.engineer@databricks.com
schema_version STRING De schemaversie van het record van de inferentietabel. 0

Beperkingen

  • Alleen externe opslagcatalogussen: deductietabellen kunnen alleen worden gemaakt in externe opslagcatalogussen. Standaardopslagcatalogussen worden momenteel niet ondersteund.
  • Privé-eindpunten worden niet ondersteund: deductietabellen kunnen niet worden gemaakt in de opslag die is beveiligd via een privé-eindpunt. Zie beperkingen van de Zerobus Ingest-connector.
  • Levering op basis van best effort: logboeken zijn doorgaans beschikbaar binnen enkele minuten na een aanvraag, maar levering is niet gegarandeerd.
  • Maximale nettoladinggrootte: aanvragen en antwoorden die groter zijn dan 10 MiB worden niet geregistreerd. De logging_error_codes kolom geeft aan wanneer dit gebeurt met MAX_REQUEST_SIZE_EXCEEDED of MAX_RESPONSE_SIZE_EXCEEDED.
  • Foutreacties: logboeken worden mogelijk niet ingevuld voor aanvragen die 401-, 403-, 429- of 500-fouten retourneren.

Volgende stappen

  • Last updated on