Unity AI Gateway voor agents en LLM's

Belangrijk

Op deze pagina wordt de nieuwe AI-gateway beschreven (zichtbaar in het linkernavigatievenster van de gebruikersinterface), dat momenteel in bètaversie is. Accountbeheerders kunnen toegang tot deze functie inschakelen op de pagina Previews van de accountconsole. Zie Azure Databricks previews beheren.

Zie Unity AI Gateway voor het bedienen van eindpunten voor details over de vorige versie van Unity AI Gateway.

Opmerking

Unity AI Gateway wordt niet ondersteund in AWS GovCloud of Azure Government.

Wat is Unity AI Gateway?

Unity AI Gateway is het bedrijfsbesturingsvlak voor het beheren van LLM-eindpunten, agents en coderingshulpprogramma's. Gebruik het om gebruik te analyseren, machtigingen te configureren en capaciteit te beheren tussen providers.

Met Unity AI Gateway kunt u het volgende doen:

  • Analyseren hoe LLM's, agents en coderingshulpprogramma's worden gebruikt in uw organisatie
  • Govern toegang tot Azure Databricks gehoste en externe modellen
  • Log LLM-verkeer over alle eindpunten naar Unity Catalog
  • De status van eindpunten en de beschikbaarheid van de provider bewaken
  • Limieten en beschermingsmaatregelen afdwingen
  • Kosten toewijzen aan specifieke eindpunten, gebruikers en teams
  • Verkeer intelligent routeren tussen providers voor betrouwbaarheid en belastingverdeling.
  • Verkeer splitsen over meerdere modelback-ends voor schaalbaarheid
  • Schakelen tussen providers en modellen zonder codewijzigingen

overzicht van ai-gateway

Ondersteunde functies

In de volgende tabel worden de beschikbare Unity AI Gateway-functies gedefinieerd:

Eigenschap Description
Permissions Bepalen wie toegang heeft tot uw eindpunten.
Gebruikstracering Bewaak het gebruik en de kosten met behulp van systeemtabellen.
inferentietabellen Aanvragen en antwoorden in Unity Catalog Delta-tabellen bewaken en controleren.
Operationele metrische gegevens Bewaak het gebruik in realtime.
Frequentielimieten Gebruikslimieten afdwingen op eindpunt-, gebruikers- of groepsniveau.
Begeleidingslijnen Inhoud filteren, gevoelige gegevensbescherming en aangepast beleid toepassen.
Kostentoeschrijving Kosten op een gedetailleerd niveau bijhouden op eindpunt, gebruiker en team met behulp van eindpunt- en aanvraagtags.
Fallbacks Verhoog de betrouwbaarheid door te routeren naar meerdere providers wanneer er fouten optreden.
Opsplitsen van verkeer Verkeer verdelen over meerdere modelback-ends voor betere schaalbaarheid en taakverdeling.
Aangepaste API's Beheer aangepaste en externe API's met dezelfde toegangsbeheer, frequentielimieten en logboekregistratie als LLM-eindpunten.

Opmerking

Voor Unity AI Gateway-functies worden geen kosten in rekening gebracht tijdens de bètaversie.

Unity AI Gateway gebruiken

Azure Databricks biedt Unity AI Gateway-eindpunten voor populaire LLM's. U kunt nieuwe eindpunten maken om agents, coderingshulpprogramma's en andere toepassingen te beheren.

Zie Unity AI Gateway-eindpunten configureren om aan de slag te gaan. Zie Query Unity AI Gateway-eindpunten om query's uit te voeren op eindpunten. Zie Integreren met coderingsagents zoals Cursor, Gemini CLI, Codex CLI en Claude Code. Zie Stap 4 om LLM-aanroepen van agents die u zelf ontwikkelt en inzet op Databricks Apps via Unity AI Gateway te routeren. Beheer het LLM-gebruik van uw agents op Databricks Apps met Unity AI Gateway.

Snelstartgids voor query's

In het volgende voorbeeld ziet u hoe u een query uitvoert op een Unity AI Gateway-eindpunt met behulp van Python en de OpenAI-client:

from openai import OpenAI
import os

# To get a Databricks token, see https://docs.databricks.com/dev-tools/auth/pat
DATABRICKS_TOKEN = os.environ.get('DATABRICKS_TOKEN')

client = OpenAI(
    api_key=DATABRICKS_TOKEN,
    base_url="https://<workspace-url>/ai-gateway/mlflow/v1"
)

chat_completion = client.chat.completions.create(
    messages=[
        {"role": "user", "content": "Hello!"},
        {"role": "assistant", "content": "Hello! How can I assist you today?"},
        {"role": "user", "content": "What is Databricks?"},
    ],
    model="databricks-gpt-5-2",
    max_tokens=256
)

print(chat_completion.choices[0].message.content)

Vervang <workspace-url> door de URL van uw Azure Databricks werkruimte.

Volgende stappen

  • Last updated on