Unity AI Gateway för agenter och LLM:er

Viktigt!

Den här sidan beskriver den nya AI-gatewayen (visas i det vänstra navigeringsfältet i användargränssnittet), som för närvarande finns i Beta. Kontoadministratörer kan aktivera åtkomst till den här funktionen på sidan förhandsversioner av kontokonsolen. Se Hantera Azure Databricks förhandsversioner.

Mer information om den tidigare versionen av Unity AI Gateway finns i Unity AI Gateway för serverslutpunkter.

Anmärkning

Unity AI Gateway stöds inte på AWS GovCloud eller Azure Government.

Vad är Unity AI Gateway?

Unity AI Gateway är företagets kontrollplan för att styra LLM-slutpunkter, agenter och kodningsverktyg. Använd den för att analysera användning, konfigurera behörigheter och hantera kapacitet mellan olika leverantörer.

Med Unity AI Gateway kan du:

  • Analysera hur LLM:er, agenter och kodningsverktyg används i din organisation
  • Govern åtkomst till Azure Databricks värdbaserade och externa modeller
  • Logga in LLM-trafik över alla slutpunkter till Unity Catalog
  • Övervaka slutpunktshälsa och providertillgänglighet
  • Framtvinga hastighetsbegränsningar och skyddsräcken
  • Tilldela kostnader till specifika slutpunkter, användare och team
  • Dirigera trafik intelligent mellan leverantörer för att säkerställa tillförlitlighet och genomföra belastningsutjämning.
  • Dela upp trafik över flera modellserverdelar för skalbarhet
  • Växla mellan leverantörer och modeller utan kodändringar

översikt över ai-gateway

Funktioner som stöds

I följande tabell definieras tillgängliga Unity AI Gateway-funktioner:

Egenskap Description
Permissions Kontrollera vem som har åtkomst till dina slutpunkter.
Användningsspårning Övervaka användning och kostnader med hjälp av systemtabeller.
Inferenstabeller Övervaka och granska begäranden och svar i Delta-tabeller i Unity Catalog.
Driftmått Övervaka användningen i realtid.
Hastighetsgränser Framtvinga förbrukningsgränser på slutpunkts-, användar- eller gruppnivå.
Skyddsräcken Tillämpa innehållsfiltrering, känsligt dataskydd och anpassade principer.
Kostnadstillskrivning Spåra kostnader på detaljerad nivå efter slutpunkt, användare och team med hjälp av slutpunkts- och begärandetaggar.
Fallbacks Öka tillförlitligheten genom att dirigera till flera leverantörer när fel inträffar.
Trafikdelning Distribuera trafik över flera modellserverdelar för bättre skalbarhet och belastningsutjämning.
Anpassade API:er Styr anpassade och externa API:er med samma åtkomstkontroller, hastighetsbegränsningar och loggning som LLM-slutpunkter.

Anmärkning

Unity AI Gateway-funktioner debiteras inte under betaversionen.

Använda Unity AI Gateway

Azure Databricks tillhandahåller Unity AI Gateway-slutpunkter för populära LLM:er. Du kan skapa nya slutpunkter för att styra agenter, kodningsverktyg och andra program.

Information om hur du kommer igång finns i Konfigurera Unity AI Gateway-slutpunkter. För att köra frågor mot slutpunkter, se Query Unity AI Gateway endpoints. Information om hur du integrerar kodningsagenter som Cursor, Gemini CLI, Codex CLI och Claude Code finns i Integrera med kodningsagenter. Information om hur du dirigerar LLM-anrop från agenter som du skapar och distribuerar i Databricks-appar via Unity AI Gateway finns i Steg 4. Styra LLM-användning från dina agenter i Databricks-appar med Unity AI Gateway.

Snabbstart för frågor

I följande exempel visas hur du kör frågor mot en Unity AI Gateway-slutpunkt med hjälp av Python och OpenAI-klienten:

from openai import OpenAI
import os

# To get a Databricks token, see https://docs.databricks.com/dev-tools/auth/pat
DATABRICKS_TOKEN = os.environ.get('DATABRICKS_TOKEN')

client = OpenAI(
    api_key=DATABRICKS_TOKEN,
    base_url="https://<workspace-url>/ai-gateway/mlflow/v1"
)

chat_completion = client.chat.completions.create(
    messages=[
        {"role": "user", "content": "Hello!"},
        {"role": "assistant", "content": "Hello! How can I assist you today?"},
        {"role": "user", "content": "What is Databricks?"},
    ],
    model="databricks-gpt-5-2",
    max_tokens=256
)

print(chat_completion.choices[0].message.content)

Ersätt <workspace-url> med url:en för din Azure Databricks arbetsyta.

Nästa steg

  • Last updated on