Fråga Unity AI Gateway-slutpunkter

Viktigt!

Den här funktionen finns i Beta. Kontoadministratörer kan styra åtkomsten till den här funktionen från sidan förhandsversioner av kontokonsolen. Se Hantera Azure Databricks förhandsversioner.

Den här sidan beskriver hur du frågar Unity AI Gateway-slutpunkter med hjälp av API:er som stöds.

Kravspecifikation

Förhandsversionen av Unity AI Gateway är aktiverad för ditt konto. Se Hantera Azure Databricks förhandsversioner.
En Azure Databricks arbetsyta i en Unity AI Gateway-stödd region.
Unity Catalog har aktiverats för din arbetsyta. Se Aktivera en arbetsyta för Unity Catalog.

API:er och integreringar som stöds

Unity AI Gateway stöder följande API:er och integreringar:

Unified API:er: OpenAI-kompatibla gränssnitt för att fråga efter modeller på Azure Databricks. Växla sömlöst mellan modeller från olika leverantörer utan att ändra hur du kör frågor mot varje modell.
Interna API:er: Providerspecifika gränssnitt för åtkomst till den senaste modellen och providerspecifika funktioner.
Kodningsagenter: Integrera dina kodningsagenter med Unity AI Gateway för att lägga till centraliserad styrning och övervakning i dina AI-assisterade arbetsflöden för utveckling. Se Integrera med kodningsagenter.
Agenter för Databricks-appar: Skapa och distribuera AI-agenter i Databricks-appar som dirigerar LLM-trafik via Unity AI Gateway. Se Steg 4. Styra LLM-användning från dina agenter i Databricks-appar med Unity AI Gateway.

Fråga efter slutpunkter med enhetliga API:er

Enhetliga API:er erbjuder ett OpenAI-kompatibelt gränssnitt för att fråga efter modeller på Azure Databricks. Använd enhetliga API:er för att sömlöst växla mellan modeller från olika leverantörer utan att ändra din kod.

API för slutförande av MLflow-chatt

API för slutförande av MLflow-chatt

Python

from openai import OpenAI
import os

DATABRICKS_TOKEN = os.environ.get('DATABRICKS_TOKEN')

client = OpenAI(
  api_key=DATABRICKS_TOKEN,
  base_url="https://<workspace-url>/ai-gateway/mlflow/v1"
)

chat_completion = client.chat.completions.create(
  messages=[
    {"role": "user", "content": "Hello!"},
    {"role": "assistant", "content": "Hello! How can I assist you today?"},
    {"role": "user", "content": "What is Databricks?"},
  ],
  model="<ai-gateway-endpoint>",
  max_tokens=256
)

print(chat_completion.choices[0].message.content)

REST API

curl \
  -u token:$DATABRICKS_TOKEN \
  -X POST \
  -H "Content-Type: application/json" \
  -d '{
    "model": "<ai-gateway-endpoint>",
    "max_tokens": 256,
    "messages": [
      {"role": "user", "content": "Hello!"},
      {"role": "assistant", "content": "Hello! How can I assist you today?"},
      {"role": "user", "content": "What is Databricks?"}
    ]
  }' \
  https://<workspace-url>/ai-gateway/mlflow/v1/chat/completions

Ersätt <workspace-url> med url:en för din Azure Databricks arbetsyta och <ai-gateway-endpoint> med ditt Unity AI Gateway-slutpunktsnamn.

API för MLflow-inbäddningar

API för MLflow-inbäddningar

Python

from openai import OpenAI
import os

DATABRICKS_TOKEN = os.environ.get('DATABRICKS_TOKEN')

client = OpenAI(
  api_key=DATABRICKS_TOKEN,
  base_url="https://<workspace-url>/ai-gateway/mlflow/v1"
)

embeddings = client.embeddings.create(
  input="What is Databricks?",
  model="<ai-gateway-endpoint>"
)

print(embeddings.data[0].embedding)

REST API

curl \
  -u token:$DATABRICKS_TOKEN \
  -X POST \
  -H "Content-Type: application/json" \
  -d '{
    "model": "<ai-gateway-endpoint>",
    "input": "What is Databricks?"
  }' \
  https://<workspace-url>/ai-gateway/mlflow/v1/embeddings

Ersätt <workspace-url> med url:en för din Azure Databricks arbetsyta och <ai-gateway-endpoint> med ditt Unity AI Gateway-slutpunktsnamn.

API för övervakning

Api för övervakare

Supervisor API (/mlflow/v1/responses) är ett OpenResponses-kompatibelt, provideragnostiskt API för byggagenter i Beta. Kontoadministratörer kan aktivera åtkomst från sidan Förhandsversioner . Se Hantera Azure Databricks förhandsversioner. Välj den bästa modellen för ditt agentanvändningsfall mellan leverantörer, utan att ändra din kod.

Python

from openai import OpenAI
import os

DATABRICKS_TOKEN = os.environ.get('DATABRICKS_TOKEN')

client = OpenAI(
  api_key=DATABRICKS_TOKEN,
  base_url="https://<workspace-url>/ai-gateway/mlflow/v1"
)

response = client.responses.create(
  model="<ai-gateway-endpoint>",
  input=[{"role": "user", "content": "What is Databricks?"}]
)

print(response.output_text)

REST API

curl \
  -u token:$DATABRICKS_TOKEN \
  -X POST \
  -H "Content-Type: application/json" \
  -d '{
    "model": "<ai-gateway-endpoint>",
    "input": [
      {"role": "user", "content": "What is Databricks?"}
    ]
  }' \
  https://<workspace-url>/ai-gateway/mlflow/v1/responses

Ersätt <workspace-url> med url:en för din Azure Databricks arbetsyta och <ai-gateway-endpoint> med ditt Unity AI Gateway-slutpunktsnamn.

Fråga efter slutpunkter med interna API:er

Interna API:er erbjuder providerspecifika gränssnitt för att fråga efter modeller på Azure Databricks. Använd interna API:er för att få åtkomst till de senaste providerspecifika funktionerna.

Api för OpenAI-svar

API för OpenAI-svar

Python

from openai import OpenAI
import os

DATABRICKS_TOKEN = os.environ.get('DATABRICKS_TOKEN')

client = OpenAI(
  api_key=DATABRICKS_TOKEN,
  base_url="https://<workspace-url>/ai-gateway/openai/v1"
)

response = client.responses.create(
  model="<ai-gateway-endpoint>",
  max_output_tokens=256,
  input=[
    {
      "role": "user",
      "content": [{"type": "input_text", "text": "Hello!"}]
    },
    {
      "role": "assistant",
      "content": [{"type": "output_text", "text": "Hello! How can I assist you today?"}]
    },
    {
      "role": "user",
      "content": [{"type": "input_text", "text": "What is Databricks?"}]
    }
  ]
)

print(response.output)

REST API

curl \
  -u token:$DATABRICKS_TOKEN \
  -X POST \
  -H "Content-Type: application/json" \
  -d '{
    "model": "<ai-gateway-endpoint>",
    "max_output_tokens": 256,
    "input": [
      {
        "role": "user",
        "content": [{"type": "input_text", "text": "Hello!"}]
      },
      {
        "role": "assistant",
        "content": [{"type": "output_text", "text": "Hello! How can I assist you today?"}]
      },
      {
        "role": "user",
        "content": [{"type": "input_text", "text": "What is Databricks?"}]
      }
    ]
  }' \
  https://<workspace-url>/ai-gateway/openai/v1/responses

Ersätt <workspace-url> med url:en för din Azure Databricks arbetsyta och <ai-gateway-endpoint> med ditt Unity AI Gateway-slutpunktsnamn.

Anthropic Messages API

API för antropiska meddelanden

Python

import anthropic
import os

DATABRICKS_TOKEN = os.environ.get('DATABRICKS_TOKEN')

client = anthropic.Anthropic(
  api_key="unused",
  base_url="https://<workspace-url>/ai-gateway/anthropic",
  default_headers={
    "Authorization": f"Bearer {DATABRICKS_TOKEN}",
  },
)

message = client.messages.create(
  model="<ai-gateway-endpoint>",
  max_tokens=256,
  messages=[
    {"role": "user", "content": "Hello!"},
    {"role": "assistant", "content": "Hello! How can I assist you today?"},
    {"role": "user", "content": "What is Databricks?"},
  ],
)

print(message.content[0].text)

REST API

curl \
  -u token:$DATABRICKS_TOKEN \
  -X POST \
  -H "Content-Type: application/json" \
  -d '{
    "model": "<ai-gateway-endpoint>",
    "max_tokens": 256,
    "messages": [
      {"role": "user", "content": "Hello!"},
      {"role": "assistant", "content": "Hello! How can I assist you today?"},
      {"role": "user", "content": "What is Databricks?"}
    ]
  }' \
  https://<workspace-url>/ai-gateway/anthropic/v1/messages

Ersätt <workspace-url> med url:en för din Azure Databricks arbetsyta och <ai-gateway-endpoint> med ditt Unity AI Gateway-slutpunktsnamn.

Google Gemini API

Google Gemini API

Python

from google import genai
from google.genai import types
import os

DATABRICKS_TOKEN = os.environ.get('DATABRICKS_TOKEN')

client = genai.Client(
  api_key="databricks",
  http_options=types.HttpOptions(
    base_url="https://<workspace-url>/ai-gateway/gemini",
    headers={
      "Authorization": f"Bearer {DATABRICKS_TOKEN}",
    },
  ),
)

response = client.models.generate_content(
  model="<ai-gateway-endpoint>",
  contents=[
    types.Content(
      role="user",
      parts=[types.Part(text="Hello!")],
    ),
    types.Content(
      role="model",
      parts=[types.Part(text="Hello! How can I assist you today?")],
    ),
    types.Content(
      role="user",
      parts=[types.Part(text="What is Databricks?")],
    ),
  ],
  config=types.GenerateContentConfig(
    max_output_tokens=256,
  ),
)

print(response.text)

REST API

curl \
  -u token:$DATABRICKS_TOKEN \
  -X POST \
  -H "Content-Type: application/json" \
  -d '{
    "contents": [
      {
        "role": "user",
        "parts": [{"text": "Hello!"}]
      },
      {
        "role": "model",
        "parts": [{"text": "Hello! How can I assist you today?"}]
      },
      {
        "role": "user",
        "parts": [{"text": "What is Databricks?"}]
      }
    ],
    "generationConfig": {
      "maxOutputTokens": 256
    }
  }' \
  https://<workspace-url>/ai-gateway/gemini/v1beta/models/<ai-gateway-endpoint>:generateContent

Ersätt <workspace-url> med url:en för din Azure Databricks arbetsyta och <ai-gateway-endpoint> med ditt Unity AI Gateway-slutpunktsnamn.

Nästa steg

Supervisor-API (Beta) – kör fleromgångsagentarbetsflöden med hostade verktyg via /mlflow/v1/responses

Steg 4. Styra LLM-användning från dina agenter i Databricks-appar med Unity AI Gateway — dirigera LLM-anrop från agenter i Databricks-appar via Unity AI Gateway
Övervaka användning för Unity AI Gateway-slutpunkter
Övervaka modeller med hjälp av slutsatsdragningstabeller
Konfigurera hastighetsgränser för Unity AI Gateway-slutpunkter

Feedback

Var den här sidan till hjälp?

Last updated on 2026-05-03

Fråga Unity AI Gateway-slutpunkter

Kravspecifikation

API:er och integreringar som stöds

Fråga efter slutpunkter med enhetliga API:er

API för slutförande av MLflow-chatt

Python

REST API

API för MLflow-inbäddningar

Python

REST API

Api för övervakare

Python

REST API

Fråga efter slutpunkter med interna API:er

API för OpenAI-svar

Python

REST API

API för antropiska meddelanden

Python

REST API

Google Gemini API

Python

REST API

Nästa steg

Feedback

Ytterligare resurser