Freigeben über

AI-Gateway für LLM-Endpunkte

Von Bedeutung

Diese Seite befasst sich mit dem neuen AI-Gateway (sichtbar im linken Navigationselement der Benutzeroberfläche), das sich derzeit in der Betaversion befindet. Kontoadministratoren können den Zugriff auf dieses Feature auf der Seite " Vorschauen " der Kontokonsole aktivieren. Siehe Manage Azure Databricks Previews.

Ausführliche Informationen zur vorherigen Version des AI-Gateways finden Sie unter AI-Gateway für die Bereitstellung von Endpunkten.

Was ist KI-Gateway?

AI Gateway ist die Unternehmenssteuerungsebene für die Steuerung von LLM-Endpunkten und Codierungs-Agents. Verwenden Sie sie, um die Verwendung zu analysieren, Berechtigungen zu konfigurieren und Kapazität über Anbieter hinweg zu verwalten.

Mit AI-Gateway können Sie:

  • Analysieren, wie LLMs und Codierungs-Agents in Ihrer Organisation verwendet werden
  • Verwalten Zugriff auf Azure Databricks-gehostete und externe Modelle
  • Protokollieren Sie den LLM-Datenverkehr über alle Endpunkte im Unity-Katalog
  • Gesundheit von Endpunkten und Anbieterverfügbarkeit überwachen
  • Erzwingen von Geschwindigkeitsgrenzwerten und Schutzschienen
  • Attributkosten für bestimmte Endpunkte, Benutzer und Teams
  • Intelligentes Weiterleiten von Datenverkehr über Anbieter hinweg für Zuverlässigkeit und Lastenausgleich
  • Verteilung des Datenverkehrs über mehrere Modell-Backends zur Erhöhung der Skalierbarkeit
  • Wechseln von Anbietern und Modellen ohne Codeänderungen

Übersicht über das AI-Gateway

Unterstützte Funktionen

In der folgenden Tabelle sind die verfügbaren KI-Gateway-Features definiert:

Merkmal Description
Erlaubnisse Steuern Sie, wer Zugriff auf Ihre Endpunkte hat.
Nutzungsnachverfolgung Überwachen Sie die Nutzung und Kosten mithilfe von Systemtabellen.
Ableitungstabellen Überwachen und Prüfen von Anforderungen und Antworten in Unity Catalog Delta-Tabellen.
Operative Metriken Überwachen sie die Nutzung in Echtzeit.
Ratenbegrenzungen Erzwingen Sie Verbrauchsbeschränkungen auf Endpunkt-, Benutzer- oder Gruppenebene.
Leitplanken Wenden Sie Inhaltsfilterung, vertraulichen Datenschutz und benutzerdefinierte Richtlinien an.
Kostenzuordnung Verfolgen Sie die Kosten auf granularer Ebene nach Endpunkt, Benutzer und Team mithilfe von Endpunkt- und Anforderungstags.
Fallbacks Erhöhen Sie die Zuverlässigkeit durch Routing an mehrere Anbieter, wenn Fehler auftreten.
Aufteilung des Datenverkehrs Verteilen Sie Datenverkehr über mehrere Modell-Back-Ends, um eine bessere Skalierbarkeit und einen Lastenausgleich zu erzielen.
Benutzerdefinierte APIs Steuern Sie benutzerdefinierte und externe APIs mit den gleichen Zugriffssteuerungen, Geschwindigkeitsbeschränkungen und Protokollierung wie LLM-Endpunkte.

Hinweis

KI-Gateway-Features verursachen keine Gebühren während der Betaversion.

AI Gateway verwenden

Azure Databricks stellt AI-Gateway-Endpunkte für beliebte LLMs bereit. Sie können neue Endpunkte erstellen, um Codierungs-Agents und andere Anwendungen zu steuern.

Informationen zu den ersten Schritten finden Sie unter Konfigurieren von AI-Gateway-Endpunkten. Informationen zum Abfragen von API-Endpunkten finden Sie unter AI-Gateway-Endpunkte abfragen. Informationen zum Integrieren von Codierungs-Agents wie Cursor, Gemini CLI, Codex CLI und Claude Code finden Sie unter Integration in Codierungs-Agents.

Schnellstart für Abfragen

Das folgende Beispiel zeigt, wie Sie einen AI-Gateway-Endpunkt mithilfe von Python und dem OpenAI-Client abfragen:

from openai import OpenAI
import os

# To get a Databricks token, see https://docs.databricks.com/dev-tools/auth/pat
DATABRICKS_TOKEN = os.environ.get('DATABRICKS_TOKEN')

client = OpenAI(
    api_key=DATABRICKS_TOKEN,
    base_url="https://<ai-gateway-url>/mlflow/v1"
)

chat_completion = client.chat.completions.create(
    messages=[
        {"role": "user", "content": "Hello!"},
        {"role": "assistant", "content": "Hello! How can I assist you today?"},
        {"role": "user", "content": "What is Databricks?"},
    ],
    model="databricks-gpt-5-2",
    max_tokens=256
)

print(chat_completion.choices[0].message.content)

Ersetzen Sie <ai-gateway-url> durch Ihre AI-Gateway-Endpunkt-URL.

Nächste Schritte

  • Last updated on