Unity AI Gateway para agentes y LLM

Important

En esta página se describe la nueva instancia de AI Gateway (visible en el panel de navegación izquierdo de la interfaz de usuario), que se encuentra actualmente en beta. Los administradores de cuentas pueden habilitar el acceso a esta característica en la página Vista previa de la consola de la cuenta. Consulte Administrar Azure Databricks versiones preliminares.

Para más información sobre la versión anterior de Unity AI Gateway, consulte Unity AI Gateway para gestionar puntos de conexión.

Nota:

Unity AI Gateway no se admite en AWS GovCloud ni en Azure Government.

¿Qué es Unity AI Gateway?

Unity AI Gateway es el plano de control empresarial para gobernar puntos de conexión, agentes y herramientas de codificación de LLM. Úselo para analizar el uso, configurar permisos y administrar la capacidad entre proveedores.

Con Unity AI Gateway, puede hacer lo siguiente:

  • Analizar cómo se usan las herramientas de codificación, agentes y LLM en su organización
  • Govern acceso a modelos Azure Databricks hospedados y externos
  • Registrar el tráfico del LLM en todos los puntos de conexión al Unity Catalog
  • Supervisión del estado del punto de conexión y la disponibilidad del proveedor
  • Aplicar límites de tasa y restricciones
  • Costos de atributos para puntos de conexión, usuarios y equipos específicos
  • Enrutar el tráfico de forma inteligente entre proveedores para lograr confiabilidad y equilibrio de carga
  • Distribuir el tráfico entre varios backends de modelo para la escalabilidad
  • Cambiar proveedores y modelos sin cambios de código

Introducción a ai-gateway

Características compatibles

En la tabla siguiente se definen las características disponibles de Unity AI Gateway:

Característica Description
Permissions Controla quién tiene acceso a los puntos de conexión.
Seguimiento de uso Supervise el uso y los costos mediante tablas del sistema.
Tablas de inferencia Supervise y audite las solicitudes y respuestas en las tablas Delta del catálogo de Unity.
Métricas operativas Supervise el uso en tiempo real.
Límites de velocidad Aplique los límites de consumo en el nivel de punto de conexión, usuario o grupo.
Límites de protección Aplique el filtrado de contenido, la protección de datos confidenciales y las directivas personalizadas.
Atribución de costos Realice un seguimiento de los costos en un nivel granular por punto de conexión, usuario y equipo mediante etiquetas de punto de conexión y solicitud.
Fallbacks Aumente la confiabilidad mediante el enrutamiento a varios proveedores cuando se produzcan errores.
División del tráfico Distribuya el tráfico entre varios back-end del modelo para mejorar la escalabilidad y el equilibrio de carga.
API personalizadas Controle las API personalizadas y externas con los mismos controles de acceso, límites de velocidad y monitorización de registros que los endpoints LLM.

Nota:

Las características de Unity AI Gateway no incurren en cargos durante la versión beta.

Uso de Unity AI Gateway

Azure Databricks proporciona endpoints de Unity AI Gateway para LLMs populares. Puede crear nuevos puntos de conexión para controlar agentes, herramientas de codificación y otras aplicaciones.

Para empezar, consulte Configuración de puntos de conexión de Unity AI Gateway. Para consultar puntos de conexión, consulte Consulta de puntos de conexión de Unity AI Gateway. Para integrar agentes de codificación como Cursor, Cli de Gemini, Cli del Codex y Claude Code, consulte Integración con agentes de codificación. Para enrutar llamadas LLM desde los agentes que cree e implemente en las aplicaciones de Databricks a través de Unity AI Gateway, consulte el paso 4. Gestione el uso de LLM desde sus agentes en las aplicaciones de Databricks con Unity AI Gateway.

Guía de inicio rápido de consultas

En el ejemplo siguiente se muestra cómo consultar un punto de conexión de Unity AI Gateway mediante Python y el cliente openAI:

from openai import OpenAI
import os

# To get a Databricks token, see https://docs.databricks.com/dev-tools/auth/pat
DATABRICKS_TOKEN = os.environ.get('DATABRICKS_TOKEN')

client = OpenAI(
    api_key=DATABRICKS_TOKEN,
    base_url="https://<workspace-url>/ai-gateway/mlflow/v1"
)

chat_completion = client.chat.completions.create(
    messages=[
        {"role": "user", "content": "Hello!"},
        {"role": "assistant", "content": "Hello! How can I assist you today?"},
        {"role": "user", "content": "What is Databricks?"},
    ],
    model="databricks-gpt-5-2",
    max_tokens=256
)

print(chat_completion.choices[0].message.content)

Reemplace <workspace-url> por la dirección URL del área de trabajo de Azure Databricks.

Pasos siguientes

  • Last updated on