Unity AI Gateway para agentes e LLMs

Importante

Esta página trata do novo AI Gateway (visível na navegação à esquerda da interface), que está atualmente em Beta. Os administradores de contas podem ativar o acesso a esta funcionalidade na página de Pré-visualizações da consola da conta. Ver Gerir pré-visualizações Azure Databricks.

Para detalhes sobre a versão anterior do Unity AI Gateway, consulte Unity AI Gateway para servir endpoints.

Observação

O Unity AI Gateway não é suportado no AWS GovCloud nem no Azure Government.

O que é o Unity AI Gateway?

Unity AI Gateway é o plano de controlo empresarial para gerir endpoints LLM, agentes e ferramentas de programação. Use-o para analisar a utilização, configurar permissões e gerir a capacidade entre fornecedores.

Com o Unity AI Gateway, pode:

  • Analise como os LLMs, agentes e ferramentas de codificação são usados na sua organização
  • Govern acesso a modelos alojados no Azure Databricks e a modelos externos
  • Registar tráfego LLM em todos os pontos finais no Unity Catalog
  • Monitorizar o estado do endpoint e a disponibilidade do prestador
  • Aplicar limitação de frequência e medidas de segurança
  • Atribuir custos a endpoints específicos, utilizadores e equipas
  • Encaminhe o tráfego de forma inteligente entre fornecedores para garantir fiabilidade e balanceamento de carga
  • Dividir o tráfego entre múltiplos backends de modelos para maior escalabilidade
  • Mudar entre fornecedores e modelos sem alterações de código

Visão geral do IA-Gateway

Funcionalidades suportadas

A tabela seguinte define as funcionalidades disponíveis do Unity AI Gateway:

Característica Description
Permissions Controla quem tem acesso aos teus endpoints.
Rastreio de utilização Monitorizar o uso e os custos usando tabelas do sistema.
Tabelas de inferência Monitorizar e auditar pedidos e respostas nas tabelas Delta do Unity Catalog.
Métricas operacionais Monitorizar a utilização em tempo real.
Limites de taxa Impõe limites de consumo ao nível do endpoint, utilizador ou grupo.
Guarda-corpos Aplique filtragem de conteúdo, proteção de dados sensíveis e políticas personalizadas.
Atribuição de custos Acompanhe os custos a um nível granular por endpoint, utilizador e equipa, usando etiquetas de endpoint e de pedido.
Fallbacks Aumente a fiabilidade encaminhando para múltiplos fornecedores quando ocorrem falhas.
Divisão de tráfego Distribuir o tráfego entre múltiplos backends de modelos para melhor escalabilidade e balanceamento de carga.
APIs Personalizadas Gere as APIs personalizadas e externas com os mesmos controlos de acesso, limitações de taxa e registos que os endpoints LLM.

Observação

As funcionalidades do Unity AI Gateway não têm custos durante a Beta.

Utilizar o Unity AI Gateway

O Azure Databricks fornece endpoints Unity AI Gateway para LLMs populares. Pode criar novos endpoints para governar agentes, ferramentas de codificação e outras aplicações.

Para começar, consulte Configurar endpoints do Unity AI Gateway. Para consultar endpoints, consulte Consultar os terminais do Unity AI Gateway. Para integrar agentes de codificação como Cursor, Gemini CLI, Codex CLI e Claude Code, veja Integrar com agentes de codificação. Para encaminhar chamadas LLM de agentes que cria e implementa nas aplicações Databricks através do Unity AI Gateway, veja o Passo 4. Regule o uso de LLMs pelos seus agentes nas aplicações Databricks com o Unity AI Gateway.

Consulta de início rápido

O exemplo seguinte mostra como consultar um endpoint Unity AI Gateway usando Python e o cliente OpenAI:

from openai import OpenAI
import os

# To get a Databricks token, see https://docs.databricks.com/dev-tools/auth/pat
DATABRICKS_TOKEN = os.environ.get('DATABRICKS_TOKEN')

client = OpenAI(
    api_key=DATABRICKS_TOKEN,
    base_url="https://<workspace-url>/ai-gateway/mlflow/v1"
)

chat_completion = client.chat.completions.create(
    messages=[
        {"role": "user", "content": "Hello!"},
        {"role": "assistant", "content": "Hello! How can I assist you today?"},
        {"role": "user", "content": "What is Databricks?"},
    ],
    model="databricks-gpt-5-2",
    max_tokens=256
)

print(chat_completion.choices[0].message.content)

Substitua <workspace-url> pelo URL do seu Azure Databricks espaço de trabalho.

Próximos passos

  • Last updated on