Passerelle IA Unity pour les agents et les machines virtuelles LL

Important

Cette page couvre la nouvelle passerelle IA (visible dans la navigation gauche de l’interface utilisateur), qui est actuellement en version bêta. Les administrateurs de compte peuvent activer l’accès à cette fonctionnalité dans la page Aperçus de la console de compte. Consultez les aperçus Manage Azure Databricks.

Pour plus d’informations sur la version précédente de Unity AI Gateway, consultez Unity AI Gateway pour la gestion des points de terminaison.

Note

Unity AI Gateway n’est pas pris en charge sur AWS GovCloud ou Azure Government.

Qu’est-ce que Unity AI Gateway ?

Unity AI Gateway est le plan de contrôle d’entreprise pour la gouvernance des points de terminaison, des agents et des outils de codage LLM. Utilisez-le pour analyser l’utilisation, configurer les autorisations et gérer la capacité entre les fournisseurs.

Avec Unity AI Gateway, vous pouvez :

  • Analyser l’utilisation de LLMs, d’agents et d’outils de codage dans votre organisation
  • Gérer l’accès aux modèles hébergés sur Azure Databricks et externes
  • Enregistrer le trafic LLM à partir de tous les points de terminaison vers Unity Catalog
  • Surveiller l’intégrité du point de terminaison et la disponibilité du fournisseur
  • Appliquer les limites de débit et les garde-fous
  • Attribuer des coûts aux points de terminaison, utilisateurs et équipes spécifiques
  • Acheminer le trafic intelligemment entre les fournisseurs pour la fiabilité et l’équilibrage de charge
  • Fractionner le trafic entre plusieurs back-ends de modèle pour l’extensibilité
  • Changer de fournisseur et de modèle sans modification de code

Vue d’ensemble de l’ia-gateway

Fonctionnalités prises en charge

Le tableau suivant définit les fonctionnalités unity AI Gateway disponibles :

Caractéristique Descriptif
Permissions Contrôler qui a accès à vos points de terminaison.
Suivi de l’utilisation Surveillez l’utilisation et les coûts à l’aide des tables système.
Tables d’inférence Surveillez et auditez les demandes et les réponses dans les tables Delta du catalogue Unity.
Métriques opérationnelles Surveillez l’utilisation en temps réel.
Limites du taux de transfert Appliquez les limites de consommation au niveau du point de terminaison, de l’utilisateur ou du groupe.
Garde-corps Appliquez le filtrage de contenu, la protection des données sensibles et les stratégies personnalisées.
Attribution des coûts Suivez les coûts à un niveau granulaire par point de terminaison, utilisateur et équipe à l’aide de balises de point de terminaison et de requête.
Fallbacks Augmentez la fiabilité en route vers plusieurs fournisseurs lorsque des défaillances se produisent.
Fractionnement du trafic Distribuez le trafic entre plusieurs back-ends de modèle pour améliorer la scalabilité et l’équilibrage de charge.
API personnalisées Régir les API personnalisées et externes avec les mêmes contrôles d’accès, limites de débit et journalisation que les points de terminaison LLM.

Note

Les fonctionnalités unity AI Gateway n’entraînent pas de frais pendant la version bêta.

Utiliser Unity AI Gateway

Azure Databricks fournit des points de terminaison Unity AI Gateway pour les machines virtuelles llms populaires. Vous pouvez créer de nouveaux points de terminaison pour régir les agents, les outils de codage et d’autres applications.

Pour commencer, consultez Configurer les points de terminaison Unity AI Gateway. Pour interroger des points de terminaison, consultez Interroger les points de terminaison de la passerelle Unity AI. Pour intégrer des agents de codage tels que Cursor, Gemini CLI, Codex CLI et Claude Code, consultez Intégrer à des agents de codage. Pour router les appels LLM depuis les agents que vous créez et déployez sur Databricks Apps via Unity AI Passerelle, consultez l'étape 4. Gouverner l’utilisation de LLM depuis vos agents sur Databricks Apps avec Unity AI Passerelle.

Démarrage rapide des requêtes

L’exemple suivant montre comment interroger un point de terminaison Unity AI Gateway à l’aide de Python et du client OpenAI :

from openai import OpenAI
import os

# To get a Databricks token, see https://docs.databricks.com/dev-tools/auth/pat
DATABRICKS_TOKEN = os.environ.get('DATABRICKS_TOKEN')

client = OpenAI(
    api_key=DATABRICKS_TOKEN,
    base_url="https://<workspace-url>/ai-gateway/mlflow/v1"
)

chat_completion = client.chat.completions.create(
    messages=[
        {"role": "user", "content": "Hello!"},
        {"role": "assistant", "content": "Hello! How can I assist you today?"},
        {"role": "user", "content": "What is Databricks?"},
    ],
    model="databricks-gpt-5-2",
    max_tokens=256
)

print(chat_completion.choices[0].message.content)

Remplacez <workspace-url> par l’URL de votre espace de travail Azure Databricks.

Prochaines étapes

  • Last updated on