Modèle servant l’observabilité avec Génie Code

Cet article explique comment Genie Code peut vous aider à diagnostiquer les problèmes, à analyser les performances et à obtenir des conseils pour vos points de terminaison de service de modèle.

Exigences

Pour utiliser Genie Code pour l’observabilité du modèle, votre espace de travail a besoin des éléments suivants :

• Les fonctionnalités d'IA propulsées par des partenaires sont activées pour le compte et l'espace de travail. Consultez les fonctionnalités d’IA optimisées par les partenaires.
• Votre espace de travail doit se trouver dans une région prise en charge. Genie Code est un service désigné qui utilise Geos pour gérer la résidence des données. Consultez la disponibilité géographique des fonctionnalités de Genie Code.

Qu’est-ce que Genie Code peut aider ?

Lorsque vous utilisez Genie Code sur une page de point d'accès de déploiement de modèles, il devient un compagnon d’observabilité pour le déploiement de modèles. Il peut analyser l’intégrité des points de terminaison, diagnostiquer les échecs de déploiement, examiner les problèmes de latence et fournir des conseils de bonnes pratiques, tous à partir du volet Génie Code.

Genie Code est un conseiller en mode lecture seule dans ce mode. Il peut inspecter vos points de terminaison et fournir des recommandations, mais il ne peut pas modifier les configurations ou les déploiements. Il contient des instructions claires, pas à pas et des liens vers la documentation afin que vous puissiez apporter des modifications vous-même.

Get started

Pour démarrer :

1. Accédez à une page de point de terminaison de service de modèle.
2. Cliquez sur Pour ouvrir le volet Code Genie.
3. Dans le coin inférieur droit, sélectionnez Agent. Cela bascule sur le mode Agent de Genie Code.
4. Entrez une invite décrivant ce dont vous avez besoin d'aide. Par exemple, « Vérifier l’intégrité de ce point de terminaison » ou « Pourquoi ma latence est-elle si élevée ? »

Capacités

Contrôles d’intégrité et diagnostics

Genie Code peut analyser l’état et la configuration de votre point de terminaison pour identifier les problèmes potentiels :

• Vérifiez l’intégrité du point de terminaison et les états de déploiement.
• Passez en revue la configuration par rapport aux meilleures pratiques.
• Évaluer la mise à l’échelle et l’utilisation des ressources.

Résolution des problèmes et analyse

Genie Code peut vous aider à résoudre les problèmes liés à vos points de terminaison :

• Diagnostiquer les échecs de déploiement à l’aide des journaux de build, des événements et de l’état du point de terminaison.
• Examinez les problèmes de latence élevée ou de délai d’expiration à l’aide de métriques, d’événements et de données de table d’inférence.
• Analysez les modèles d’erreur à partir des journaux de service et des tables d’inférence.
• Identifiez les configurations incorrectes ou les contraintes de ressources.
• Comparez les configurations actuelles et en attente avec l’évaluation des risques.

Conseils et bonnes pratiques

Genie Code contient des recommandations basées sur la configuration de votre point de terminaison :

• Recommandez des configurations de mise à l’échelle optimales pour les charges de travail de production et de développement.
• Expliquer les états et les transitions du point de terminaison.
• Guidez-vous sur la configuration de la supervision et de l’observabilité.
• Recherchez Azure Databricks documentation et fournissez des liens vers des articles pertinents.

Cas d’utilisation

Essayez ces suggestions pour commencer :

• Contrôles d’intégrité :
  • « Vérifiez l’intégrité de ce point de terminaison ».
  • « Mon point de terminaison est-il configuré correctement ? »
  • Vérifiez la configuration de scalabilité de mon point de terminaison.
• Échecs de déploiement :
  • « /diagnostiquer » ou « Pourquoi mon déploiement a-t-il échoué ? »
  • « Aidez-moi à corriger les erreurs de déploiement ».
  • « Mon point de terminaison est bloqué dans un état en attente . »
• Débogage de latence :
  • « Pourquoi ma latence est-elle si élevée ? »
  • « Analyser le pic de latence de ce matin. »
  • « Affichez-moi les métriques de performances pour les 24 dernières heures. »
• Révision de configuration :
  • « Qu’est-ce qui a changé dans ma configuration en attente ? »
  • « Mon paramètre de concurrence est-il approprié en production ? »
  • « Afficher ma configuration de table d’inférence ».
• Historique des demandes :
  • « Afficher les demandes récentes adressées à ce point de terminaison ».
  • « Quelles erreurs les utilisateurs rencontrent-ils ? »
  • « Analyser les modèles d’erreur de la semaine dernière ».

Informations supplémentaires

• Code Génie
• Utiliser le code Genie
• Surveiller la qualité du modèle et l'intégrité des points de terminaison
• Guide de débogage pour la mise en service de modèles
• Optimiser les points de terminaison de service de modèle pour la production