Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Model Serving offre strumenti avanzati per il monitoraggio della qualità e dell'integrità dei modelli e delle relative distribuzioni. La tabella seguente offre una panoramica di ogni strumento di monitoraggio disponibile.
| Strumento | Descrizione | Scopo | Access |
|---|---|---|---|
| Log temporanei del servizio | Acquisisce i flussi stdout e stderr dall'endpoint di servizio del modello. |
Utile per il debug durante la distribuzione del modello. Usare logging.warning(...) o logging.error(...) per visualizzare immediatamente i log. |
Accessibile tramite la scheda Log nell'interfaccia utente di servizio. I log vengono trasmessi in tempo reale e possono essere esportati tramite l'API. |
| OpenTelemetry per i modelli personalizzati che servono gli endpoint | Rende persistenti i log di sistema standard, i log delle applicazioni personalizzati, le metriche e le tracce nelle tabelle Delta del Catalogo Unity usando OpenTelemetry per la conservazione a lungo termine. | Utile per il debug cronologico, i requisiti di conformità e l'analisi dei problemi di produzione tramite query SQL. | Configurare le impostazioni di telemetria nell'interfaccia utente o nell'API di gestione durante la creazione dell'endpoint. Eseguire query sui log utilizzando Unity Catalog SQL o i notebook di Azure Databricks. |
| Log di compilazione | Visualizza l'output del processo che crea automaticamente un ambiente Python pronto per la produzione per l'endpoint di gestione del modello. | Utile per la diagnosi dei problemi di distribuzione e dipendenza del modello. | Disponibile al completamento della compilazione del servizio del modello sotto Log di compilazione nella scheda Logs. I log possono essere esportati tramite l'API. Questi log vengono conservati per un massimo di trenta (30) giorni. |
| Metriche di integrità degli endpoint | Fornisce informazioni dettagliate sulle metriche dell'infrastruttura, ad esempio latenza, frequenza delle richieste, frequenza di errore, utilizzo della CPU e utilizzo della memoria. | Importante per comprendere le prestazioni e l'integrità dell'infrastruttura di servizio. | Disponibile per impostazione predefinita nell'interfaccia utente Di servizio per gli ultimi 14 giorni. I dati possono anche essere trasmessi agli strumenti di osservabilità in tempo reale. |
| tabelle di inferenza abilitate da gateway AI | Registra automaticamente le richieste di previsione online e le risposte in tabelle Delta gestite dal catalogo Unity per gli endpoint che gestiscono modelli personalizzati, modelli esterni o carichi di lavoro con throughput assegnato. | Usare questo strumento per il monitoraggio e il debug della qualità o delle risposte del modello, la generazione di set di dati di training o l'esecuzione di controlli di conformità. | Può essere abilitato per gli endpoint esistenti e nuovi del modello quando si abilitano le funzionalità del gateway AI utilizzando l'interfaccia utente di servizio o l'API REST. |
Suggerimento
Usare questi strumenti di monitoraggio per identificare i colli di bottiglia delle prestazioni e ottimizzare gli endpoint. Per strategie di ottimizzazione complete, vedere Ottimizzare gli endpoint di gestione dei modelli per la produzione.