Limiti e aree di disponibilità di Model Serving

Questo articolo riepiloga le limitazioni e la disponibilità dell'area per la gestione del modello di Azure Databricks e i tipi di endpoint supportati.

Limiti delle risorse e del carico utile

Model Serving impone limiti predefiniti per garantire prestazioni affidabili. Se hai commenti o suggerimenti su questi limiti, contatta il team del tuo account Databricks.

I limiti in questa sezione si applicano solo agli endpoint dell'agente di intelligenza artificiale e del modello personalizzato. Per le API del modello di base e i limiti di risorse e payload del modello esterno, vedere Limiti e quote delle API del modello di base.

Modelli personalizzati e agenti di intelligenza artificiale

:::

Limitazioni di rete e sicurezza

• Gli endpoint di gestione dei modelli sono protetti dal controllo di accesso e rispettano le regole di ingresso correlate alla rete configurate nell'area di lavoro, ad esempio gli elenchi di indirizzi IP consentiti e il collegamento privato.
• La connettività privata (come il Collegamento Privato di Azure) è supportata solo per gli endpoint di servizio del modello che utilizzano la larghezza di banda effettiva fornita o gli endpoint che gestiscono modelli personalizzati.
• Per impostazione predefinita, Model Serving non supporta collegamento privato agli endpoint esterni (ad esempio Azure OpenAI). Il supporto per questa funzionalità viene valutato e implementato in base all'area. Per maggiori informazioni, contattare il team dell'account Azure Databricks.
• Model Serving non fornisce patch di sicurezza alle immagini del modello esistenti a causa del rischio di destabilizzazione nelle implementazioni di produzione. A contenere le patch più recenti sarà una nuova immagine del modello creata da una nuova versione. Per maggiori informazioni, contattare il team responsabile dell'account Databricks.

Standard del profilo di sicurezza della conformità: carichi di lavoro della CPU

La tabella seguente elenca gli standard di conformità dei profili di sicurezza supportati per la funzionalità di gestione dei modelli di base nei carichi di lavoro della CPU.

Limiti delle API dei modelli di base

Per informazioni dettagliate sulle API del modello di base, inclusi i limiti delle risorse e del payload per i modelli di base e esterni, vedere Limiti e quote della frequenza delle API del modello di base.

Disponibilità a livello di area

Se l'area di lavoro viene distribuita in un'area che supporta la gestione del modello ma viene gestita da un piano di controllo in un'area non supportata, l'area di lavoro non supporta la gestione del modello. Se si tenta di usare la gestione del modello in un'area di lavoro di questo tipo, verrà visualizzato un messaggio di errore che informa che l'area di lavoro non è supportata. Per maggiori informazioni, contattare il team dell'account Azure Databricks.

Per altre informazioni sulla disponibilità a livello di area di ogni funzionalità di gestione dei modelli, vedere Disponibilità delle funzionalità di gestione dei modelli.

Per la disponibilità dell'area del modello di base ospitata da Databricks, vedere Modelli di base ospitati in Databricks.