Domande frequenti su Azure OpenAI

Azure OpenAI non usa i dati dei clienti per ripetere il training dei modelli. Per ulteriori informazioni, vedere la guida Azure OpenAI sui dati, sulla privacy e sulla sicurezza.

Le API correnti consentono fino a 10 intestazioni personalizzate, che vengono passate attraverso la pipeline e restituite. Alcuni clienti hanno ora superato questo numero di intestazioni, generando errori HTTP 431. Non esiste alcuna soluzione per questo errore, ad eccezione di ridurre il volume dell'intestazione. Nelle versioni future dell'API non passeremo più attraverso intestazioni personalizzate. Consigliamo ai clienti di non dipendere dalle intestazioni personalizzate nelle architetture di sistema future.

Azure OpenAI è supportato dalla versione più recente della libreria di OpenAI Python (versione>=1.0). Tuttavia, è importante notare che la migrazione della codebase usando openai migrate non è supportata e non funzionerà con codice destinato Azure OpenAI.

Azure OpenAI offre ai clienti un'intelligenza artificiale basata sul linguaggio avanzata con i modelli OpenAI più recenti con la promessa di Azure per la sicurezza e l'organizzazione. Azure OpenAI sviluppa le API con OpenAI, garantendo la compatibilità e una transizione uniforme da una all'altra.

Con Azure OpenAI, i clienti ottengono le funzionalità di sicurezza di Microsoft Azure durante l'esecuzione degli stessi modelli di OpenAI.

Sì, Azure OpenAI supporta le reti virtuali e gli endpoint privati. Per altre informazioni, vedere il materiale sussidiario sulla rete virtuale.

In precedenza, il processo di aggiunta di nuovi casi d'uso richiedeva ai clienti di riapplicare il servizio. Verrà ora rilasciato un nuovo processo che consente di aggiungere rapidamente nuovi casi d'uso all'uso del servizio. Questo processo segue il processo di accesso limitato stabilito all'interno di Azure OpenAI. I clienti esistenti possono attestare qualsiasi e tutti i nuovi casi d'uso qui. Si noti che questa operazione è necessaria ogni volta che si vuole usare il servizio per un nuovo caso d'uso per cui non si è originariamente richiesto.

Questo errore si verifica in genere quando si tenta di inviare un batch di testo da incorporare in una singola richiesta API come matrice. Attualmente Azure OpenAI supporta solo matrici di incorporamenti con più input per il modello text-embedding-ada-002 versione 2. Questa versione del modello supporta una matrice costituita da un massimo di 16 input per ogni richiesta API. La matrice può avere una lunghezza massima di 8.191 token quando si usa il modello text-embedding-ada-002 (versione 2).

Azure OpenAI modelli non sono in grado di identificare correttamente quale modello è in esecuzione, e questo è un comportamento previsto.

Perché questo avviene?

In definitiva, il modello esegue la stima del token successiva in risposta alla domanda. Il modello non ha alcuna possibilità nativa di eseguire query sulla versione del modello attualmente in esecuzione per rispondere alla domanda. Per rispondere a questa domanda, è sempre possibile passare a Microsoft Foundry>Deployments o Models + endpoint> e consultare la colonna del nome del modello per verificare quale modello è attualmente associato a un determinato nome di distribuzione.

Le domande "Quale modello è in esecuzione?" o "Qual è il modello più recente di OpenAI?" producono risultati di qualità simili per chiedere al modello quale sarà il meteo oggi. Potrebbe restituire il risultato corretto, ma puramente per caso. Da solo, il modello non dispone di informazioni del mondo reale diverse da quelle che fanno parte dei dati di addestramento. Nel caso di GPT-4, a partire da agosto 2023 i dati di training sottostanti vanno solo fino a settembre 2021. GPT-4 non è stato rilasciato fino a marzo 2023, quindi, a meno che OpenAI non rilasci una nuova versione con dati di allenamento aggiornati o una nuova versione ottimizzata per rispondere a tali domande specifiche, è previsto che GPT-4 risponda affermando che GPT-3 è il modello più recente rilasciato da OpenAI.

Se si vuole aiutare un modello basato su GPT a rispondere in modo accurato alla domanda "quale modello si sta eseguendo?", dovresti fornire tali informazioni al modello tramite tecniche come prompt engineering del messaggio di sistema del modello, Retrieval Augmented Generation (RAG) che è la tecnica usata da Azure OpenAI sui tuoi dati in cui le informazioni aggiornate vengono inserite nel messaggio di sistema al momento della query, o tramite fine-tuning dove puoi ottimizzare versioni specifiche del modello per rispondere a tale domanda in un determinato modo in base alla versione del modello.

Per ulteriori informazioni su come vengono addestrati i modelli GPT e su come funzionano, è consigliabile guardare l'intervento di Andrej Apatia alla Build 2023 sullo stato di GPT.

Assicurarsi che il prompt sia chiaro e specifico sul requisito linguistico. Se il problema persiste, è consigliabile aggiungere più contesto o riformulare il prompt per rafforzare l'istruzione del linguaggio.

Prompt di esempio:

• "Si prega di rispondere in inglese e solo in inglese."
• Rispondi alla seguente domanda: Che tempo fa a Fresno in inglese?

Si tratta di un comportamento previsto. I modelli non sono in grado di rispondere a domande su se stessi. Se desideri sapere qual è la data di interruzione delle conoscenze per i dati di addestramento del modello, consulta la pagina dei modelli.

Si tratta di un comportamento previsto. Per prima cosa non esiste alcuna garanzia che ogni evento recente faccia parte dei dati di training del modello. E anche quando le informazioni sono parte dei dati di addestramento, senza l'utilizzo di tecniche aggiuntive come la Generazione Aumentata tramite Recupero (RAG) per aiutare le risposte del modello a essere fondate, c'è sempre la possibilità che si verifichino risposte non fondate. Sia la funzionalità "usa i tuoi dati" di Azure OpenAI che Bing Chat utilizzano i modelli di Azure OpenAI combinati con la Generazione Aumentata dal Recupero per migliorare la solidità delle risposte dei modelli.

La frequenza con cui una determinata informazione è apparsa nei dati di training può influire anche sulla probabilità che il modello risponda in un determinato modo.

Chiedere al modello qualcosa cambiato di recente, come "Chi è il primo ministro della Nuova Zelanda?", probabilmente porterà a una risposta fabbricata Jacinda Ardern. Tuttavia, chiedendo al modello "Quando si è dimesso Jacinda Ardern come primo ministro?" Tende a produrre una risposta accurata che dimostra conoscenze dei dati di addestramento che risalgono almeno a gennaio 2023.

Pertanto, anche se è possibile sondare il modello con domande per indovinare il limite di conoscenza dei dati di addestramento, la pagina del modello è la posizione migliore per controllare il limite di conoscenza di un modello.

Le informazioni sui prezzi legacy sono disponibili tramite un file PDF scaricabile. Per tutti gli altri modelli, consultare la pagina ufficiale dei prezzi.

È possibile ridurre al minimo l'occorrenza di questi errori riducendo la temperatura dei prompt a meno di 1 e assicurandosi di usare un client con logica di ripetizione dei tentativi. La ripetizione della richiesta comporta spesso una risposta con esito positivo.

Si tratta di un problema noto. È possibile ridurre al minimo l'occorrenza di questi errori riducendo la temperatura dei prompt a meno di 1 e assicurandosi di usare un client con logica di ripetizione dei tentativi. La ripetizione della richiesta comporta spesso una risposta con esito positivo.

Se la riduzione della temperatura a meno di 1 non riduce la frequenza di questo errore, una soluzione alternativa consiste nell'impostare penalità di presenza/frequenza e distorsioni logit sui valori predefiniti. In alcuni casi, può essere utile impostare top_p un valore non predefinito inferiore per incoraggiare il modello a evitare token di campionamento con token di probabilità inferiori.

Se il servizio esegue l'elaborazione, verrà addebitato anche se il codice di stato avrà esito negativo (non 200). Esempi comuni di questo tipo sono un errore 400 a causa di un filtro dei contenuti o un errore 408 causato da un'interruzione per timeout. Gli addebiti si verificheranno anche quando viene ricevuto un status 200 con un finish_reason di content_filter. In questo caso la richiesta non ha avuto problemi, ma il completamento generato dal modello è stato rilevato che viola le regole di filtro del contenuto, con conseguente filtraggio del completamento. Se il servizio non esegue l'elaborazione, non verrà addebitato alcun addebito. Ad esempio, un errore 401 a causa dell'autenticazione o di un errore 429 dovuto al superamento del limite di velocità.

No, tutti i modelli OpenAI Azure non supportano max_completion_tokens. Questo parametro non è supportato con modelli meno recenti come gpt-4 (turbo-2024-04-09).

Non è necessario un modulo di registrazione accesso limitato per accedere alla maggior parte dei modelli OpenAI Azure. Altre informazioni sono disponibili nella pagina Azure OpenAI Limited Access.

Questo comportamento è previsto quando si usa l'esperienza di accesso predefinita per Microsoft Foundry.

Per accedere a Microsoft Foundry da un account guest a cui è stato concesso l'accesso a una risorsa OpenAI Azure:

1. Aprire una sessione del browser privato e quindi passare a https://ai.azure.com.
2. Invece di immettere immediatamente le credenziali dell'account guest, selezionare Sign-in options
3. Selezionare ora Accedi a un'organizzazione
4. Immettere il nome di dominio dell'organizzazione che ha concesso all'account guest l'accesso alla risorsa OpenAI Azure.
5. Accedere ora con le credenziali dell'account guest.

È ora possibile accedere alla risorsa tramite il portale Microsoft foundry.

In alternativa, se si è connessi al portale di Azure dal riquadro Panoramica della risorsa OpenAI Azure è possibile selezionare Go a Microsoft Foundry per accedere automaticamente con il contesto aziendale appropriato.

Per gli aggiornamenti mensili, vedere la pagina delle novità.

Scopri il nostro corso introduttivo di formazione su Azure OpenAI.

• È consigliabile pubblicare domande su Microsoft Q& A.
• In alternativa, è possibile pubblicare domande su Stack Overflow.

È possibile ottenere informazioni su tutte le opzioni di supporto per Azure OpenAI nella guida Opzioni di Supporto e Aiuto.

Consultare la guida alla disponibilità Azure OpenAI model.

Per la disponibilità della regione, consultare la guida alla disponibilità dei modelli di Azure OpenAI.

Viene offerto un contratto di servizio di disponibilità per tutte le risorse e un contratto di servizio di latenza per le distribuzioni di Provisioned-Managed. Per altre informazioni sul contratto di servizio per Servizio Azure OpenAI, vedere la pagina Service Level Agreement (SLA) per Online Services.

Per accedere correttamente al fine-tuning, è necessario che il ruolo utente di Azure AI sia assegnato. Anche un utente con autorizzazioni di amministratore del servizio di alto livello avrebbe comunque bisogno di questo account impostato in modo esplicito per accedere all'ottimizzazione. Per altre informazioni, vedere le linee guida per il controllo degli accessi in base al ruolo.

Un modello di base è un modello che non è stato personalizzato o ottimizzato per un caso d'uso specifico. I modelli ottimizzati sono versioni personalizzate dei modelli di base in cui i pesi di un modello vengono addestrati su un insieme univoco di istruzioni. I modelli ottimizzati consentono di ottenere risultati migliori su un numero più ampio di attività senza dover fornire esempi dettagliati per l'apprendimento nel contesto come parte della richiesta di completamento. Per altre informazioni, vedere la guida all'ottimizzazione.

100

Se un modello personalizzato (ottimizzato) viene distribuito per più di 15 giorni durante i quali non vengono effettuate chiamate di completamento o completamento della chat, la distribuzione viene eliminata automaticamente (e non vengono addebitati altri addebiti per l'hosting per tale distribuzione). Il modello personalizzato sottostante rimane disponibile e può essere ridistribuibile in qualsiasi momento. Per altre informazioni, vedere l'articolo sulle procedure.

Attualmente sono disponibili due API REST diverse che consentono la distribuzione del modello. Per le funzionalità di distribuzione del modello più recenti, ad esempio la possibilità di specificare una versione del modello durante la distribuzione per modelli come text-embedding-ada-002 Versione 2, usare la chiamata all'API REST Deployments - Create Or Update .

No, l'allocazione dei token per minuto (TPM) non è correlata al limite massimo di token di input di un modello. I limiti dei token di input del modello sono definiti nella tabella dei modelli e non sono interessati dalle modifiche apportate a TPM.

Attualmente è supportato PNG (.png), JPEG (.jpeg e .jpg), WEBP (.webp) e GIF nonanimated (.gif).

Sì, i caricamenti delle immagini vengono limitati a 50 MB per ogni immagine.

No, l'immagine verrà eliminata automaticamente dopo che è stata elaborata dal modello.

Le immagini vengono elaborate a livello di token, quindi ogni immagine elaborata viene conteggiata nel limite di token per minuto (TPM). Vedere la sezione Token immagine della panoramica per informazioni dettagliate sulla formula usata per determinare il numero di token per ogni immagine.

No, il modello non riceve i metadati dell'immagine.

Se un'immagine è ambigua o poco chiara, il modello farà del suo meglio per interpretarlo. Tuttavia, i risultati potrebbero essere meno accurati. Una buona regola generale è che se una media umana non può visualizzare le informazioni in un'immagine alle risoluzioni usate in modalità res bassa/alta, il modello non può neanche.

Vedere la sezione limitazioni della guida ai concetti relativi a GPT-4 Turbo with Vision.

Per impostazione predefinita, GPT-4 vision-preview e GPT-4 turbo-2024-04-09 hanno un max_tokens valore pari a 16. A seconda della richiesta, questo valore è spesso troppo basso e può causare risposte troncate. Per risolvere questo problema, passa un valore max_tokens maggiore come parte delle richieste API di completamento della chat. Per impostazione predefinita, GPT-4o utilizza 4096 *max_tokens*.

Sì. A differenza dell'API Completamento chat, Gli assistenti Azure OpenAI sono un'API che mantiene lo stato, ovvero conserva i dati. Nell'API Assistants sono archiviati due tipi di dati:

• Entità con stato: thread, messaggi ed esecuzioni creati durante l'uso degli assistenti.
• File: caricati durante la configurazione degli assistenti o come parte di un messaggio.

I dati vengono archiviati in un account di archiviazione sicuro e gestito Microsoft separato logicamente.

Tutti i dati usati vengono mantenuti in questo sistema, a meno che non si eliminino in modo esplicito questi dati. Usare la funzione delete con l'ID thread del thread da eliminare. La cancellazione di Run in the Assistants Playground non elimina i thread, ma l'eliminazione tramite la funzione di eliminazione non li elenca nella pagina del thread.

No. Attualmente Assistants supporta solo i file locali caricati nell'archiviazione gestita da Assistants. Non è possibile usare l'account di archiviazione privato con gli Assistenti.

Oggi supportiamo CMK per Thread e File in Assistenti.

No. I dati non vengono utilizzati da Microsoft per l'addestramento dei modelli. Per altre informazioni, vedere la documentazione sull'intelligenza artificiale responsabile .

Azure gli endpoint degli assistenti OpenAI sono a livello di area e i dati vengono archiviati nella stessa area dell'endpoint. Per altre informazioni, vedere la documentazione relativa alla residenza dei dati Azure.

• Costo di inferenza (input e output) del modello di base usato per ogni Assistente (ad esempio gpt-4-0125). Se sono stati creati più assistenti, verrà addebitato il modello di base associato a ogni Assistente.
• Se è stato abilitato lo strumento Interprete del codice. Ad esempio, se l'assistente chiama l'interprete del codice contemporaneamente in due thread diversi, verranno create due sessioni dell'interprete del codice, ognuna delle quali verrà addebitata. Ogni sessione è attiva per impostazione predefinita per un'ora, il che significa che si paga questa tariffa solo una volta se l'utente continua a fornire istruzioni all'interprete del codice nello stesso thread per un massimo di un'ora.
• La ricerca di file viene fatturata in base all'archiviazione vettoriale usata.

Per altre informazioni, vedere la pagina dei prezzi.

No. Tutte le quote si applicano all'uso di modelli con Assistenti.

L'API Assistants supporta solo Azure modelli OpenAI.

L'API Assistants è attualmente in anteprima pubblica. Rimanere informati sugli ultimi aggiornamenti dei prodotti visitando regolarmente la nostra pagina Novità .

Per informazioni introduttive su come iniziare e usare gli Assistenti, vedere gli articoli concettuali e pratici. È anche possibile consultare esempi di codice degli assistenti Azure OpenAI su GitHub.

È possibile personalizzare l'app Web pubblicata nel portale di Azure. Il codice sorgente per l'app Web pubblicata è disponibile in GitHub, in cui è possibile trovare informazioni sulla modifica del front-end dell'app, nonché istruzioni per la compilazione e la distribuzione dell'app.

Il codice dell'app non verrà sovrascritto quando aggiorni l'app. L'app verrà aggiornata per usare la risorsa Azure OpenAI, l'indice di ricerca Azure AI (se si utilizza Azure OpenAI sui dati) e le impostazioni del modello selezionate nel portale Microsoft Foundry senza modificare l'aspetto o la funzionalità.

Azure OpenAI sui dati è una funzionalità del Azure OpenAI che consente alle organizzazioni di generare informazioni dettagliate, contenuti e ricerche personalizzati usando le origini dati designate. Funziona con le funzionalità dei modelli OpenAI in Azure OpenAI per fornire risposte più accurate e pertinenti alle query utente in linguaggio naturale. Azure OpenAI sui dati può essere integrato con le applicazioni e i flussi di lavoro esistenti del cliente, offre informazioni dettagliate sugli indicatori di prestazioni chiave e può interagire facilmente con gli utenti.

Tutti i clienti di Azure OpenAI possono utilizzare Azure OpenAI sui propri dati tramite il portale Microsoft Foundry e l'API REST.

Azure OpenAI sui dati supporta l'inserimento da Azure AI Search, Archiviazione BLOB di Azure e caricamento di file locali. Per ulteriori informazioni su Azure OpenAI sui tuoi dati, è possibile consultare l'articolo concettuale e la guida introduttiva.

Quando si usa Azure OpenAI sui dati, si comportano costi quando si usano Azure AI Search, Archiviazione BLOB di Azure, Azure servizio app Web, ricerca semantica e modelli OpenAI. Non sono previsti costi aggiuntivi per l'uso della funzionalità "dati" nel portale di Microsoft Foundry.

È possibile preparare l'indice usando un script fornito in GitHub. L'uso di questo script creerà un indice Azure AI Search con tutte le informazioni necessarie per usare meglio i dati, con i documenti suddivisi in blocchi gestibili. Per informazioni dettagliate su come eseguirlo, vedere il file README con il codice di preparazione dei dati.

È possibile schedule un aggiornamento automatico dell'indice oppure caricare dati aggiuntivi nel contenitore BLOB Azure e usarli come origine dati quando si crea un nuovo indice. Il nuovo indice includerà tutti i dati nel contenitore.

Per altre informazioni sui tipi di file supportati, vedere Uso dei dati .

Sì, Azure OpenAI nei dati fa parte di Azure OpenAI e funziona con models disponibile in Azure OpenAI. Le funzionalità di filtro content e di monitoraggio improprio di Azure OpenAI sono ancora valide. Per ulteriori informazioni, vedere la panoramica delle pratiche di intelligenza artificiale responsabile per i modelli Azure OpenAI per indicazioni su come utilizzare Azure OpenAI sui dati in modo responsabile.

Sì, il limite di token nel messaggio di sistema è 400. Se il messaggio di sistema è maggiore di 400 token, il resto dei token oltre i primi 400 verrà ignorato. Questa limitazione si applica solo alla funzionalità di Azure OpenAI sui dati.

Azure OpenAI sui dati attualmente non supporta la chiamata di funzioni.

È necessario inviare query nella stessa lingua dei dati. I dati possono trovarsi in qualsiasi linguaggio supportato da Azure AI Search.

Quando si seleziona "Azure AI Search" come origine dati, è possibile scegliere di applicare la ricerca semantica. Se si seleziona "Azure Contenitore BLOB" o "Carica file" come origine dati, è possibile creare l'indice come di consueto. Successivamente si eseguirà il ripristino dei dati usando l'opzione "Azure AI Search" per selezionare lo stesso indice e applicare la ricerca semantica. Sarà quindi possibile chattare sui dati con la ricerca semantica applicata.

Quando si seleziona "Azure Blob Container", "Azure AI Search" o "Carica file" come origine dati, è anche possibile selezionare una distribuzione del modello Ada di incorporamento da usare per l'inserimento dei dati. Verrà creato un indice Azure AI Search con incorporamenti vettoriali.

La creazione dell'indice può non riuscire quando si aggiungono incorporamenti all'indice se il limite di frequenza per la distribuzione del modello di incorporamento di Ada è troppo basso o se si dispone di un set di documenti molto grande. È possibile usare questo script fornito in GitHub per creare l'indice con incorporamenti manualmente.

L'impegno per il copyright del cliente è una disposizione da includere nelle Condizioni dei prodotti Microsoft del 1° dicembre 2023, che descrive l'obbligo di Microsoft di difendere i clienti da determinate rivendicazioni di proprietà intellettuale di terze parti relative al contenuto di output. Se l'oggetto dell'attestazione è Contenuto di output generato dalla Azure OpenAI (o qualsiasi altro prodotto coperto che consente ai clienti di configurare i sistemi di sicurezza), per ricevere la copertura, il cliente deve aver implementato tutte le mitigazioni richieste dalla documentazione openAI Azure nell'offerta che ha fornito il contenuto di output. Le mitigazioni necessarie sono documentate qui e aggiornate in modo continuativo. Per i nuovi servizi, funzionalità, modelli o casi d'uso, verranno pubblicati nuovi requisiti CCC e saranno applicati al lancio di tale servizio, funzionalità, modello o caso d'uso. In caso contrario, i clienti avranno sei mesi dal momento della pubblicazione per implementare nuove mitigazioni per mantenere la copertura sotto il CCC. Se un cliente esegue una richiesta, il cliente dovrà dimostrare la conformità ai requisiti pertinenti. Queste mitigazioni sono necessarie per i prodotti coperti che consentono ai clienti di configurare i sistemi di sicurezza, inclusi i Servizio Azure OpenAI; non influiscono sulla copertura per i clienti che usano altri prodotti coperti.

Passaggi successivi

• Quote e limiti di Azure OpenAI
• Novità Azure OpenAI
• introduzione rapida Azure OpenAI