Importare modelli personalizzati con Fuochi d'artificio (anteprima)

Importante

Gli elementi contrassegnati (anteprima) in questo articolo sono attualmente in anteprima pubblica. Questa anteprima viene fornita senza un contratto di servizio e non è consigliabile per i carichi di lavoro di produzione. Alcune funzionalità potrebbero non essere supportate o potrebbero avere funzionalità limitate. Per altre informazioni, vedere Condizioni supplementari per l'utilizzo delle anteprime di Microsoft Azure.

Importare e implementare i pesi del tuo modello personalizzati in Foundry usando il runtime di inferenza Fireworks.

Questo articolo illustra come importare, registrare e distribuire i propri pesi del modello personalizzati in Microsoft Foundry. L'importazione di modelli personalizzati (nota anche come bring your own weights) consente di eseguire all'interno dell'ecosistema Foundry i modelli proprietari o modelli a pesi aperti ottimizzati.

Nota

Questa guida all'importazione di modelli personalizzati usa l'integrazione di Fireworks on Foundry. Per una panoramica dei modelli di catalogo disponibili, delle architetture supportate, della privacy dei dati e delle limitazioni, vedere Usare i modelli Fireworks in Foundry.

Il flusso di lavoro di importazione prevede quattro passaggi:

  1. Preparare i file del modello in un'architettura supportata.
  2. Registrare il modello nel portale Foundry.
  3. Carica pesi del modello usando la CLI di Azure per sviluppatori.
  4. Distribuire il modello nell'infrastruttura di inferenza di Fireworks.

Prerequisiti

Prima di iniziare, assicurarsi che l'ambiente Azure sia configurato e che siano installati gli strumenti necessari. Per completare i passaggi descritti in questo articolo, sono necessarie le risorse e le autorizzazioni seguenti:

Disponibilità dell'area

Il supporto per la distribuzione di modelli personalizzati è disponibile in tutte le aree globali Azure ad eccezione degli ambienti cloud Azure per enti pubblici.

Requisiti del modello

I modelli personalizzati devono corrispondere a un'architettura supportata e includere file specifici per Foundry per registrarli e distribuirli. Esaminare entrambi i requisiti prima di avviare il processo di importazione.

Architetture supportate

I modelli personalizzati devono essere basati su una delle architetture di modello seguenti:

Architettura del modello Versioni
DeepSeek V3.1, V3.2
Kimi K2, K2.5
GLM 4.7, 4.8
OpenAI gpt-oss-120b
Qwen qwen3-14b

File di modello obbligatori

La directory del modello deve includere i file seguenti:

File Descrizione
config.json Configurazione del modello (architettura, iperparametri).
*.safetensors O *.bin Uno o più file dei pesi del modello.
*.index.json Almeno un file di indice pesi che mappa le partizioni di peso.
tokenizer.model, tokenizer.jsono tokenizer_config.json File del tokenizer necessari per il modello.

Importante

Sono supportati solo i modelli completi con quantizzazione originale. Gli adattatori LoRA o i modelli quantizzati personalizzati non sono attualmente supportati in questa anteprima.

Importare un modello personalizzato

Il processo di importazione viene avviato nel portale foundry, in cui si registra il modello e quindi usa l'interfaccia della riga di comando di Azure developer per caricare i pesi del modello dal computer locale.

  1. Accedere al portale Foundry.

  2. Nella home page del portale di Foundry selezionare Compila nel riquadro di spostamento in alto a destra e quindi selezionare Modelli nel riquadro sinistro.

  3. Selezionare la scheda Modelli personalizzati .

  4. Selezionare Aggiungi un modello personalizzato.

    Screenshot della pagina Aggiungi un modello personalizzato.

  5. Configurare le impostazioni seguenti:

    • Nome modello: immettere un nome descrittivo per il modello personalizzato.

    • Architettura del modello di base: selezionare l'architettura del modello corrispondente al modello, ad esempio DeepSeek V3.2 o GLM 4.7.

      Screenshot della finestra Selezionare l'architettura del modello.

  6. Il portale genera un azd comando. Copiare il comando e incollarlo in un terminale locale. Aggiorna il parametro --source in modo che punti alla directory contenente i file dei pesi del modello.

    Suggerimento

    Assicurarsi che la directory specificata contenga tutti i file di modello necessari. I file mancanti causano l'esito negativo dell'importazione.

  7. Attendere il completamento del caricamento. Il tempo di caricamento dipende dalle dimensioni del modello e dalla larghezza di banda di rete. I modelli di grandi dimensioni (decine di gigabyte) possono richiedere una quantità significativa di tempo nelle connessioni standard.

Verificare la registrazione del modello

Al termine del caricamento, verificare che Foundry ha registrato correttamente il modello prima di procedere alla distribuzione.

  1. Tornare al portale Foundry e aggiornare la pagina Modelli personalizzati .

  2. Verificare che il modello personalizzato importato venga visualizzato nell'elenco con stato Registrato .

  3. Selezionare il modello per esaminarne i dettagli, tra cui l'architettura e il manifesto del file.

Distribuire il modello importato

Con il modello registrato, è possibile distribuirlo nel cloud di Fireworks per l'inferenza.

  1. Nell'elenco Modelli personalizzati selezionare il modello personalizzato.

  2. Selezionare Distribuisci.

  3. Configurare la distribuzione:

    • Nome distribuzione: specificare un nome di distribuzione. Durante l'inferenza, questo nome viene usato nel model parametro per instradare le richieste a questa implementazione.
    • Unità di throughput provisionate: allocare il numero di unità di throughput provisionate per la distribuzione. Per ulteriori informazioni, vedere Concetti relativi alla larghezza di banda con provisioning.

  4. Esaminare e confermare le condizioni per i prezzi.

  5. Selezionare Distribuisci.

Al termine della distribuzione, lo stato è Riuscito nell'elenco di distribuzione.

Nota

È possibile avere una sola distribuzione del modello attivo di un modello personalizzato alla volta in un determinato progetto.

Esempi di distribuzione

Usare gli esempi seguenti per automatizzare parti del flusso di lavoro di distribuzione dopo la registrazione del modello personalizzato. Ogni esempio distribuisce il modello personalizzato con 80 unità di velocità effettiva con provisioning globale. Assicurarsi di sostituire tutti i segnaposto con i tuoi dettagli.

PUT https://management.azure.com/subscriptions/{subscription-id}/resourceGroups/{resource-group}/providers/Microsoft.CognitiveServices/accounts/{foundry-account}/deployments/{deployment-name}?api-version=2025-06-01
Authorization: Bearer <access-token>
Content-Type: application/json

{
  "sku": {
    "name": "GlobalProvisionedManaged",
    "capacity": 80
  },
  "properties": {
    "model": {
      "name": "<registered-model-name>",
      "format": "FireworksCustom",
      "version": "1",
      "source": "/subscriptions/{subscription-id}/resourceGroups/{resource-group}/providers/Microsoft.CognitiveServices/accounts/{foundry-account}/projects/{foundry-project}"
    }
  }
}

Testa la distribuzione

Al termine della distribuzione, verificare che funzioni inviando una richiesta di test:

  1. Aprire Foundry Playground.
  2. Scegli la distribuzione personalizzata del tuo modello dall'elenco dei modelli.
  3. Inviare una richiesta di test e verificare che il modello restituisca una risposta valida.

Risoluzione dei problemi

Se si verificano problemi durante l'importazione o la distribuzione, usare la tabella seguente per identificare i problemi e le soluzioni comuni.

Problema Risoluzione
L'importazione non riesce con file mancanti Verificare che la directory del modello contenga tutti i file di modello necessari, tra cui i file di peso, un file di indice e i file del tokenizer.
Incompatibilità dell'architettura Verificare che l'architettura selezionata corrisponda al modello. Consultare architetture supportate.
Timeout del caricamento o blocchi Controllare la connessione di rete e riprovare. Per i modelli di grandi dimensioni, usare una connessione a larghezza di banda elevata stabile.
La distribuzione non riesce Verificare di disporre di una quota sufficiente e che la funzionalità di anteprima di Fireworks sia abilitata e registrata nella sottoscrizione.
Quota superata Richiedere più contingenti o riallocare le unità di throughput provviste da distribuzioni esistenti.

Per altre indicazioni sulla risoluzione dei problemi, vedere Risolvere i problemi relativi a Fuochi d'artificio in Foundry.

Contenuto correlato

Esplorare le risorse seguenti per altre informazioni sui modelli di Fuochi d'artificio, sulle opzioni di distribuzione e sull'autenticazione in Foundry.

  • Last updated on