Importieren von benutzerdefinierten Modellen mit Feuerwerk (Vorschau)

Wichtig

In diesem Artikel markierte Elemente (Vorschau) befinden sich derzeit in der öffentlichen Vorschau. Diese Vorschau wird ohne Vereinbarung auf Serviceebene bereitgestellt und wird für Produktionsworkloads nicht empfohlen. Bestimmte Features werden möglicherweise nicht unterstützt oder weisen eingeschränkte Funktionen auf. Weitere Informationen finden Sie unter Supplementale Nutzungsbedingungen für Microsoft Azure Previews.

Importieren und bereitstellen Sie ihre eigenen Modellgewichte auf Foundry mithilfe der Feuerwerks-Ableitungslaufzeit.

In diesem Artikel erfahren Sie, wie Sie ihre eigenen benutzerdefinierten Modellgewichte in Microsoft Foundry importieren, registrieren und bereitstellen. Mit dem Import von benutzerdefinierten Modellen (auch bekannt als bring your own weights) können Sie Ihre proprietären oder fein abgestimmten Modelle mit offenen Gewichten im Foundry-Ökosystem ausführen.

Hinweis

Dieser benutzerdefinierte Modell-Import-Leitfaden verwendet "Fireworks on Foundry" für die Integration. Eine Übersicht über verfügbare Katalogmodelle, unterstützte Architekturen, Datenschutz und Einschränkungen finden Sie unter Verwenden von Feuerwerksmodellen in Foundry.

Der Importworkflow verfügt über vier Schritte:

  1. Bereiten Sie Ihre Modelldateien in einer unterstützten Architektur vor.
  2. Registrieren Sie das Modell im Foundry-Portal.
  3. Hochladen Modellgewichte mithilfe der Azure Developer CLI.
  4. Stellen Sie das Modell in der Fireworks Inferenzinfrastruktur bereit.

Voraussetzungen

Bevor Sie beginnen, stellen Sie sicher, dass Ihre Azure Umgebung eingerichtet ist und dass die erforderlichen Tools installiert sind. Zum Ausführen der Schritte in diesem Artikel benötigen Sie die folgenden Ressourcen und Berechtigungen:

Verfügbarkeit der Region

Die Unterstützung für die Bereitstellung von benutzerdefinierten Modellen ist in allen globalen Azure Regionen mit Ausnahme von Azure Government Cloudumgebungen verfügbar.

Modellanforderungen

Benutzerdefinierte Modelle müssen einer unterstützten Architektur entsprechen und bestimmte Dateien für Foundry einschließen, um sie zu registrieren und bereitzustellen. Überprüfen Sie beide Anforderungen, bevor Sie den Importvorgang starten.

Unterstützte Architekturen

Benutzerdefinierte Modelle müssen auf einer der folgenden Modellarchitekturen basieren:

Modellarchitektur Versionen
DeepSeek V3.1, V3.2
Kimi K2, K2.5
GLM 4.7, 4.8
OpenAI gpt-oss-120b
Qwen qwen3-14b

Erforderliche Modelldateien

Ihr Modellverzeichnis muss die folgenden Dateien enthalten:

Datei Beschreibung
config.json Modellkonfiguration (Architektur, Hyperparameter).
*.safetensors Oder *.bin Eine oder mehrere Modellgewichtungsdateien.
*.index.json Mindestens eine Gewichtungsindexdatei, die Gewichtungsshards zuordnet.
tokenizer.model, tokenizer.json, oder tokenizer_config.json Tokenizerdateien, die für das Modell erforderlich sind.

Wichtig

Nur Vollgewichtsmodelle mit ursprünglicher Quantisierung werden unterstützt. LoRA-Adapter oder benutzerdefinierte quantisierte Modelle werden in dieser Vorschau derzeit nicht unterstützt.

Importieren eines benutzerdefinierten Modells

Der Importvorgang beginnt im Foundry-Portal, in dem Sie Ihr Modell registrieren, und verwendet dann die Azure Developer CLI, um die Modellgewichte von Ihrem lokalen Computer hochzuladen.

  1. Melden Sie sich beim Foundry-Portal an.

  2. Wählen Sie auf der Startseite des Foundry-Portals " Erstellen" in der oberen rechten Navigation und dann im linken Bereich " Modelle" aus.

  3. Wählen Sie die Registerkarte "Benutzerdefinierte Modelle " aus.

  4. Wählen Sie "Benutzerdefiniertes Modell hinzufügen" aus.

    Screenshot der Seite

  5. Konfigurieren Sie die folgenden Einstellungen:

    • Modellname: Geben Sie einen beschreibenden Namen für Ihr benutzerdefiniertes Modell ein.

    • Basismodellarchitektur: Wählen Sie die Modellarchitektur aus, DeepSeek V3.2 die Ihrem Modell entspricht (z. B. oder GLM 4.7).

      Screenshot des Fensters

  6. Das Portal generiert einen azd Befehl. Kopieren Sie den Befehl, und fügen Sie ihn in ein lokales Terminal ein. Aktualisieren Sie den --source Parameter so, dass er auf das Verzeichnis verweist, das Ihre Modellgewichtungsdateien enthält.

    Tipp

    Stellen Sie sicher, dass das angegebene Verzeichnis alle erforderlichen Modelldateien enthält. Fehlende Dateien führen dazu, dass der Import fehlschlägt.

  7. Warten Sie, bis der Upload abgeschlossen ist. Die Uploadzeit hängt von der Modellgröße und der Netzwerkbandbreite ab. Große Modelle (zehn Gigabyte) können über Standardverbindungen eine erhebliche Zeit in Anspruch nehmen.

Überprüfen der Modellregistrierung

Vergewissern Sie sich nach Abschluss des Uploads, dass Foundry das Modell erfolgreich registriert hat, bevor Sie mit der Bereitstellung fortfahren.

  1. Kehren Sie zum Foundry-Portal zurück, und aktualisieren Sie die Seite "Benutzerdefinierte Modelle ".

  2. Vergewissern Sie sich, dass Ihr importiertes benutzerdefiniertes Modell in der Liste mit einem registrierten Status angezeigt wird.

  3. Wählen Sie Ihr Modell aus, um die Details zu überprüfen, einschließlich der Architektur und des Dateimanifests.

Bereitstellen des importierten Modells

Mit dem registrierten Modell können Sie es zur Ableitung in der Feuerwerks-Cloud bereitstellen.

  1. Wählen Sie in der Liste "Benutzerdefinierte Modelle " Ihr benutzerdefiniertes Modell aus.

  2. Wählen Sie "Bereitstellen" aus.

  3. Konfigurieren Sie die Bereitstellung:

    • Bereitstellungsname: Geben Sie einen Bereitstellungsnamen an. Während der Ableitung wird dieser Name im model Parameter verwendet, um Anforderungen an diese Bereitstellung weiterzuleiten.
    • Bereitgestellte Durchsatzeinheiten: Weisen Sie die Anzahl der bereitgestellten Durchsatzeinheiten (PTUs) für die Bereitstellung zu. Weitere Informationen finden Sie unter Bereitgestellte Durchsatzkonzepte.

  4. Überprüfen und bestätigen Sie die Preisbedingungen.

  5. Wählen Sie "Bereitstellen" aus.

Nach Abschluss der Bereitstellung wird der Status in der Bereitstellungsliste "Erfolgreich" angezeigt.

Hinweis

In einem bestimmten Projekt können Sie zu einem Zeitpunkt nur eine aktive Bereitstellung eines benutzerdefinierten Modells haben.

Bereitstellungsbeispiele

Verwenden Sie die folgenden Beispiele, um Teile des Bereitstellungsworkflows zu automatisieren, nachdem das benutzerdefinierte Modell registriert wurde. Jedes Beispiel implementiert das benutzerdefinierte Modell mit 80 Einheiten des globalen bereitgestellten Durchsatzes. Achten Sie darauf, alle Platzhalter durch Ihre Details zu ersetzen.

PUT https://management.azure.com/subscriptions/{subscription-id}/resourceGroups/{resource-group}/providers/Microsoft.CognitiveServices/accounts/{foundry-account}/deployments/{deployment-name}?api-version=2025-06-01
Authorization: Bearer <access-token>
Content-Type: application/json

{
  "sku": {
    "name": "GlobalProvisionedManaged",
    "capacity": 80
  },
  "properties": {
    "model": {
      "name": "<registered-model-name>",
      "format": "FireworksCustom",
      "version": "1",
      "source": "/subscriptions/{subscription-id}/resourceGroups/{resource-group}/providers/Microsoft.CognitiveServices/accounts/{foundry-account}/projects/{foundry-project}"
    }
  }
}

Testen Sie Ihre Bereitstellung

Nachdem die Bereitstellung erfolgreich war, überprüfen Sie, ob sie funktioniert, indem Sie eine Testanforderung senden:

  1. Öffnen Sie den Foundry Playground.
  2. Wählen Sie Ihre benutzerdefinierte Modellbereitstellung aus der Modellliste aus.
  3. Senden Sie eine Testaufforderung, und bestätigen Sie, dass das Modell eine gültige Antwort zurückgibt.

Problembehandlung

Wenn während des Imports oder der Bereitstellung Probleme auftreten, verwenden Sie die folgende Tabelle, um häufige Probleme und Lösungen zu identifizieren.

Angelegenheit Auflösung
Fehler beim Importieren mit fehlenden Dateien Überprüfen Sie, ob Das Modellverzeichnis alle erforderlichen Modelldateien enthält, einschließlich config.jsonGewichtungsdateien, einer Indexdatei und Tokenizerdateien.
Architekturinkongruenz Vergewissern Sie sich, dass die ausgewählte Architektur Ihrem Modell entspricht. Siehe unterstützte Architekturen.
Zeitüberschreitungen oder Stillstand beim Hochladen Überprüfen Sie Ihre Netzwerkverbindung, und versuchen Sie es erneut. Verwenden Sie für große Modelle eine stabile Verbindung mit hoher Bandbreite.
Bereitstellung schlägt fehl Vergewissern Sie sich, dass Sie über ein ausreichendes Kontingent verfügen und dass das Feuerwerk-Vorschaufeature in Ihrem Abonnement aktiviert und registriert ist.
Kontingent überschritten Fordern Sie ein höheres Kontingent an oder weisen Sie bereitgestellte Durchsatzeinheiten aus vorhandenen Bereitstellungen neu zu.

Weitere Anleitungen zur Problembehandlung finden Sie unter "Problemlösung für Fireworks auf Foundry".

Verwandte Inhalte

Erkunden Sie die folgenden Ressourcen, um mehr über Feuerwerksmodelle, Bereitstellungsoptionen und Authentifizierung in Foundry zu erfahren.

  • Last updated on