Freigeben über

Automatisieren des Bibliotheksverwaltungsprozesses über Azure PowerShell-Cmdlets und REST-APIs

Möglicherweise möchten Sie Ihre Bibliotheken für Ihre serverlosen Apache Spark-Pools verwalten, ohne in die Synapse Analytics UI-Seiten zu wechseln. So können Sie beispielsweise folgendes feststellen:

  • Sie entwickeln ein benutzerdefiniertes Paket und möchten es in Ihren Arbeitsbereich hochladen und in Ihrem Spark-Pool verwenden. Und Sie möchten die Schritte auf Ihren lokalen Tools abschließen, ohne die Paketverwaltungs-UIs zu besuchen.
  • Sie aktualisieren Ihre Pakete über den CI/CD-Prozess

In diesem Artikel finden Sie ein allgemeines Handbuch, das Sie beim Verwalten von Bibliotheken über Azure PowerShell-Cmdlets oder REST-APIs unterstützt.

Verwalten von Paketen über Azure PowerShell-Cmdlets

Hinzufügen neuer Bibliotheken

  1. Der Befehl "New-AzSynapseWorkspacePackage " kann verwendet werden, um neue Bibliotheken in den Arbeitsbereich hochzuladen.

    New-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Package ".\ContosoPackage.whl"

  2. Die Kombination aus New-AzSynapseWorkspacePackage - und Update-AzSynapseSparkPool-Befehlen kann verwendet werden, um neue Bibliotheken in den Arbeitsbereich hochzuladen und die Bibliothek an einen Spark-Pool anzufügen.

    $package = New-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Package ".\ContosoPackage.whl"
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $package

  3. Wenn Sie eine vorhandene Arbeitsbereichsbibliothek an Ihren Spark-Pool anfügen möchten, lesen Sie bitte die Befehlskombination " Get-AzSynapseWorkspacePackage " und "Update-AzSynapseSparkPool".

    $packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $packages

Entfernen von Bibliotheken

  1. Um ein installiertes Paket aus Ihrem Spark-Pool zu entfernen, lesen Sie bitte die Befehlskombination " Get-AzSynapseWorkspacePackage " und "Update-AzSynapseSparkPool".

    $package = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Name ContosoPackage
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Remove -Package $package

  2. Sie können auch einen Spark-Pool abrufen und alle angefügten Arbeitsbereichsbibliotheken aus dem Pool entfernen, indem Sie Get-AzSynapseSparkPool - und Update-AzSynapseSparkPool-Befehle aufrufen.

    $pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages

Weitere Azure PowerShell-Cmdlets-Funktionen finden Sie unter Azure PowerShell-Cmdlets für Azure Synapse Analytics.

Verwalten von Paketen über REST-APIs

Verwalten von Arbeitsbereichspaketen

Mit der Möglichkeit von REST-APIs können Sie Pakete hinzufügen/löschen oder alle hochgeladenen Dateien Ihres Arbeitsbereichs auflisten. Die vollständig unterstützten APIs finden Sie in der Übersicht über Arbeitsbereichsbibliothek-APIs.

Verwalten der Sparkpoolpakete

Sie können die REST-API des Spark-Pools verwenden, um Ihre benutzerdefinierten oder Open Source-Bibliotheken an Ihre Spark-Pools anzufügen oder zu entfernen.

  1. Geben Sie für benutzerdefinierte Bibliotheken die Liste der benutzerdefinierten Dateien als eigenschaft customLibraries im Anforderungstext an.

    "customLibraries": [
    {
        "name": "samplejartestfile.jar",
        "path": "<workspace-name>/libraries/<jar-name>.jar",
        "containerName": "prep",
        "uploadedTimestamp": "1970-01-01T00:00:00Z",
        "type": "jar"
    }
]

  2. Sie können Ihre Spark-Poolbibliotheken auch aktualisieren, indem Sie die Eigenschaft "libraryRequirements" im Anforderungstext angeben.

    "libraryRequirements": {
      "content": "",
      "filename": "requirements.txt"
}

Nächste Schritte

  • Last updated on