Verwalten von Bibliotheken in Fabric-Umgebungen

Microsoft Fabric-Umgebungen bieten eine flexible Konfiguration für die Ausführung von Spark-Aufträgen. Bibliotheken stellen wiederverwendbaren Code für Notizbücher und Spark-Auftragsdefinitionen bereit. Zusätzlich zu integrierten Bibliotheken, die in jeder Spark-Runtime enthalten sind, können Sie öffentliche und benutzerdefinierte Bibliotheken in Fabric-Umgebungen installieren.

Integrierte Bibliotheken

In Fabric wird jede Laufzeitversion mit einem kuratierten Satz integrierter Bibliotheken vorinstalliert, die für Leistung, Kompatibilität und Sicherheit in Python, R, Java und Scala optimiert sind. Auf der Seite "Integrierte Bibliotheken" in der Umgebung können Sie diese vorinstallierten Bibliotheken basierend auf der ausgewählten Laufzeit durchsuchen und finden.

Diese Bibliotheken werden standardmäßig in jeder Umgebung installiert und können nicht geändert werden. Sie sind verfügbar, wenn Sie Ihre Notizbuch- oder Spark-Auftragsdefinition in dieser Umgebung ausführen.

Informationen zum Anzeigen der Liste der vorinstallierten Pakete und deren Versionen für jede Laufzeit finden Sie unter Apache Spark Runtimes in Fabric.

Externe Repositorys

Sie können Bibliotheken aus öffentlichen Repositorys wie PyPI und Conda oder aus privaten Repositorys hinzufügen. Die Optionen für den Quell- und Veröffentlichungsmodus unterscheiden sich je nach Repositorytyp. Wenn Sie eine Bibliothek hinzufügen, wählen Sie einen Veröffentlichungsmodus (vollständig oder schnell) aus. Ausführliche Informationen zur Funktionsweise der einzelnen Modus finden Sie unter Auswählen des Veröffentlichungsmodus für Bibliotheken.

Hinzufügen einer Bibliothek aus einem öffentlichen Repository

Mit öffentlichen Repositorys können Sie Pakete von PyPI oder Conda installieren.

1. Wählen Sie auf der Registerkarte "Externe Repositorys " die Option "Bibliothek hinzufügen" aus.

2. Wählen Sie "Bibliothek aus öffentlichem Repository hinzufügen" aus.

3. Wählen Sie die Quelle (PyPI oder Conda) aus.

4. Geben Sie den Bibliotheksnamen in das Suchfeld ein. Während der Eingabe schlägt das Suchfeld beliebte Bibliotheken vor, die Liste ist jedoch eingeschränkt. Wenn Ihre Bibliothek nicht angezeigt wird, geben Sie den vollständigen Namen ein.

   

   Wenn der Bibliotheksname gefunden wird, werden die verfügbaren Versionen angezeigt.

5. Wählen Sie die Version aus, und speichern und veröffentlichen Sie Ihre Umgebung.

Hinzufügen einer Bibliothek aus einem privaten Repository

Mit privaten Repositorys können Sie Pakete mit Pip oder Conda installieren.

1. Wählen Sie auf der Registerkarte "Externe Repositorys " die Option "Bibliothek hinzufügen" aus.

2. Wählen Sie "Bibliothek aus privatem Repository hinzufügen" aus.

3. Wählen Sie die Quelle (pip oder conda) aus.

4. Geben Sie den Bibliotheksnamen und die Version ein. Stellen Sie sicher, dass Sie den Bibliotheksnamen und die Version genau eingeben, da das Durchsuchen von Bibliotheken in privaten Repositorys während der Eingabe nicht unterstützt wird. Falsche Paketinformationen führen dazu, dass die Veröffentlichung fehlschlägt.

Hinzufügen von Bibliotheken aus einem Azure Artifact Feed

Azure Artifact Feeds können entweder auf ein Projekt (privat) oder auf eine Organisation (öffentlich) festgelegt werden. Fabric unterstützt beide Bereiche. Unabhängig von der Sichtbarkeit des Feeds in Azure DevOps stellt Fabric immer eine Verbindung über eine authentifizierte Data Factory-Verbindung her, sodass Sie eine Verbindung auch für öffentliche Feeds einrichten müssen.

Einrichten einer Verbindung für Ihren Azure Artifact Feed

Fabric speichert keine Anmeldeinformationen direkt. Stattdessen erstellen Sie eine Verbindung über Data Factory Connector und referenzieren diese in einer YML-Datei mittels der Verbindungs-ID. Weitere Informationen zu Azure Artifact Feed.

1. Wählen Sie das Zahnradsymbol "Einstellungen" in der oberen rechten Ecke des Fabric-Portals und dann " Verbindungen und Gateways verwalten" aus.

   

2. Erstellen Sie eine neue Verbindung. Wählen Sie +Neu aus, und wählen Sie dann "Cloud " als Typ und dann "Azure Artifact Feed " (Vorschau) als Verbindungstyp aus.

   

3. Geben Sie die Feed-URL und ein persönliches Zugriffstoken (PAT) mit dem Bereich "Packaging > Read " ein.

4. Wählen Sie Zulassen, dass Code-First-Artefakte (wie Notizbücher) auf diese Verbindung zugreifen (Vorschau).

   

5. Wählen Sie "Erstellen" aus, um die Verbindung zu speichern. Sie sollten es in der Verbindungsliste sehen.

6. Notieren Sie die Verbindungs-ID nach der Erstellung. Sie benötigen sie im nächsten Schritt.

Vorbereiten und Hochladen einer YML-Datei

Erstellen Sie eine YML-Datei, die die Pakete auflistet, die Sie installieren möchten, und verweist auf die Verbindungs-ID anstelle der Feed-URL und anmeldeinformationen. Fabric verwendet die Verbindungs-ID, um sich zu authentifizieren und Pakete zum Veröffentlichungszeitpunkt aus Ihrem Feed abzurufen.

Eine Standardmäßige Pip-Konfiguration verweist direkt auf die Feed-URL und Anmeldeinformationen:

dependencies:
  - pip:
    - fuzzywuzzy==0.18.0
    - wordcloud==1.9.4
    - --index-url <URL_TO_THE_AZURE_ARTIFACT_FEED_WITH_AUTH>

Ersetzen Sie für Fabric die URL durch die Zuvor aufgezeichnete Verbindungs-ID:

dependencies:
  - pip:
    - fuzzywuzzy==0.18.0
    - wordcloud==1.9.4
    - --index-url <YOUR_CONNECTION_ID>

Laden Sie die YML-Datei direkt in die Umgebung hoch, oder wechseln Sie zur YML-Editoransicht , und fügen Sie den Inhalt ein. Wenn Sie die Umgebung veröffentlichen, liest Fabric die Pakete aus Ihrem Feed und speichert sie. Wenn Sie Pakete in Ihrem Azure Artifact Feed aktualisieren, veröffentlichen Sie die Umgebung erneut , um die neuesten Versionen zu übernehmen.

Verwalten externer Bibliotheken

Nachdem Sie externe Bibliotheken hinzugefügt haben, können Sie sie im Abschnitt "Externe Repositorys " verwalten.

• Filter – Verwenden Sie einen Paketnamen als Schlüsselwort, um die Liste der externen Bibliotheken zu filtern.
• Aktualisieren – Wählen Sie eine Bibliothek aus, um den Namen, die Version oder den Quelltyp in der Listenansicht zu aktualisieren. In der YML-Editoransicht können Sie auch die Azure Artifact Feed-Verbindungs-ID aktualisieren.
• Löschen – Zeigen Sie mit der Maus auf eine Bibliothekszeile, um die Option "Löschen " anzuzeigen, oder wählen Sie mehrere Bibliotheken aus, und wählen Sie dann "Löschen" aus. Sie können Bibliotheken auch mithilfe der YML-Editoransicht entfernen.
• Anzeigen von Abhängigkeiten – Zeigen Sie mit der Maus auf eine öffentliche Repositorybibliothek, und wählen Sie "Abhängigkeiten anzeigen" aus, um die Abhängigkeitsstruktur abzurufen. Abhängigkeitsinformationen sind für private Bibliotheken oder Bibliotheken aus einem Azure Artifact Feed nicht verfügbar.
• In .yml exportieren – Exportieren Sie die vollständige externe Bibliotheksliste in eine .yml Datei, und laden Sie sie in Ihr lokales Verzeichnis herunter.

Benutzerdefinierte Bibliotheken

Benutzerdefinierte Bibliotheken sind Code, der von Ihnen oder Ihrer Organisation erstellt wurde. Fabric unterstützt benutzerdefinierte Bibliotheksdateien in .whl, .py, .jarund .tar.gz Formaten. Wie bei externen Bibliotheken wählen Sie einen Veröffentlichungsmodus (vollständig oder schnell) aus, wenn Sie benutzerdefinierte Pakete hochladen. Ausführliche Informationen finden Sie unter Auswählen des Veröffentlichungsmodus für Bibliotheken.

Verwenden Sie die Schaltflächen " Hochladen " und " Herunterladen " auf der Seite " Benutzerdefinierte Bibliotheken", um Bibliotheken aus Ihrem lokalen Verzeichnis hinzuzufügen oder lokal herunterzuladen.

Um eine Bibliothek zu löschen, zeigen Sie mit der Maus auf die Zeile und wählen Sie das Papierkorbsymbol aus oder wählen Sie mehrere Bibliotheken aus und klicken dann auf Löschen.

Veröffentlichungsmodus für Bibliotheken auswählen

Wenn Sie externe oder benutzerdefinierte Bibliotheken hinzufügen, wählen Sie einen Veröffentlichungsmodus aus. Der vollständige Modus ist für alle Bibliotheksquellen und Workloadtypen verfügbar. Der Schnellmodus ist für öffentliche Repositorys und die meisten benutzerdefinierten Bibliotheksformate verfügbar, aber nur beim Ausführen von Notizbüchern.

Die folgende Tabelle zeigt, welchen Veröffentlichungsmodus jede Bibliotheksquelle unterstützt.

Wählen Sie den richtigen Modus für Ihre Anforderungen aus.

Verwenden Sie Abhängigkeitskomplexität und Workloadtyp, um zu entscheiden, welcher Modus passt.

• Im Vollmodus werden Abhängigkeiten aufgelöst, Kompatibilität überprüft und während der Veröffentlichung eine stabile Momentaufnahme der Bibliothek erstellt. Diese Momentaufnahme wird bereitgestellt, wenn eine neue Sitzung gestartet wird. Optimal für größere Abhängigkeitssätze (z. B. mehr als 10 Pakete), Produktionsworkloads und Pipelines. Die Veröffentlichung dauert 2 bis 10 Minuten; Der Sitzungsstart fügt je nach Abhängigkeitsgröße 30 Sekunden zu 2 Minuten hinzu.
• Der Schnellmodus überspringt die Abhängigkeitsverarbeitung während der Veröffentlichung und installiert stattdessen Pakete beim Start der Notizbuchsitzung. Am besten geeignet für leichtere Abhängigkeitssätze, schnelle Iteration und frühes Experimentieren. Die Bereitstellung wird in Sekunden abgeschlossen; die Installationszeit verschiebt sich auf den Sitzungsstart.

Während der Entwicklung können Sie Modi mischen. Ein gängiges Muster besteht darin, im Schnellmodus zu iterieren und dann verifizierte Abhängigkeiten in den Vollmodus zu verschieben, um einen stabilen Produktschnappschuss zu erstellen. Sie können auch eine vorhandene Momentaufnahme im Vollmodus unverändert lassen und neue Testpakete im Schnellmodus schichten – die Momentaufnahme im Vollmodus wird zuerst bereitgestellt, dann werden Pakete im Schnellmodus darüber installiert.

Modusbeschränkungen und -verhalten

Beachten Sie diese Einschränkungen beim Arbeiten mit Veröffentlichungsmodi.

• Der Schnellmodus funktioniert nur mit Notizbüchern, nicht mit Spark-Auftragsdefinitionen.
• Um eine benutzerdefinierte Bibliothek zwischen modi zu verschieben, laden Sie die Datei herunter, entfernen Sie sie aus dem aktuellen Modus, und laden Sie sie dann in den Zielmodus hoch. Direkte Übertragungen zwischen Modi werden nicht unterstützt.
• Installationsprotokolle werden nicht im Notizbuch angezeigt. Verwenden Sie Die Überwachung (Ebene 2), um den Fortschritt und die Problembehandlung nachzuverfolgen.
• Wenn beide Modi Pakete enthalten, wird zuerst die Momentaufnahme des vollständigen Modus angewendet. Schnellmoduspakete werden oben installiert und überschreiben alle Pakete im Vollmodus mit demselben Namen.
• Schnellmoduspakete werden installiert, wenn die erste Codezelle für diese Sprache ausgeführt wird. Python-Pakete werden beispielsweise beim Ausführen der ersten Python-Zelle installiert, und R-Pakete werden beim Ausführen der ersten R-Zelle installiert.

Zugehöriger Inhalt

• Erstellen, Konfigurieren und Verwenden einer Umgebung in Fabric
• Verwalten von Apache Spark-Bibliotheken in Fabric