Freigeben über

Auftragswarteschlange in Apache Spark für Microsoft Fabric

Gilt für:✅ Fabric Data Engineering und Data Science

Microsoft Fabric unterstützt die Warteschlangenerstellung für Hintergrund-Spark-Aufträge, wenn die Kapazität die Berechnungsgrenzen erreicht. Wartende Aufträge werden automatisch neu gestartet, bis sie beginnen oder ablaufen.

Wenn Kapazität verfügbar ist, beginnen Aufträge sofort. Wenn die Kapazität vollständig verwendet wird, hängt das Verhalten von Auftragstyp und Warteschlangenberechtigung ab.

Weitere Informationen zu Parallelitätsgrenzwerten finden Sie unter Concurrency Limits und Queueing in Apache Spark für Microsoft Fabric.

Was in die Warteschlange eingereiht wird

Warteschlangen werden unterstützt für:

  • Notizbuchaufträge, die durch Pipelines ausgelöst werden.
  • Notebook-Aufgaben, die durch den Scheduler ausgelöst werden.
  • Spark Job Definition wird durch Pipelines oder Scheduler ausgelöst.

Warteschlangen werden für Folgendes nicht unterstützt:

  • Interaktive Notebook-Jobs.
  • Notizbuchaufträge, die über die öffentliche Notizbuch-API ausgelöst werden.

Die Warteschlange verwendet die First-In-First-Out-Reihenfolge (FIFO).

Hinweis

Das Warten in Warteschlangen wird nicht unterstützt, wenn sich die Netzwerkstruktur in einem gedrosselten Zustand befindet. Neue übermittelte Aufträge werden abgelehnt.

Funktionsweise der Auftragswarteschlange

Wenn ein übermittelter Auftrag berechtigt für die Warteschlange ist und die Fabric-Kapazität ihre maximale Rechenleistung erreicht hat, wird der Auftrag der FIFO-Warteschlange hinzugefügt.

Für die Notizbuchwarteschlange über einen Pipelinetrigger konfigurieren Sie eine Data Factory-Pipeline mit einer Notizbuchaktivität. Informationen zum Einrichten finden Sie in der Schnellstartanleitung: Erstellen Ihrer ersten Pipeline zum Kopieren von Daten und Notizbuchaktivitäten.

Führen Sie die folgenden Schritte aus, um ein Notizbuch aus einer Pipeline in eine Warteschlange einzureihen:

  1. Erstellen Sie ein neues Pipelineelement , und fügen Sie eine Notizbuchaktivität hinzu, um das Notizbuch auszuführen.

  2. Wählen Sie die Notizbuchaktivität aus, öffnen Sie die Registerkarte "Einstellungen ", wählen Sie das Notizbuch aus, das Sie in die Warteschlange stellen möchten, und führen Sie dann die Pipeline aus.

    Screenshot, der zeigt, wie ein Notizbuch aus einer Pipeline ausgeführt wird.

  3. Der Job tritt in die FIFO-Warteschlange ein. Im Überwachungshub wird der Auftrag als "Nicht gestartet " angezeigt, während er auf die Kapazität wartet.

  4. Wenn die Ausführung von Aufträgen abgeschlossen ist und Ressourcen freigegeben werden, werden in die Warteschlange eingereihte Aufträge aufgenommen. Wenn die Ausführung beginnt, ändert sich der Status von "Nicht gestartet " in "In Bearbeitung".

Hinweis

Warteschlangeneinträge verfallen 24 Stunden nach der Aufnahme in die Warteschlange. Abgelaufene Aufträge müssen erneut übermittelt werden.

Warteschlangengrößen

Fabric Spark erzwingt Warteschlangengrenzwerte nach Kapazitäts-SKU.

Fabric-Kapazitäts-SKU Gleichwertige Power BI SKU Warteschlangenlimit
F2 - 4
F4 - 4
F8 - 8
F16 - 16
F32 - 32
F64 P1 64
F128 P2 128
F256 P3 256
F512 P4 512
F1024 - 1024
F2048 - 2048
Testkapazität P1 Nicht verfügbar

Hinweis

Die Warteschlangenfunktion wird für Fabric-Testkapazitäten nicht unterstützt. Um Warteschlangenfunktionen zu nutzen, wechseln Sie zu einer kostenpflichtigen Fabric F- oder P-SKU.

Wenn eine Kapazität den Warteschlangengrenzwert erreicht, werden neue Übermittlungen mit TooManyRequestsForCapacity (HTTP 430) abgelehnt. Wenn Sie den Vorgang fortsetzen möchten, brechen Sie aktive Spark-Aufträge ab, wählen Sie eine SKU mit größerer Kapazität aus, oder senden Sie sie später erneut.

Zugehöriger Inhalt

  • Last updated on