Visuelles Überwachen von Azure Data Factory

GILT FÜR: Azure Data Factory Azure Synapse Analytics

Nachdem Sie eine Pipeline in Azure Data Factory erstellt und veröffentlicht haben, können Sie ihr einen Trigger zuordnen oder manuell eine Ad-hoc-Ausführung starten. Sie können Ihre gesamten Pipelineausführungen nativ über die Azure Data Factory-Benutzeroberfläche überwachen. Um die Benutzeroberfläche für die Überwachung zu öffnen, wählen Sie die Kachel Überwachen und verwalten im Blatt „Data Factory“ des Azure-Portals aus. Wenn Sie sich bereits in der ADF-Benutzeroberfläche befinden, klicken Sie in der linken Seitenleiste auf das Monitor-Icon.

Alle Data Factory-Ausführungen werden standardmäßig in der lokalen Zeitzone des Browsers angezeigt. Wenn Sie die Zeitzone ändern, werden alle Datums- und Zeitfelder auf die ausgewählte Zeitzone ausgerichtet.

Überwachen der Pipelineausführungen

Die Standard-Überwachungsansicht ist eine Liste der ausgelösten Pipeline-Läufe im ausgewählten Zeitraum. Sie können den Zeitbereich ändern und nach Status, Pipelinename oder Anmerkung filtern. Fahren Sie mit der Maus über die spezifische Pipelineausführung, um ausführungsspezifische Aktionen wie erneutes Ausführen und den Verbrauchsbericht anzuzeigen.

Das Raster der Pipelineausführungen enthält die folgenden Spalten:

Sie müssen die Schaltfläche Aktualisieren manuell auswählen, um die Liste der Pipeline- und Aktivitätsausführungen zu aktualisieren. Eine automatische Aktualisierung wird derzeit nicht unterstützt.

Um die Ergebnisse einer Debugausführung anzuzeigen, wählen Sie die RegisterkarteDebuggen aus.

Überwachung der Aktivitätsausführungen

Um eine detaillierte Ansicht der einzelnen Aktivitätsläufe eines spezifischen Pipeline-Laufs zu erhalten, klicken Sie auf den Namen der Pipeline.

In der Listenansicht werden die Aktivitätsläufe angezeigt, die den jeweiligen Pipelineausführungen entsprechen. Zeigen Sie auf die jeweilige Aktivitätsausführung, um ausführungsspezifische Informationen wie die JSON-Eingabe, die JSON-Ausgabe und detaillierte aktivitätsspezifische Überwachungsfunktionen anzuzeigen.

Wenn eine Aktivität fehlerhaft war, können Sie auf das Symbol in der Fehlerspalte klicken, um die ausführliche Fehlermeldung anzuzeigen.

Fördern von Benutzereigenschaften zur Überwachung

Stufen Sie jede Pipelineaktivitätseigenschaft als Benutzereigenschaft höher, sodass sie zu einer von Ihnen überwachten Entität wird. Sie können z. B. die Eigenschaften Quelle und Ziel der Kopieraktivität in der Pipeline als Benutzereigenschaften höher stufen.

Nachdem Sie die Benutzereigenschaften erstellt haben, können Sie sie in den Überwachungslistenansichten überwachen.

Wenn ein Tabellenname als Quelle für die Kopieraktivität dient, können Sie den Namen der Quelltabelle als Spalte in der Listenansicht für Aktivitätsausführungen überwachen.

Erneutes Ausführen von Pipelines und Aktivitäten

Das Verhalten beim erneuten Ausführen der Containeraktivitäten lautet wie folgt:

• Wait: Die Aktivität verhält sich wie zuvor.
• Set Variable: Die Aktivität verhält sich wie zuvor.
• Filter: Die Aktivität verhält sich wie zuvor.
• Die Until-Aktivität wertet den Ausdruck aus und durchläuft eine Schleife, bis die Bedingung erfüllt ist. Innere Aktivitäten können dennoch auf der Grundlage der Wiederholungsregeln übersprungen werden.
• Die Foreach-Aktivität wird immer in einer Schleife für die empfangenen Elemente ausgeführt. Innere Aktivitäten können auf der Grundlage der Regeln für die erneute Ausführung trotzdem übersprungen werden.
• If and switch: Bedingungen werden immer ausgewertet. Alle internen Aktivitäten werden ausgewertet. Interne Aktivitäten können gemäß den Wiederholungsregeln weiterhin übersprungen werden, aber Aktivitäten wie „Pipeline ausführen“ werden erneut ausgeführt.
• Execute pipeline activity - Die untergeordnete Pipeline wird ausgelöst, aber alle Aktivitäten in der untergeordneten Pipeline können auf der Grundlage der Regeln für die erneute Ausführung trotzdem übersprungen werden.

Um eine Pipeline, die bereits ausgeführt wurde, von Anfang an erneut auszuführen, zeigen Sie auf die jeweilige Pipelineausführung, und wählen Sie Erneut ausführen aus. Wenn Sie mehrere Pipelines auswählen, können Sie über die Schaltfläche Erneut ausführen alle erneut ausführen.

Wenn Sie einen erneuten Start an einem bestimmten Punkt wünschen, können Sie dies über die Ansicht der Aktivitätsläufe veranlassen. Wählen Sie die Aktivität aus, ab der Sie beginnen möchten, und wählen Sie Aktivität erneut ausführen aus.

Sie können auch eine Pipeline erneut ausführen und die Parameter ändern. Wählen Sie die Schaltfläche Neue Parameter aus, um die Parameter zu ändern.

Erneut ausführen nach fehlgeschlagener Aktivität

Wenn eine Aktivität fehlschlägt, das Zeitlimit überschritten wird oder die Aktivität abgebrochen wird, können Sie die Pipeline ab der fehlgeschlagenen Aktivität erneut ausführen, indem Sie Ab fehlgeschlagener Aktivität erneut ausführen auswählen.

Verlauf der erneuten Ausführungen anzeigen

Sie können den Erneut-Ausführungsverlauf für alle Pipelineausführungen in der Listenansicht anzeigen.

Sie können auch die Historie der erneut ausgeführten Läufe für einen bestimmten Pipeline-Lauf anzeigen.

Überwachen des Verbrauchs

Sie können die durch eine Pipeline-Ausführung genutzten Ressourcen anzeigen, indem Sie neben der Ausführung auf das Symbol für Verbrauch klicken.

Wenn Sie auf das Symbol klicken, wird ein Verbrauchsbericht zu den durch diese Pipelineausführung genutzten Ressourcen geöffnet.

Sie können diese Werte mit dem Azure-Preisrechner verbinden, um die Kosten für die Pipelineausführung zu schätzen. Weitere Informationen zu Azure Data Factory-Preisen finden Sie unter Grundlegendes zu Preisen.

Gantt-Ansichten

Ein Gantt-Diagramm ist eine Ansicht, über die Sie den Ausführungsverlauf über einen Zeitraum anzeigen können. Wenn Sie zu einer Gantt-Ansicht wechseln, werden alle Pipeline-Läufe gruppiert nach Name als Balken entsprechend ihrer Dauer dargestellt. Sie können auch nach Anmerkungen/Tags gruppieren, die Sie in Ihrer Pipeline erstellt haben. Die Gantt-Ansicht ist auch auf Ebene der Aktivitätsausführungen verfügbar.

Die Länge des Balkens informiert über die Dauer der Pipeline. Sie können auch den Balken auswählen, um weitere Details anzuzeigen.

Warnungen

Sie können Warnungen auf der Grundlage unterstützter Metriken in Data Factory auslösen. Wählen Sie dazu auf der Überwachungsseite von Data Factory die Option Überwachen>Warnungen und Metriken aus.

Das folgende Video enthält eine siebenminütige Einführung und Demonstration dieses Features:

Erstellen von Warnungen

1. Wählen Sie Neue Warnungsregel aus, um eine neue Warnung zu erstellen.

   

2. Geben Sie den Namen der Warnungsregel an, und wählen Sie den Schweregrad der Warnung aus.

   

3. Wählen Sie die Warnungskriterien aus.

   

   

   

   Sie können Warnungen für verschiedene Metriken erstellen, z. B. für Anzahl und Größe der ADF-Entität, Aktivitäts-, Pipeline- und Triggerausführung, CPU-Auslastung, Speicher, Knotenanzahl und Warteschlange von Integration Runtime (IR) sowie für SSIS-Paketausführungen und Vorgänge zum Starten und Beenden von SSIS IR.

4. Konfigurieren Sie die Warnungslogik. Sie können eine Warnung für die ausgewählte Metrik für alle Pipelines und entsprechenden Aktivitäten erstellen. Sie können außerdem einen bestimmten Aktivitätstyp, Aktivitätsnamen, Pipelinenamen oder Fehlertyp auswählen.

   

5. Konfigurieren Sie E-Mail-, SMS-, Push- und Sprachbenachrichtigungen für die Warnung. Erstellen Sie eine Aktionsgruppe für die Warnungsbenachrichtigungen, oder wählen Sie eine vorhandene Aktionsgruppe aus.

   

   

6. Erstellen Sie die Warnungsregel.

   

Zugehöriger Inhalt

Im Artikel Programmgesteuertes Überwachen und Verwalten von Pipelines erfahren Sie mehr über das Überwachen und Verwalten von Pipelines.