Grundlegendes zur Data Factory-Ablaufsteuerung

Was ist die Ablaufsteuerung?

Die Ablaufsteuerung ist das Orchestrieren und Verwalten von Pipeline-Aktivitäten. Dazu gehört das Verketten von Aktivitäten in einer Sequenz, das Erstellen von Verzweigungen, die Definition von Parametern auf Pipeline-Ebene und die Übergabe von Argumenten, während die Pipeline bedarfsorientiert oder durch einen Trigger ausgelöst aufgerufen wird.

Der Steuerungsfluss kann auch Schleifencontainer enthalten, die Informationen für jede Iteration des Schleifencontainers übergeben können.

Wenn eine For-Each-Schleife als Ablaufsteuerungsaktivität verwendet wird, kann Azure Data Factory damit mehrere Aktivitäten parallel starten. Auf diese Weise können Sie eine komplexe und iterative Verarbeitungslogik innerhalb der Pipelines erstellen, die Sie mit Azure Data Factory erstellen. Dies unterstützt die Erstellung verschiedener Datenintegrationsmuster, z. B. den Aufbau eines modernen Data Warehouse.

Einige der allgemeinen Aktivitäten der Ablaufsteuerung werden in den folgenden Abschnitten beschrieben.

Verketten von Aktivitäten

In Azure Data Factory können Sie Aktivitäten innerhalb einer Pipeline in einer Sequenz verketten. Es ist möglich, die dependsOn-Eigenschaft in einer Aktivitätsdefinition zu verwenden, um sie mit einer upstream-Aktivität zu verketten.

Verzweigen von Aktivitäten

Verwenden Sie Azure Data Factory für Verzweigungsaktivitäten innerhalb einer Pipeline. Ein Beispiel für eine Verzweigungsaktivität ist die If Condition-Aktivität , die einer if-Anweisung in Programmiersprachen ähnelt. Eine Verzweigungsaktivität wertet eine Aktivitätengruppe aus, und wenn die Bedingung als „true“ (wahr) ausgewertet wird, wird eine Aktivitätengruppe ausgeführt. Wenn die Auswertung zum Ergebnis „false“ (falsch) kommt, wird eine alternative Aktivitätengruppe ausgeführt.

Verwenden Sie für Situationen, in denen Sie mehr als zwei Ergebnispfade benötigen, die Switch-Aktivität . Die Switch-Aktivität funktioniert wie eine Switch/Case-Anweisung in Programmiersprachen: Sie wertet einen Ausdruck aus und führt die Aktivitäten aus, die einem bestimmten Fallwert entsprechen. Sie können bis zu 25 benannte Fälle sowie einen Standardzweig definieren, der ausgeführt wird, wenn kein Fall übereinstimmt. Verwenden Sie "If-Bedingung" für binäre "True/False"-Entscheidungen (wahr/falsch) und "Switch", wenn Sie mehrere diskrete Ergebnisse haben.

Parameter

Sie können Parameter auf Pipelineebene definieren und Argumente übergeben, wenn Sie die Pipeline bei Bedarf oder mithilfe eines Triggers ausführen. Aktivitäten verwenden dann die Argumente, die in einem Parameter gehalten werden, während sie an die Pipeline übergeben werden.

Übergabe benutzerdefinierter Zustände

Die benutzerdefinierte Zustandsübergabe wird durch Azure Data Factory ermöglicht. Die kundenspezifische Zustandsübergabe ist eine Aktivität, die eine Ausgabe oder den Zustand der Aktivität erstellt, der von einer nachfolgenden Aktivität in der Pipeline genutzt werden muss. Ein Beispiel dafür ist, dass Sie in einer JSON-Definition einer Aktivität auf die Ausgabe der vorherigen Aktivität zugreifen können. Mithilfe der Übergabe von benutzerdefinierten Zuständen können Sie Workflows erstellen, bei denen Werte Aktivitäten durchlaufen.

Container in Schleifen

Der Schirm des Schleifencontainers der Ablaufsteuerung wie die ForEach-Aktivität definiert die Wiederholung in einer Pipeline. Er ermöglicht es Ihnen, über eine Sammlung zu iterieren und vorgegebene Aktivitäten in der definierten Schleife auszuführen. Die funktioniert ähnlich wie die in Programmiersprachen verwendete for-each-Schleifenstruktur. Neben jeder Aktivität gibt es auch eine Until-Aktivität. Diese Funktionalität ist vergleichbar mit einer in der Programmierung verwendeten „do-until“-Schleife. Dabei wird eine Reihe von Aktivitäten (do) in einer Schleife ausgeführt, bis die Bedingung (until) erfüllt ist.

Triggerbasierte Abläufe

Pipelines können auf Abruf (ereignisbasiert, z. B. Blob-Veröffentlichung) oder nach Uhrzeit ausgelöst werden.

Aufrufen einer Pipeline aus einer anderen Pipeline

Mit der Aktivität „Execute Pipeline“ (Pipeline ausführen) in Azure Data Factory kann eine Data Factory-Pipeline eine andere Pipeline aufrufen.

Deltaabläufe

Anwendungsfälle, die mit der Verwendung von Deltaflüsse zusammenhängen, sind Deltaladevorgänge. Delta-Ladevorgänge in ETL-Mustern laden nur Daten, die sich seit einer vorherigen Iteration der Pipeline geändert haben. Funktionen wie Lookup-Aktivität und flexible Zeitplanung helfen bei der Handhabung von Aufträgen für Deltaladevorgänge. Wenn Sie eine Lookup-Aktivität verwenden, wird ein Datensatz- oder Tabellennamenwert aus einer beliebigen externen Quelle gelesen oder gesucht. Auf die Ausgabe kann durch nachfolgende Aktivitäten verwiesen werden.

Weitere Kontrollflüsse

Es gibt noch viele weitere Ablaufsteuerungsaktivitäten. Sehen Sie die folgenden Punkte für andere nützliche Aktivitäten:

• Webaktivität: Die Webaktivität in Azure Data Factory, die Kontrollflüsse verwendet, kann einen benutzerdefinierten REST-Endpunkt aus einer Data Factory-Pipeline aufrufen. Datasets und verknüpfte Dienste können übergeben werden, damit sie von der Aktivität genutzt werden können.

• Aktivität „Get metadata“: Die Aktivität „Get metadata“ (Metadaten abrufen) ruft die Metadaten beliebiger Daten in Azure Data Factory ab.