Verarbeiten und Weiterleiten von Daten mit Datenflüssen

Datenflüsse vereinfachen das Einrichten von Datenpfaden zum Verschieben, Transformieren und Anreichern von Daten. Mithilfe von Datenflüssen können Sie verschiedene Datenquellen verbinden und Datenvorgänge ausführen. Die Datenflusskomponente ist Teil Azure IoT Einsatz, die Sie als Azure Arc-Erweiterung bereitstellen. Sie konfigurieren einen Datenfluss mithilfe der Web-Ui für Vorgänge, der Azure CLI oder Azure Resource Manager Vorlagen.

Sie können Konfigurationen für verschiedene Anwendungsfälle schreiben, z. B.:

  • Transformieren Sie Daten, und senden Sie sie zurück an MQTT.
  • Transformieren Sie Daten, und senden Sie sie an die Cloud.
  • Daten ohne Transformation an die Cloud oder den Edge senden.

Datenflüsse sind nicht auf die Region beschränkt, in der Sie die IoT Operations-Instanz bereitstellen. Sie können Datenflüsse verwenden, um Daten an Cloudendpunkte in verschiedenen Regionen zu senden.

Hinweis

Datenflüsse ersetzen die Nur-Vorschau-Datenprozessor-Komponente von frühen Azure IoT Einsatz-Versionen. Der Parameter --include-dp für az iot ops init wurde entfernt und wird nicht mehr benötigt. Die Datenflusskomponenten werden automatisch bereitgestellt.

Schlüsselfunktionen

In diesem Abschnitt werden die wichtigsten Features von Datenflüssen beschrieben.

Datenverarbeitung und -routing

Datenflüsse ermöglichen die Erfassung, Verarbeitung und das Routing der Nachrichten an angegebene Ziele. Sie können Folgendes angeben:

  • Quellen: Wo Sie Nachrichten empfangen.
  • Ziele: Wo Sie Nachrichten ableiten, einschließlich Unterstützung für dynamisches Themenrouting basierend auf Nachrichteninhalten für MQTT-Endpunkte.
  • Transformationen (optional): Konfiguration für Datenverarbeitungsvorgänge.

Transformationsfunktionen

Sie können Transformationen während der Verarbeitungsphase auf Daten anwenden, um verschiedene Vorgänge auszuführen. Zu diesen Vorgängen gehören:

  • Berechnen neuer Eigenschaften: Basierend auf vorhandenen Eigenschaften in der Nachricht.
  • Umbenennen von Eigenschaften: So standardisieren oder klären Sie Daten.
  • Konvertieren von Einheiten: Konvertieren von Werten in verschiedene Maßeinheiten.
  • Standardisierung von Werten: Skalieren von Eigenschaftswerten auf einen benutzerdefinierten Bereich.
  • Kontextbezogene Daten: Hinzufügen von Referenzdaten zu Nachrichten zur Anreicherung und zum Fördern von Erkenntnissen.

Tipp

Ausführlichere Verarbeitungsfunktionen, einschließlich bedingter Routing, zeitbasierter Aggregation und komponierbarer Transformationspipelinen, finden Sie unter Datenflussdiagramme.

Konfiguration und Bereitstellung

Bestimmen Sie die Konfiguration mithilfe der Betriebsoberfläche Web-UI, der Azure CLI oder Azure Resource Manager-Templates. Basierend auf dieser Konfiguration erstellen Datenflussbetreiber*innen Datenflussinstanzen und sorgen so für Hochverfügbarkeit und Zuverlässigkeit.

Vorteile

  • Vereinfachtes Setup: Einfaches Verbinden von Datenquellen und Zielen.
  • Flexible Transformationen: Durchführen verschiedenster Datenvorgänge.
  • Skalierbare Konfiguration: Verwenden Sie Azure Tools für skalierbare und verwaltbare Konfigurationen.
  • Hochverfügbarkeit: Native Kubernetes-Ressource sorgt für Zuverlässigkeit.

Mithilfe von Datenflüssen können Sie Ihre Datenpfade effizient verwalten. Sie können sicherstellen, dass Daten korrekt gesendet, transformiert und angereichert werden, um Ihren betrieblichen Anforderungen gerecht zu werden.

Schemaregistrierung

Schema Registry, eine Funktion, die von Azure-Geräteregistrierung bereitgestellt wird, ist ein synchronisiertes Repository in der Cloud und am Edge. In der Schemaregistrierung werden die Definitionen von Nachrichten gespeichert, die von Edgeobjekten stammen, und anschließend wird eine API für den Zugriff auf diese Schemata am Edge verfügbar gemacht. Südgebundene Konnektoren wie der Konnektor für OPC UA können Nachrichtenschemata erstellen und sie zur Schemaregistrierung hinzufügen, oder Sie können Schemata in die Web-UI der Operations Experience hochladen.

Datenflüsse verwenden Nachrichtenschemas, um die Nachricht in das vom Zielendpunkt erwartete Format zu transformieren.

Weitere Informationen finden Sie unter Grundlegendes zu Nachrichtenschemata.

Datenpufferung und Datenträgerpersistenz

Wenn ein Datenfluss Nachrichten an einen Zielendpunkt sendet, ist das Ziel oder das Netzwerk möglicherweise nicht verfügbar. Wenn die Übermittlung nicht abgeschlossen werden kann, bestätigt der Datenfluss die Quellnachricht nicht. Der MQTT Vermittler hält die Nachricht in der Abonnentenwarteschlange vor, und der Datenfluss versucht erneut zu liefern.

Informationen zum Verhalten bei Zielausfall, Warteschlangen von Broker-Abonnenten, datenträgergesicherter Nachrichtenpuffer, Brokerpersistenz und Datenfluss requestDiskPersistence finden Sie unter Konfigurieren der Datenpufferung und Datenträgerpersistenz für Datenflüsse.

Zugehöriger Inhalt

  • Last updated on