Verwenden von Schemas in Datenflussdiagrammen

Datenflussdiagramme behandeln Schemas anders als klassische Datenflüsse. Anstatt das Schema für die Quelle oder Transformation festzulegen, konfigurieren Sie Schemas für die Knotenverbindungen zwischen Knoten im Diagramm.

Informationen zu Nachrichtenschemadefinitionen, Formaten (JSON, Delta) und zum Hochladen von Schemas finden Sie unter Grundlegendes zu Nachrichtenschemas.

Schemaspeicherort in Datenflussgraphen

In einem klassischen Datenfluss werden Schemata für die Quelle (schemaRef in sourceSettings) und die Transformation (schemaRef in builtInTransformationSettings) konfiguriert. In einem Datenflussdiagramm werden Schemas für die Verbindungen zwischen Knoten konfiguriert.

Jeder Eintrag im nodeConnections Array kann eine schema auf der from Seite der Verbindung enthalten. Dieses Schema beschreibt das erwartete Format der Daten, die zwischen diesen beiden Knoten fließen.

Konfigurieren eines Eingabeschemas

Um ein Schema für Daten anzugeben, die in eine Verbindung eingehen, fügen Sie ein schema-Feld auf der from-Seite der Verbindung hinzu.

nodeConnections: [
  {
    from: {
      name: 'source'
      schema: {
        schemaRef: 'aio-sr://my-namespace/sensor-data:1'
        serializationFormat: 'Json'
      }
    }
    to: {
      name: 'transform'
    }
  }
]

nodeConnections:
  - from:
      name: source
      schema:
        schemaRef: "aio-sr://my-namespace/sensor-data:1"
        serializationFormat: Json
    to:
      name: transform

Das schemaRef folgt dem Format aio-sr://<namespace>/<name>:<version> und verweist auf ein Schema, das in der Schemaregistrierung gespeichert ist.

Unterstützte Serialisierungsformate:

Konfigurieren eines Ausgabeschemas

Datenflussdiagrammziele unterstützen ein outputSchemaSettings Feld zum Steuern des Serialisierungsformats der Ausgabedaten:

{
  name: 'output'
  nodeType: 'Destination'
  destinationSettings: {
    endpointRef: 'my-adls-endpoint'
    dataDestination: 'my-container'
  }
}

- name: output
  nodeType: Destination
  destinationSettings:
    endpointRef: my-adls-endpoint
    dataDestination: my-container

Unterschiede zwischen Datenflussschemas

Verwandte Inhalte

• Grundlegendes zu Nachrichtenschemas
• Übersicht über Datenflussdiagramme
• Konfigurieren eines Datenflussziels