Använda scheman i dataflödesdiagram

Dataflödesdiagram hanterar scheman på ett annat sätt än klassiska dataflöden. I stället för att ange schemat för källan eller omvandlingen konfigurerar du scheman på nodanslutningarna mellan noder i diagrammet.

Information om definitioner av meddelandescheman, format (JSON, Delta) och hur du laddar upp scheman finns i Förstå meddelandescheman.

Schemaplats i dataflödesdiagram

I ett klassiskt dataflöde konfigureras scheman på källan (schemaRef i sourceSettings) och transformering (schemaRef i builtInTransformationSettings). I ett dataflödesdiagram konfigureras scheman på anslutningarna mellan noder.

Varje post i matrisen nodeConnections kan innehålla en schema på from sidan av anslutningen. Det här schemat beskriver det förväntade formatet för data som flödar mellan dessa två noder.

Konfigurera ett indataschema

För att specificera ett schema för data som kommer in i en anslutning, lägg till ett schema fält till from sidan av anslutningen.

nodeConnections: [
  {
    from: {
      name: 'source'
      schema: {
        schemaRef: 'aio-sr://my-namespace/sensor-data:1'
        serializationFormat: 'Json'
      }
    }
    to: {
      name: 'transform'
    }
  }
]

nodeConnections:
  - from:
      name: source
      schema:
        schemaRef: "aio-sr://my-namespace/sensor-data:1"
        serializationFormat: Json
    to:
      name: transform

Följer schemaRef formatet aio-sr://<namespace>/<name>:<version> och refererar till ett schema som lagras i schemaregistret.

Serialiseringsformat som stöds:

Konfigurera ett utdataschema

Måldestinationer för dataflödesdiagram stöder ett outputSchemaSettings fält för att styra serialiseringsformatet för utdata.

{
  name: 'output'
  nodeType: 'Destination'
  destinationSettings: {
    endpointRef: 'my-adls-endpoint'
    dataDestination: 'my-container'
  }
}

- name: output
  nodeType: Destination
  destinationSettings:
    endpointRef: my-adls-endpoint
    dataDestination: my-container

Skillnader från dataflödesscheman

Relaterat innehåll

• Förstå meddelandescheman
• Översikt över dataflödesdiagram
• Konfigurera ett dataflödesmål