partitioner (DataSourceStreamReader)

Returnerar en lista över InputPartition objekt med start- och slutförskjutningarna.

Var InputPartition och en representerar en datadelning som kan bearbetas av en Spark-uppgift. När den anropas med ett tomt förskjutningsintervall där start == endska den här metoden returnera en tom sekvens.

Har lagts till i Databricks Runtime 15.2

Syntax

partitions(start: dict, end: dict)

Parameters

Parameter Type Beskrivning
start Dict Startförskjutningen för mikrobatchen för att planera partitionering.
end Dict Slutförskjutningen av mikrobatchen för att planera partitionering.

Retur

Sequence[InputPartition]

En sekvens med partitioner för den här datakällan. Varje partitionsvärde måste vara en instans av InputPartition eller en underklass av det.