partities (DataSourceStreamReader)

Retourneert een lijst met objecten op basis van InputPartition de begin- en eindverschuivingen.

Elk InputPartition vertegenwoordigt een gegevenssplitsing die kan worden verwerkt door één Spark-taak. Wanneer deze methode wordt aangeroepen met een leeg offsetbereik, moet start == enddeze methode een lege reeks retourneren.

Toegevoegd in Databricks Runtime 15.2

Syntaxis

partitions(start: dict, end: dict)

Parameterwaarden

Kenmerk Typ Beschrijving
start Woordenboek De begin offset van de microbatch om partitionering te plannen.
end Woordenboek Het eindverschil van de microbatch om partitionering te plannen.

Retouren

Sequence[InputPartition]

Een reeks partities voor deze gegevensbron. Elke partitiewaarde moet een exemplaar van InputPartition of een subklasse hiervan zijn.