toLocalIterator

Retourneert een iterator die alle rijen in dit DataFrame bevat. De iterator verbruikt zoveel geheugen als de grootste partitie in dit DataFrame. Met prefetch kan het maximaal het geheugen van de 2 grootste partities verbruiken.

Syntaxis

toLocalIterator(prefetchPartitions: bool = False)

Parameterwaarden

Kenmerk Typ Beschrijving
prefetchPartitions bool, optioneel Als Spark de volgende partitie vooraf moet ophalen voordat deze nodig is.

Retouren

Iterator: Iterator van rijen.

Examples

df = spark.createDataFrame(
    [(14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])
list(df.toLocalIterator())
# [Row(age=14, name='Tom'), Row(age=23, name='Alice'), Row(age=16, name='Bob')]