toLocalIterator

Returnerar en iterator som innehåller alla rader i den här dataramen. Iteratorn förbrukar lika mycket minne som den största partitionen i dataramen. Med prefetch kan det förbruka upp till minnet för de 2 största partitionerna.

Syntax

toLocalIterator(prefetchPartitions: bool = False)

Parameters

Parameter Type Beskrivning
prefetchPartitions bool, valfritt Om Spark ska hämta nästa partition i förväg innan den behövs.

Retur

Iterator: Iterator för rader.

Exempel

df = spark.createDataFrame(
    [(14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])
list(df.toLocalIterator())
# [Row(age=14, name='Tom'), Row(age=23, name='Alice'), Row(age=16, name='Bob')]