toLocalIterator

Devuelve un iterador que contiene todas las filas de este DataFrame. El iterador consumirá tanta memoria como la partición más grande de este DataFrame. Con la captura previa, puede consumir hasta la memoria de las 2 particiones más grandes.

Sintaxis

toLocalIterator(prefetchPartitions: bool = False)

Parámetros

Parámetro Tipo Descripción
prefetchPartitions bool, opcional Si Spark debe capturar previamente la siguiente partición antes de que sea necesaria.

Devoluciones

Iterador: iterador de filas.

Ejemplos

df = spark.createDataFrame(
    [(14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])
list(df.toLocalIterator())
# [Row(age=14, name='Tom'), Row(age=23, name='Alice'), Row(age=16, name='Bob')]