foreachPartition

Hiermee past u de f functie toe op elke partitie van dit DataFrame.

Syntaxis

foreachPartition(f: Callable[[Iterator[Row]], None])

Parameterwaarden

Kenmerk Typ Beschrijving
f function Een functie die één parameter accepteert die elke partitie ontvangt die moet worden verwerkt.

Examples

df = spark.createDataFrame(
    [(14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])
def func(itr):
    for person in itr:
        print(person.name)

df.foreachPartition(func)
  • Last updated on