parquet (DataFrameWriter)

Sparar innehållet DataFrame i i Parquet-formatet på den angivna sökvägen.

Syntax

parquet(path, mode=None, partitionBy=None, compression=None)

Parameters

Parameter Type Beskrivning
path str Sökvägen i ett Hadoop-filsystem som stöds.
mode str, valfritt Beteendet när data redan finns. Godkända värden är 'append', 'overwrite', 'ignore'och 'error' eller 'errorifexists' (standard).
partitionBy str eller lista, valfritt Namn på partitioneringskolumner.
compression str, valfritt Den komprimeringskodc som ska användas.

Retur

Ingen

Exempel

Skriv en DataFrame till en Parquet-fil och läs tillbaka den.

import tempfile
with tempfile.TemporaryDirectory(prefix="parquet") as d:
    spark.createDataFrame(
        [{"age": 100, "name": "Alice"}]
    ).write.parquet(d, mode="overwrite")

    spark.read.format("parquet").load(d).show()
    # +---+------------+
    # |age|        name|
    # +---+------------+
    # |100|Alice|
    # +---+------------+
  • Last updated on