parquet (DataFrameWriter)

Hiermee wordt de inhoud van de DataFrame Parquet-indeling opgeslagen op het opgegeven pad.

Syntaxis

parquet(path, mode=None, partitionBy=None, compression=None)

Parameterwaarden

Kenmerk Typ Beschrijving
path str Het pad in een door Hadoop ondersteund bestandssysteem.
mode str, optioneel Het gedrag wanneer gegevens al bestaan. Geaccepteerde waarden zijn'append', 'overwrite', 'ignore'en of 'error''errorifexists' (standaard).
partitionBy str of list, optioneel Namen van partitioneringskolommen.
compression str, optioneel De compressiecodec die moet worden gebruikt.

Retouren

Geen

Examples

Schrijf een DataFrame naar een Parquet-bestand en lees het terug.

import tempfile
with tempfile.TemporaryDirectory(prefix="parquet") as d:
    spark.createDataFrame(
        [{"age": 100, "name": "Alice"}]
    ).write.parquet(d, mode="overwrite")

    spark.read.format("parquet").load(d).show()
    # +---+------------+
    # |age|        name|
    # +---+------------+
    # |100|Alice|
    # +---+------------+
  • Last updated on