parquet (DataFrameWriter)

Enregistre le contenu du DataFrame format Parquet au chemin d’accès spécifié.

Syntaxe

parquet(path, mode=None, partitionBy=None, compression=None)

Paramètres

Paramètre Type Description
path str Chemin d’accès dans n’importe quel système de fichiers pris en charge par Hadoop.
mode str, facultatif Comportement quand des données existent déjà. Les valeurs acceptées sont 'append', , 'overwrite''ignore'et 'error' ou 'errorifexists' (par défaut).
partitionBy str ou list, facultatif Noms des colonnes de partitionnement.
compression str, facultatif Codec de compression à utiliser.

Retours

Aucun

Exemples

Écrivez un DataFrame dans un fichier Parquet et lisez-le.

import tempfile
with tempfile.TemporaryDirectory(prefix="parquet") as d:
    spark.createDataFrame(
        [{"age": 100, "name": "Alice"}]
    ).write.parquet(d, mode="overwrite")

    spark.read.format("parquet").load(d).show()
    # +---+------------+
    # |age|        name|
    # +---+------------+
    # |100|Alice|
    # +---+------------+
  • Last updated on