parquet (DataFrameWriter)

Guarda el contenido de DataFrame en formato Parquet en la ruta de acceso especificada.

Sintaxis

parquet(path, mode=None, partitionBy=None, compression=None)

Parámetros

Parámetro Tipo Descripción
path str Ruta de acceso en cualquier sistema de archivos compatible con Hadoop.
mode str, opcional Comportamiento cuando ya existen datos. Los valores aceptados son 'append', 'overwrite', 'ignore'y 'error' o 'errorifexists' (valor predeterminado).
partitionBy str o list, opcional Nombres de columnas de creación de particiones.
compression str, opcional Códec de compresión que se va a usar.

Devoluciones

Ninguno

Ejemplos

Escriba un DataFrame en un archivo Parquet y vuelva a leerlo.

import tempfile
with tempfile.TemporaryDirectory(prefix="parquet") as d:
    spark.createDataFrame(
        [{"age": 100, "name": "Alice"}]
    ).write.parquet(d, mode="overwrite")

    spark.read.format("parquet").load(d).show()
    # +---+------------+
    # |age|        name|
    # +---+------------+
    # |100|Alice|
    # +---+------------+
  • Last updated on