partitionBy (DataFrameWriter)

Divide la salida por las columnas especificadas en el sistema de archivos. Si se especifica, la salida se establece en el sistema de archivos similar al esquema de partición de Hive.

Sintaxis

partitionBy(*cols)

Parámetros

Devoluciones

DataFrameWriter

Ejemplos

Escriba un DataFrame en un archivo Parquet de forma particionada y vuelva a leerlo.

import tempfile, os
with tempfile.TemporaryDirectory(prefix="partitionBy") as d:
    spark.createDataFrame(
        [{"age": 100, "name": "Alice"}, {"age": 120, "name": "Ruifeng Zheng"}]
    ).write.partitionBy("name").mode("overwrite").format("parquet").save(d)

    spark.read.parquet(d).sort("age").show()
    # +---+-------------+
    # |age|         name|
    # +---+-------------+
    # |100| Alice|
    # |120|Ruifeng Zheng|
    # +---+-------------+

    # Read one partition as a DataFrame.
    spark.read.parquet(f"{d}{os.path.sep}name=Alice").show()
    # +---+
    # |age|
    # +---+
    # |100|
    # +---+