sortBy

Ordena la salida en cada cubo por las columnas especificadas en el sistema de archivos.

Sintaxis

sortBy(col, *cols)

Parámetros

Parámetro Tipo Descripción
col str, tupla o lista Un nombre de columna o una lista de nombres.
*cols str, opcional Nombres de columna adicionales. Debe estar vacío si col es una lista.

Devoluciones

DataFrameWriter

Ejemplos

Escriba un DataFrame en una tabla con cubos ordenados y vuelva a leerlo.

spark.sql("DROP TABLE IF EXISTS sorted_bucketed_table")
spark.createDataFrame([
    (100, "Alice"), (120, "Alice"), (140, "Bob")],
    schema=["age", "name"]
).write.bucketBy(1, "name").sortBy("age").mode(
    "overwrite").saveAsTable("sorted_bucketed_table")

spark.read.table("sorted_bucketed_table").sort("age").show()
# +---+------------+
# |age|        name|
# +---+------------+
# |100|Alice|
# |120|Alice|
# |140| Bob|
# +---+------------+

spark.sql("DROP TABLE sorted_bucketed_table")
  • Last updated on