Compartilhar via

sortBy

Classifica a saída em cada bucket pelas colunas fornecidas no sistema de arquivos.

Sintaxe

sortBy(col, *cols)

Parâmetros

Parâmetro Tipo Descrição
col str, tupla ou lista Um nome de coluna ou uma lista de nomes.
*cols str, opcional Nomes de coluna adicionais. Deve estar vazio se col for uma lista.

Devoluções

DataFrameWriter

Exemplos

Escreva um DataFrame em uma tabela classificada e leia-o novamente.

spark.sql("DROP TABLE IF EXISTS sorted_bucketed_table")
spark.createDataFrame([
    (100, "Alice"), (120, "Alice"), (140, "Bob")],
    schema=["age", "name"]
).write.bucketBy(1, "name").sortBy("age").mode(
    "overwrite").saveAsTable("sorted_bucketed_table")

spark.read.table("sorted_bucketed_table").sort("age").show()
# +---+------------+
# |age|        name|
# +---+------------+
# |100|Alice|
# |120|Alice|
# |140| Bob|
# +---+------------+

spark.sql("DROP TABLE sorted_bucketed_table")
  • Last updated on