para

Retorna um novo DataFrame em que cada linha é reconciliada para corresponder ao esquema especificado.

Sintaxe

to(schema: StructType)

Parâmetros

Devoluções

DataFrame: DataFrame reconciliado.

Observações

• Reordene colunas e/ou campos internos por nome para corresponder ao esquema especificado.
• Project colunas e/ou campos internos que não são necessários para o esquema especificado. Colunas ausentes e/ou campos internos (presentes no esquema especificado, mas não no DataFrame de entrada) levam a falhas.
• Cast the columns and/or inner fields to match the data types in the specified schema, if the types are compatible, por exemplo, numeric to numeric (error if overflows), but not string to int.
• Carregue os metadados do esquema especificado, enquanto as colunas e/ou os campos internos ainda manterão seus próprios metadados se não forem substituídos pelo esquema especificado.
• Falhará se a nulidade não for compatível. Por exemplo, a coluna e/ou o campo interno são anuláveis, mas o esquema especificado exige que eles não sejam anuláveis.

Dá suporte ao Spark Connect.

Exemplos

from pyspark.sql.types import StructField, StringType
df = spark.createDataFrame([("a", 1)], ["i", "j"])
df.schema
# StructType([StructField('i', StringType(), True), StructField('j', LongType(), True)])

schema = StructType([StructField("j", StringType()), StructField("i", StringType())])
df2 = df.to(schema)
df2.schema
# StructType([StructField('j', StringType(), True), StructField('i', StringType(), True)])
df2.show()
# +---+---+
# |  j|  i|
# +---+---+
# |  1|  a|
# +---+---+