naar / te

Retourneert een nieuw DataFrame waarin elke rij wordt afgestemd op het opgegeven schema.

Syntaxis

to(schema: StructType)

Parameterwaarden

Retouren

DataFrame: Afgestemd DataFrame.

Aantekeningen

• Rangschik kolommen en/of binnenste velden op naam zodat deze overeenkomen met het opgegeven schema.
• Project kolommen en/of binnenste velden weg die niet nodig zijn voor het opgegeven schema. Ontbrekende kolommen en/of binnenste velden (aanwezig in het opgegeven schema, maar geen invoer DataFrame) leiden tot fouten.
• Cast de kolommen en/of binnenste velden zodat deze overeenkomen met de gegevenstypen in het opgegeven schema, als de typen compatibel zijn, bijvoorbeeld numeriek naar numeriek (fout als overloop), maar geen tekenreeks naar int.
• Voer de metagegevens uit het opgegeven schema over, terwijl de kolommen en/of binnenste velden nog steeds hun eigen metagegevens behouden als ze niet worden overschreven door het opgegeven schema.
• Mislukt als de null-waarde niet compatibel is. Het kolom- en/of binnenveld kan bijvoorbeeld null worden, maar het opgegeven schema vereist dat ze niet null kunnen zijn.

Ondersteunt Spark Connect.

Examples

from pyspark.sql.types import StructField, StringType
df = spark.createDataFrame([("a", 1)], ["i", "j"])
df.schema
# StructType([StructField('i', StringType(), True), StructField('j', LongType(), True)])

schema = StructType([StructField("j", StringType()), StructField("i", StringType())])
df2 = df.to(schema)
df2.schema
# StructType([StructField('j', StringType(), True), StructField('i', StringType(), True)])
df2.show()
# +---+---+
# |  j|  i|
# +---+---+
# |  1|  a|
# +---+---+