to

Devuelve un nuevo dataframe en el que cada fila se reconcilia para que coincida con el esquema especificado.

Sintaxis

to(schema: StructType)

Parámetros

Devoluciones

DataFrame: DataFrame reconciliado.

Notas

• Reordene las columnas o los campos internos por nombre para que coincidan con el esquema especificado.
• Project columnas o campos internos que no son necesarios para el esquema especificado. Las columnas que faltan o los campos internos (presentes en el esquema especificado pero no en dataframe de entrada) provocan errores.
• Convierta las columnas o campos internos para que coincidan con los tipos de datos del esquema especificado, si los tipos son compatibles, por ejemplo, numéricos a numéricos (error si desborda), pero no cadena a int.
• Lleve los metadatos del esquema especificado, mientras que las columnas o los campos internos siguen manteniendo sus propios metadatos si no se sobrescriben en el esquema especificado.
• Se produce un error si la nulabilidad no es compatible. Por ejemplo, la columna o el campo interno admite valores NULL, pero el esquema especificado requiere que no sean nullables.

Soporta Spark Connect.

Ejemplos

from pyspark.sql.types import StructField, StringType
df = spark.createDataFrame([("a", 1)], ["i", "j"])
df.schema
# StructType([StructField('i', StringType(), True), StructField('j', LongType(), True)])

schema = StructType([StructField("j", StringType()), StructField("i", StringType())])
df2 = df.to(schema)
df2.schema
# StructType([StructField('j', StringType(), True), StructField('i', StringType(), True)])
df2.show()
# +---+---+
# |  j|  i|
# +---+---+
# |  1|  a|
# +---+---+