à

Retourne un nouveau DataFrame où chaque ligne est rapprochée pour correspondre au schéma spécifié.

Syntaxe

to(schema: StructType)

Paramètres

Retours

DataFrame: Trame de données réconciliée.

Remarques

• Réorganisez les colonnes et/ou les champs internes par nom pour correspondre au schéma spécifié.
• Project des colonnes et/ou des champs internes qui ne sont pas nécessaires par le schéma spécifié. Les colonnes manquantes et/ou les champs internes (présents dans le schéma spécifié, mais pas dataFrame d’entrée) entraînent des échecs.
• Cassez les colonnes et/ou les champs internes pour correspondre aux types de données dans le schéma spécifié, si les types sont compatibles, par exemple, numériques en nombre (erreur si dépassements de capacité), mais pas chaîne à int.
• Reportez les métadonnées du schéma spécifié, tandis que les colonnes et/ou les champs internes conservent toujours leurs propres métadonnées si elles ne sont pas remplacées par le schéma spécifié.
• Échec si la valeur Nullability n’est pas compatible. Par exemple, la colonne et/ou le champ interne sont nullables, mais le schéma spécifié exige qu’ils ne soient pas nullables.

Prend en charge Spark Connect.

Exemples

from pyspark.sql.types import StructField, StringType
df = spark.createDataFrame([("a", 1)], ["i", "j"])
df.schema
# StructType([StructField('i', StringType(), True), StructField('j', LongType(), True)])

schema = StructType([StructField("j", StringType()), StructField("i", StringType())])
df2 = df.to(schema)
df2.schema
# StructType([StructField('j', StringType(), True), StructField('i', StringType(), True)])
df2.show()
# +---+---+
# |  j|  i|
# +---+---+
# |  1|  a|
# +---+---+