drop (DataFrame)

Retourne un nouveau DataFrame sans colonnes spécifiées. Il s’agit d’une no-op si le schéma ne contient pas le ou les noms de colonne donnés.

Syntaxe

drop(*cols: "ColumnOrName")

Paramètres

Retours

DataFrame: nouveau DataFrame sans les colonnes spécifiées.

Remarques

Lorsqu’une entrée est un nom de colonne, elle est traitée littéralement sans interprétation supplémentaire. Sinon, il essaiera de correspondre à l’expression équivalente. Par conséquent, la suppression d’une colonne par son nom drop(colName) a une sémantique différente avec la suppression directe de la colonne drop(col(colName)).

Exemples

df = spark.createDataFrame(
    [(14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])
df.drop('age').show()
# +-----+
# | name|
# +-----+
# |  Tom|
# |Alice|
# |  Bob|
# +-----+

df.drop(df.age).show()
# +-----+
# | name|
# +-----+
# |  Tom|
# |Alice|
# |  Bob|
# +-----+

df2 = spark.createDataFrame([(80, "Tom"), (85, "Bob")], ["height", "name"])
df.join(df2, df.name == df2.name).drop('name').sort('age').show()
# +---+------+
# |age|height|
# +---+------+
# | 14|    80|
# | 16|    85|
# +---+------+