withColumn

Devuelve un nuevo DataFrame agregando una columna o reemplazando la columna existente que tiene el mismo nombre.

Sintaxis

withColumn(colName: str, col: Column)

Parámetros

Devoluciones

DataFrame: DataFrame con una columna nueva o reemplazada.

Notas

Este método presenta una proyección internamente. Por lo tanto, llamarlo varias veces, por ejemplo, a través de bucles para agregar varias columnas puede generar grandes planes que pueden causar problemas de rendimiento e incluso StackOverflowException. Para evitar esto, use select con varias columnas a la vez.

Ejemplos

df = spark.createDataFrame([(2, "Alice"), (5, "Bob")], schema=["age", "name"])
df.withColumn('age2', df.age + 2).show()
# +---+-----+----+
# |age| name|age2|
# +---+-----+----+
# |  2|Alice|   4|
# |  5|  Bob|   7|
# +---+-----+----+