unión

Devuelve un nuevo DataFrame que contiene la unión de filas en este y otro DataFrame.

Sintaxis

union(other: "DataFrame")

Parámetros

Devoluciones

DataFrame: nuevo DataFrame que contiene las filas combinadas con las columnas correspondientes.

Notas

Este método realiza una unión de conjuntos de estilo SQL de las filas de ambos DataFrame objetos, sin desduplicación automática de elementos.

Use el distinct() método para realizar la desduplicación de filas.

El método resuelve las columnas por posición (no por nombre), siguiendo el comportamiento estándar en SQL.

Ejemplos

df1 = spark.createDataFrame([(1, 'A'), (2, 'B')], ['id', 'value'])
df2 = spark.createDataFrame([(3, 'C'), (4, 'D')], ['id', 'value'])
df3 = df1.union(df2)
df3.show()
# +---+-----+
# | id|value|
# +---+-----+
# |  1|    A|
# |  2|    B|
# |  3|    C|
# |  4|    D|
# +---+-----+

df1 = spark.createDataFrame([(1, 'A'), (2, 'B'), (3, 'C')], ['id', 'value'])
df2 = spark.createDataFrame([(3, 'C'), (4, 'D')], ['id', 'value'])
df3 = df1.union(df2).distinct().sort("id")
df3.show()
# +---+-----+
# | id|value|
# +---+-----+
# |  1|    A|
# |  2|    B|
# |  3|    C|
# |  4|    D|
# +---+-----+