union

Returnera en ny DataFrame som innehåller en union av rader i den här och en annan DataFrame.

Syntax

union(other: "DataFrame")

Parameters

Retur

DataFrame: En ny DataFrame som innehåller de kombinerade raderna med motsvarande kolumner.

Notes

Den här metoden utför en SQL-typuppsättningsunion av raderna från båda DataFrame objekten, utan automatisk deduplicering av element.

Använd metoden distinct() för att utföra deduplicering av rader.

Metoden löser kolumner efter position (inte efter namn), enligt standardbeteendet i SQL.

Exempel

df1 = spark.createDataFrame([(1, 'A'), (2, 'B')], ['id', 'value'])
df2 = spark.createDataFrame([(3, 'C'), (4, 'D')], ['id', 'value'])
df3 = df1.union(df2)
df3.show()
# +---+-----+
# | id|value|
# +---+-----+
# |  1|    A|
# |  2|    B|
# |  3|    C|
# |  4|    D|
# +---+-----+

df1 = spark.createDataFrame([(1, 'A'), (2, 'B'), (3, 'C')], ['id', 'value'])
df2 = spark.createDataFrame([(3, 'C'), (4, 'D')], ['id', 'value'])
df3 = df1.union(df2).distinct().sort("id")
df3.show()
# +---+-----+
# | id|value|
# +---+-----+
# |  1|    A|
# |  2|    B|
# |  3|    C|
# |  4|    D|
# +---+-----+