union

Retourneert een nieuw DataFrame met de samenvoeging van rijen in dit en een ander DataFrame.

Syntaxis

union(other: "DataFrame")

Parameterwaarden

Retouren

DataFrame: Een nieuw DataFrame met de gecombineerde rijen met bijbehorende kolommen.

Aantekeningen

Met deze methode wordt een verzameling met SQL-stijlen van de rijen van beide DataFrame objecten uitgevoerd, zonder automatische ontdubbeling van elementen.

Gebruik de distinct() methode om ontdubbeling van rijen uit te voeren.

Met de methode worden kolommen omgezet op positie (niet op naam), volgens het standaardgedrag in SQL.

Examples

df1 = spark.createDataFrame([(1, 'A'), (2, 'B')], ['id', 'value'])
df2 = spark.createDataFrame([(3, 'C'), (4, 'D')], ['id', 'value'])
df3 = df1.union(df2)
df3.show()
# +---+-----+
# | id|value|
# +---+-----+
# |  1|    A|
# |  2|    B|
# |  3|    C|
# |  4|    D|
# +---+-----+

df1 = spark.createDataFrame([(1, 'A'), (2, 'B'), (3, 'C')], ['id', 'value'])
df2 = spark.createDataFrame([(3, 'C'), (4, 'D')], ['id', 'value'])
df3 = df1.union(df2).distinct().sort("id")
df3.show()
# +---+-----+
# | id|value|
# +---+-----+
# |  1|    A|
# |  2|    B|
# |  3|    C|
# |  4|    D|
# +---+-----+