união

Retorne um novo DataFrame que contém a união de linhas neste e em outro DataFrame.

Sintaxe

union(other: "DataFrame")

Parâmetros

Devoluções

DataFrame: um novo DataFrame que contém as linhas combinadas com colunas correspondentes.

Observações

Esse método executa uma união de conjunto de estilo SQL das linhas de ambos os DataFrame objetos, sem eliminação automática de duplicação de elementos.

Use o distinct() método para executar a eliminação de duplicação de linhas.

O método resolve colunas por posição (não por nome), seguindo o comportamento padrão no SQL.

Exemplos

df1 = spark.createDataFrame([(1, 'A'), (2, 'B')], ['id', 'value'])
df2 = spark.createDataFrame([(3, 'C'), (4, 'D')], ['id', 'value'])
df3 = df1.union(df2)
df3.show()
# +---+-----+
# | id|value|
# +---+-----+
# |  1|    A|
# |  2|    B|
# |  3|    C|
# |  4|    D|
# +---+-----+

df1 = spark.createDataFrame([(1, 'A'), (2, 'B'), (3, 'C')], ['id', 'value'])
df2 = spark.createDataFrame([(3, 'C'), (4, 'D')], ['id', 'value'])
df3 = df1.union(df2).distinct().sort("id")
df3.show()
# +---+-----+
# | id|value|
# +---+-----+
# |  1|    A|
# |  2|    B|
# |  3|    C|
# |  4|    D|
# +---+-----+