sameSemantics

Devuelve True cuando los planes de consulta lógicos dentro de ambos DataFrames son iguales y, por tanto, devuelven los mismos resultados.

Sintaxis

sameSemantics(other: "DataFrame")

Parámetros

Devoluciones

bool: indica si estos dos dataframes son similares.

Notas

La comparación de igualdad aquí se simplifica tolerando las diferencias estéticas, como los nombres de atributo.

Esta API puede comparar ambos DataFrames muy rápido, pero todavía puede devolver False los dataframes que devuelven los mismos resultados, por ejemplo, de diferentes planes. Esta semántica negativa falsa puede ser útil al almacenar en caché como ejemplo.

Esta API es una API para desarrolladores.

Ejemplos

df1 = spark.range(10)
df2 = spark.range(10)
df1.withColumn("col1", df1.id * 2).sameSemantics(df2.withColumn("col1", df2.id * 2))
# True
df1.withColumn("col1", df1.id * 2).sameSemantics(df2.withColumn("col1", df2.id + 2))
# False
df1.withColumn("col1", df1.id * 2).sameSemantics(df2.withColumn("col0", df2.id * 2))
# True