theta_difference

Devolve a diferença de conjunto de duas representações binárias dos objetos Datasketches Theta Sketches (elementos no primeiro esboço mas não no segundo), usando um objeto Datasketches ANotB.

Sintaxe

from pyspark.sql import functions as sf

sf.theta_difference(col1, col2)

Parâmetros

Devoluções

pyspark.sql.Column: A representação binária da diferença Esboço Theta.

Examples

Exemplo 1: Obtenha a diferença entre dois esboços Theta

from pyspark.sql import functions as sf
df = spark.createDataFrame([(1,4),(2,4),(3,5),(4,5)], "struct<v1:int,v2:int>")
df = df.agg(
    sf.theta_sketch_agg("v1").alias("sketch1"),
    sf.theta_sketch_agg("v2").alias("sketch2")
)
df.select(sf.theta_sketch_estimate(sf.theta_difference(df.sketch1, "sketch2"))).show()

+---------------------------------------------------------+
|theta_sketch_estimate(theta_difference(sketch1, sketch2))|
+---------------------------------------------------------+
|                                                        3|
+---------------------------------------------------------+