Partilhar via

theta_union

Funde duas representações binárias dos objetos Datasketches Theta Sketches, usando um objeto Datasketches Union.

Sintaxe

from pyspark.sql import functions as sf

sf.theta_union(col1, col2, lgNomEntries=None)

Parâmetros

Parâmetro Tipo Description
col1 pyspark.sql.Column ou str O primeiro sketch da Theta.
col2 pyspark.sql.Column ou str O segundo sketch de Theta.
lgNomEntries pyspark.sql.Column ou int, opcional A base logarítmica 2 das entradas nominais para a operação de união (deve estar entre 4 e 26, por defeito é 12).

Devoluções

pyspark.sql.Column: A representação binária do Esboço Theta fundido.

Examples

Exemplo 1: Esboços Theta da União Dois

from pyspark.sql import functions as sf
df = spark.createDataFrame([(1,4),(2,5),(2,5),(3,6)], "struct<v1:int,v2:int>")
df = df.agg(
    sf.theta_sketch_agg("v1").alias("sketch1"),
    sf.theta_sketch_agg("v2").alias("sketch2")
)
df.select(sf.theta_sketch_estimate(sf.theta_union(df.sketch1, "sketch2"))).show()

+--------------------------------------------------------+
|theta_sketch_estimate(theta_union(sketch1, sketch2, 12))|
+--------------------------------------------------------+
|                                                       6|
+--------------------------------------------------------+
  • Last updated on