Kommentar
Åtkomst till den här sidan kräver auktorisering. Du kan prova att logga in eller ändra kataloger.
Åtkomst till den här sidan kräver auktorisering. Du kan prova att ändra kataloger.
Sammanfogar två binära representationer av Datasketches HllSketch-objekt med hjälp av ett Datasketches Union-objekt. Genererar ett undantag om skisser har olika lgConfigK-värden och allowDifferentLgConfigK inte har angetts till false.
Syntax
from pyspark.sql import functions as sf
sf.hll_union(col1, col2, allowDifferentLgConfigK=None)
Parameterar
| Parameter | Typ | Description |
|---|---|---|
col1 |
pyspark.sql.Column eller str |
Den första HLL-skissen. |
col2 |
pyspark.sql.Column eller str |
Den andra HLL-skissen. |
allowDifferentLgConfigK |
bool, valfritt | Tillåt att skisser med olika lgConfigK-värden sammanfogas (standardvärdet är false). |
Retur
pyspark.sql.Column: Den binära representationen av den sammanfogade HllSketch.
Examples
Exempel 1: Union two HLL sketches
from pyspark.sql import functions as sf
df = spark.createDataFrame([(1,4),(2,5),(2,5),(3,6)], "struct<v1:int,v2:int>")
df = df.agg(
sf.hll_sketch_agg("v1").alias("sketch1"),
sf.hll_sketch_agg("v2").alias("sketch2")
)
df.select(sf.hll_sketch_estimate(sf.hll_union(df.sketch1, "sketch2"))).show()
+-------------------------------------------------------+
|hll_sketch_estimate(hll_union(sketch1, sketch2, false))|
+-------------------------------------------------------+
| 6|
+-------------------------------------------------------+