Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Restituisce un valore compresso di expr utilizzando Zstandard con il livello di compressione specificato. Il livello predefinito è 3. Usa la modalità a passaggio singolo per impostazione predefinita.
Sintassi
from pyspark.databricks.sql import functions as dbf
dbf.zstd_compress(input=<input>, level=<level>, streaming_mode=<streaming_mode>)
Parametri
| Parametro | TIPO | Description |
|---|---|---|
input |
pyspark.sql.Column o str |
Valore binario da comprimere. |
level |
pyspark.sql.Column o int, facoltativo |
Argomento integer facoltativo che rappresenta il livello di compressione. Il livello di compressione controlla il compromesso tra la velocità di compressione e il rapporto di compressione. Valori validi: compreso tra 1 e 22 inclusi, dove 1 indica il rapporto di compressione più veloce ma più basso e 22 indica il rapporto di compressione più lento ma più alto. Il livello predefinito è 3 se non specificato. |
streaming_mode |
pyspark.sql.Column o bool, facoltativo |
Argomento booleano facoltativo che indica se utilizzare la modalità di streaming. Se true, la funzione comprimerà in modalità di streaming. Il valore predefinito è false. |
Restituzioni
pyspark.sql.Column: nuova colonna contenente un valore compresso.
Esempi
Esempio 1: Comprimere i dati con Zstandard
from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([("Apache Spark " * 10,)], ["input"])
df.select(dbf.base64(dbf.zstd_compress(df.input)).alias("result")).show(truncate=False)
+----------------------------------------+
|result |
+----------------------------------------+
|KLUv/SCCpQAAaEFwYWNoZSBTcGFyayABABLS+QU=|
+----------------------------------------+
Esempio 2: Comprimere i dati usando Zstandard con il livello di compressione specificato
from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([("Apache Spark " * 10,)], ["input"])
df.select(dbf.base64(dbf.zstd_compress(df.input, dbf.lit(5))).alias("result")).show(truncate=False)
+----------------------------------------+
|result |
+----------------------------------------+
|KLUv/SCCpQAAaEFwYWNoZSBTcGFyayABABLS+QU=|
+----------------------------------------+
Esempio 3: Comprimere i dati usando Zstandard in modalità di streaming
from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([("Apache Spark " * 10,)], ["input"])
df.select(dbf.base64(dbf.zstd_compress(df.input, dbf.lit(3), dbf.lit(True))).alias("result")).show(truncate=False)
+--------------------------------------------+
|result |
+--------------------------------------------+
|KLUv/QBYpAAAaEFwYWNoZSBTcGFyayABABLS+QUBAAA=|
+--------------------------------------------+