get (Observación)

Obtiene las métricas observadas.

Espera hasta que el conjunto de datos observado finaliza su primera acción. Solo está disponible el resultado de la primera acción. Las acciones posteriores no modifican el resultado.

Sintaxis

get

Devoluciones

dict

Ejemplos

from pyspark.sql.functions import col, count, lit, max
from pyspark.sql import Observation

df = spark.createDataFrame([["Alice", 2], ["Bob", 5]], ["name", "age"])
observation = Observation("my metrics")
observed_df = df.observe(observation, count(lit(1)).alias("count"), max(col("age")))
observed_df.count()
# 2
observation.get
# {'count': 2, 'max(age)': 5}