explicar

Imprime los planes (lógicos y físicos) en la consola con fines de depuración.

Sintaxis

explain(extended: Optional[Union[bool, str]] = None, mode: Optional[str] = None)

Parámetros

Parámetro Tipo Descripción
extended bool, opcional valor predeterminado False. Si Falsees , imprime solo el plan físico. Cuando se trata de una cadena sin especificar mode, funciona como modo especificado.
mode str, opcional especifica el formato de salida esperado de los planes. simple: imprima solo un plan físico. extended: imprima planes lógicos y físicos. codegen: imprima un plan físico y los códigos generados si están disponibles. cost: imprima un plan lógico y estadísticas si están disponibles. formatted: divida la salida de explicación en dos secciones: un esquema de plan físico y detalles del nodo.

Ejemplos

df = spark.createDataFrame(
    [(14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])
df.explain()
# == Physical Plan ==
# *(1) Scan ExistingRDD[age...,name...]

df.explain(extended=True)
# == Parsed Logical Plan ==
# ...
# == Analyzed Logical Plan ==
# ...
# == Optimized Logical Plan ==
# ...
# == Physical Plan ==
# ...

df.explain(mode="formatted")
# == Physical Plan ==
# * Scan ExistingRDD (...)
# (1) Scan ExistingRDD [codegen id : ...]
# Output [2]: [age..., name...]
# ...