förklara

Skriver ut (logiska och fysiska) planer till konsolen i felsökningssyfte.

Syntax

explain(extended: Optional[Union[bool, str]] = None, mode: Optional[str] = None)

Parameters

Parameter Type Beskrivning
extended bool, valfritt standard False. Om Falseskriver endast ut den fysiska planen. När det här är en sträng utan att modeange fungerar det som läget anges.
mode str, valfritt anger det förväntade utdataformatet för planer. simple: Skriv bara ut en fysisk plan. extended: Skriv ut både logiska och fysiska planer. codegen: Skriv ut en fysisk plan och genererade koder om de är tillgängliga. cost: Skriv ut en logisk plan och statistik om de är tillgängliga. formatted: Dela upp förklara utdata i två avsnitt: en fysisk plandisposition och nodinformation.

Exempel

df = spark.createDataFrame(
    [(14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])
df.explain()
# == Physical Plan ==
# *(1) Scan ExistingRDD[age...,name...]

df.explain(extended=True)
# == Parsed Logical Plan ==
# ...
# == Analyzed Logical Plan ==
# ...
# == Optimized Logical Plan ==
# ...
# == Physical Plan ==
# ...

df.explain(mode="formatted")
# == Physical Plan ==
# * Scan ExistingRDD (...)
# (1) Scan ExistingRDD [codegen id : ...]
# Output [2]: [age..., name...]
# ...