punto de control

Devuelve una versión de punto de control de este DataFrame. Los puntos de control se pueden usar para truncar el plan lógico de este DataFrame, que es especialmente útil en algoritmos iterativos en los que el plan puede crecer exponencialmente. Se guardará en archivos dentro del directorio de punto de comprobación establecido con SparkContext.setCheckpointDir, o spark.checkpoint.dir la configuración.

Sintaxis

checkpoint(eager: bool = True)

Parámetros

Parámetro Tipo Descripción
eager bool, opcional, predeterminado True Indica si se va a poner en punto de control este DataFrame inmediatamente.

Devoluciones

DataFrame: DataFrame con puntos de control.

Notas

Esta API es experimental.

Ejemplos

df = spark.createDataFrame([
    (14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])
df.checkpoint(False)
# DataFrame[age: bigint, name: string]