localCheckpoint

Devuelve una versión de punto de control local de este DataFrame. Los puntos de control se pueden usar para truncar el plan lógico de este DataFrame, que es especialmente útil en algoritmos iterativos en los que el plan puede crecer exponencialmente. Los puntos de control locales se almacenan en los ejecutores mediante el subsistema de almacenamiento en caché y, por lo tanto, no son confiables.

Sintaxis

localCheckpoint(eager: bool = True, storageLevel: Optional[StorageLevel] = None)

Parámetros

Parámetro Tipo Descripción
eager bool, opcional, predeterminado True Indica si se va a poner en punto de control este DataFrame inmediatamente.
storageLevel StorageLevel, opcional, predeterminado Ninguno StorageLevel con el que se almacenará el punto de control. Si no se especifica, el valor predeterminado para los puntos de control locales de RDD.

Devoluciones

DataFrame: DataFrame con puntos de control.

Notas

Esta API es experimental.

Ejemplos

df = spark.createDataFrame([
    (14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])
df.localCheckpoint(False)
# DataFrame[age: bigint, name: string]
  • Last updated on