point de contrôle

Retourne une version point de contrôle de ce DataFrame. Le point de contrôle peut être utilisé pour tronquer le plan logique de ce DataFrame, qui est particulièrement utile dans les algorithmes itératifs où le plan peut croître de manière exponentielle. Il sera enregistré dans des fichiers dans le répertoire de point de contrôle défini avec SparkContext.setCheckpointDir, ou spark.checkpoint.dir configuration.

Syntaxe

checkpoint(eager: bool = True)

Paramètres

Paramètre Type Description
eager bool, facultatif, valeur true par défaut Indique s’il faut vérifier immédiatement ce DataFrame.

Retours

DataFrame: DataFrame point de contrôle.

Remarques

Cette API est expérimentale.

Exemples

df = spark.createDataFrame([
    (14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])
df.checkpoint(False)
# DataFrame[age: bigint, name: string]