Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Retourne une version localement point de contrôle de ce DataFrame. Le point de contrôle peut être utilisé pour tronquer le plan logique de ce DataFrame, qui est particulièrement utile dans les algorithmes itératifs où le plan peut croître de manière exponentielle. Les points de contrôle locaux sont stockés dans les exécuteurs à l’aide du sous-système de mise en cache et ne sont donc pas fiables.
Syntaxe
localCheckpoint(eager: bool = True, storageLevel: Optional[StorageLevel] = None)
Paramètres
| Paramètre | Type | Description |
|---|---|---|
eager |
bool, facultatif, valeur true par défaut | Indique s’il faut vérifier immédiatement ce DataFrame. |
storageLevel |
StorageLevel, facultatif, none par défaut | StorageLevel avec lequel le point de contrôle sera stocké. S’il n’est pas spécifié, valeur par défaut pour les points de contrôle locaux RDD. |
Retours
DataFrame: DataFrame point de contrôle.
Remarques
Cette API est expérimentale.
Exemples
df = spark.createDataFrame([
(14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])
df.localCheckpoint(False)
# DataFrame[age: bigint, name: string]