Kommentar
Åtkomst till den här sidan kräver auktorisering. Du kan prova att logga in eller ändra kataloger.
Åtkomst till den här sidan kräver auktorisering. Du kan prova att ändra kataloger.
Returnerar en lokalt kontrollpunktsversion av dataramen. Kontrollpunkter kan användas för att trunkera den logiska planen för den här dataramen, vilket är särskilt användbart i iterativa algoritmer där planen kan växa exponentiellt. Lokala kontrollpunkter lagras i körarna med hjälp av cachelagringsundersystemet och därför är de inte tillförlitliga.
Syntax
localCheckpoint(eager: bool = True, storageLevel: Optional[StorageLevel] = None)
Parameters
| Parameter | Type | Beskrivning |
|---|---|---|
eager |
bool, valfritt, standard sant | Om dataramen ska checkas in omedelbart. |
storageLevel |
StorageLevel, valfritt, standard ingen | StorageLevel som kontrollpunkten ska lagras med. Om det inte anges, standard för lokala RDD-kontrollpunkter. |
Retur
DataFrame: DataFrame med kontrollpunkter.
Notes
Det här API:et är experimentellt.
Exempel
df = spark.createDataFrame([
(14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])
df.localCheckpoint(False)
# DataFrame[age: bigint, name: string]