localCheckpoint

Retourneert een lokaal controlepuntversie van dit DataFrame. Controlepunten kunnen worden gebruikt om het logische plan van dit DataFrame af te kapen. Dit is vooral handig in iteratieve algoritmen waarbij het plan exponentieel kan groeien. Lokale controlepunten worden opgeslagen in de uitvoerders met behulp van het cachesubsysteem en daarom zijn ze niet betrouwbaar.

Syntaxis

localCheckpoint(eager: bool = True, storageLevel: Optional[StorageLevel] = None)

Parameterwaarden

Kenmerk Typ Beschrijving
eager bool, optioneel, standaard True Of u dit DataFrame onmiddellijk wilt controleren.
storageLevel StorageLevel, optioneel, standaard Geen Het StorageLevel waarmee het controlepunt wordt opgeslagen. Als dit niet is opgegeven, wordt de standaardwaarde voor lokale RDD-controlepunten gebruikt.

Retouren

DataFrame: Checkpointed DataFrame.

Aantekeningen

Deze API is experimenteel.

Examples

df = spark.createDataFrame([
    (14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])
df.localCheckpoint(False)
# DataFrame[age: bigint, name: string]
  • Last updated on