Blijven bestaan

Hiermee stelt u het opslagniveau in om de inhoud van het DataFrame over bewerkingen te behouden na de eerste keer dat het wordt berekend. Dit kan alleen worden gebruikt om een nieuw opslagniveau toe te wijzen als het DataFrame nog geen opslagniveau heeft ingesteld. Als er geen opslagniveau is opgegeven, wordt dit standaard ingesteld op (MEMORY_AND_DISK_DESER).

Syntaxis

persist(storageLevel: StorageLevel = StorageLevel.MEMORY_AND_DISK_DESER)

Parameterwaarden

Kenmerk Typ Beschrijving
storageLevel StorageLevel Opslagniveau dat moet worden ingesteld voor persistentie. De standaardwaarde is MEMORY_AND_DISK_DESER.

Retouren

DataFrame: Persistent DataFrame.

Aantekeningen

Het standaardopslagniveau is gewijzigd zodat MEMORY_AND_DISK_DESER het overeenkomt met Scala in 3.0.

Gegevens in de cache worden gedeeld in alle Spark-sessies in het cluster.

Examples

df = spark.range(1)
df.persist()
# DataFrame[id: bigint]

df.explain()
# == Physical Plan ==
# InMemoryTableScan ...

from pyspark.storagelevel import StorageLevel
df.persist(StorageLevel.DISK_ONLY)
# DataFrame[id: bigint]