Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Define o nível de armazenamento para persistir o conteúdo do DataFrame entre operações após a primeira vez em que ele é computado. Isso só poderá ser usado para atribuir um novo nível de armazenamento se o DataFrame ainda não tiver um nível de armazenamento definido. Se nenhum nível de armazenamento for especificado, o padrão será (MEMORY_AND_DISK_DESER).
Sintaxe
persist(storageLevel: StorageLevel = StorageLevel.MEMORY_AND_DISK_DESER)
Parâmetros
| Parâmetro | Tipo | Descrição |
|---|---|---|
storageLevel |
StorageLevel | Nível de armazenamento a ser definido para persistência. O padrão é MEMORY_AND_DISK_DESER. |
Devoluções
DataFrame: DataFrame persistente.
Observações
O nível de armazenamento padrão foi alterado para corresponder ao MEMORY_AND_DISK_DESER Scala em 3.0.
Os dados armazenados em cache são compartilhados em todas as sessões do Spark no cluster.
Exemplos
df = spark.range(1)
df.persist()
# DataFrame[id: bigint]
df.explain()
# == Physical Plan ==
# InMemoryTableScan ...
from pyspark.storagelevel import StorageLevel
df.persist(StorageLevel.DISK_ONLY)
# DataFrame[id: bigint]