Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Retorna uma versão com ponto de verificação local deste DataFrame. O ponto de verificação pode ser usado para truncar o plano lógico desse DataFrame, que é especialmente útil em algoritmos iterativos em que o plano pode crescer exponencialmente. Os pontos de verificação locais são armazenados nos executores usando o subsistema de cache e, portanto, não são confiáveis.
Sintaxe
localCheckpoint(eager: bool = True, storageLevel: Optional[StorageLevel] = None)
Parâmetros
| Parâmetro | Tipo | Descrição |
|---|---|---|
eager |
bool, opcional, true padrão | Se esse DataFrame deve ser posto em ponto de verificação imediatamente. |
storageLevel |
StorageLevel, opcional, padrão None | O StorageLevel com o qual o ponto de verificação será armazenado. Se não for especificado, padrão para pontos de verificação locais de RDD. |
Devoluções
DataFrame: DataFrame em ponto de verificação.
Observações
Essa API é experimental.
Exemplos
df = spark.createDataFrame([
(14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])
df.localCheckpoint(False)
# DataFrame[age: bigint, name: string]