ponto de verificação

Retorna uma versão com ponto de verificação deste DataFrame. O ponto de verificação pode ser usado para truncar o plano lógico desse DataFrame, que é especialmente útil em algoritmos iterativos em que o plano pode crescer exponencialmente. Ele será salvo em arquivos dentro do diretório de ponto de verificação definido com SparkContext.setCheckpointDir, ou spark.checkpoint.dir configuração.

Sintaxe

checkpoint(eager: bool = True)

Parâmetros

Devoluções

DataFrame: DataFrame em ponto de verificação.

Observações

Essa API é experimental.

Exemplos

df = spark.createDataFrame([
    (14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])
df.checkpoint(False)
# DataFrame[age: bigint, name: string]