unpersist

Marque le DataFrame comme non persistant et supprime tous les blocs pour celui-ci de la mémoire et du disque.

Syntaxe

unpersist(blocking: bool = False)

Paramètres

Paramètre Type Description
blocking bool Indique s’il faut bloquer jusqu’à ce que tous les blocs soient supprimés.

Retours

DataFrame: DataFrame nonpersisté.

Remarques

blocking la valeur par défaut a changé pour correspondre à False Scala dans la version 2.0.

Les données mises en cache sont partagées entre toutes les sessions Spark sur le cluster, ce qui n’affecte pas toutes les sessions.

Exemples

df = spark.range(1)
df.persist()
# DataFrame[id: bigint]
df.unpersist()
# DataFrame[id: bigint]
df = spark.range(1)
df.unpersist(True)
# DataFrame[id: bigint]