toPandas

Retourne le contenu de ce DataFrame en tant que Pandas pandas.DataFrame.

Syntaxe

toPandas()

Retours

pandas.DataFrame

Remarques

Cette méthode ne doit être utilisée que si les Pandas résultants sont censés pandas.DataFrame être petits, car toutes les données sont chargées dans la mémoire du pilote.

L’utilisation avec spark.sql.execution.arrow.pyspark.enabled=True est expérimentale.

Cela n’est disponible que si Pandas est installé et disponible.

Exemples

df = spark.createDataFrame([(2, "Alice"), (5, "Bob")], schema=["age", "name"])
df.toPandas()
#    age   name
# 0    2  Alice
# 1    5    Bob