toPandas

Retorna o conteúdo deste DataFrame como Pandas pandas.DataFrame.

Sintaxe

toPandas()

Devoluções

pandas.DataFrame

Observações

Esse método só deve ser usado se o Pandas pandas.DataFrame resultante deve ser pequeno, pois todos os dados são carregados na memória do driver.

O uso com spark.sql.execution.arrow.pyspark.enabled=True é experimental.

Isso só estará disponível se o Pandas estiver instalado e disponível.

Exemplos

df = spark.createDataFrame([(2, "Alice"), (5, "Bob")], schema=["age", "name"])
df.toPandas()
#    age   name
# 0    2  Alice
# 1    5    Bob