toArrow

Returnerar innehållet i dataramen som PyArrow pyarrow.Table.

Har lagts till i Databricks Runtime 15.3

Syntax

toArrow()

Retur

pyarrow.Table

Notes

Den här metoden bör endast användas om den resulterande PyArrow pyarrow.Table förväntas vara liten, eftersom alla data läses in i drivrutinsminnet.

Detta är endast tillgängligt om PyArrow är installerat och tillgängligt.

Det här API:et är ett utvecklar-API.

Exempel

df = spark.createDataFrame([(2, "Alice"), (5, "Bob")], schema=["age", "name"])
df.coalesce(1).toArrow()
# pyarrow.Table
# age: int64
# name: string
# ----
# age: [[2,5]]
# name: [["Alice","Bob"]]