toArrow

Retourneert de inhoud van dit DataFrame als PyArrow pyarrow.Table.

Toegevoegd in Databricks Runtime 15.3

Syntaxis

toArrow()

Retouren

pyarrow.Table

Aantekeningen

Deze methode mag alleen worden gebruikt als de resulterende PyArrow pyarrow.Table naar verwachting klein is, omdat alle gegevens in het geheugen van het stuurprogramma worden geladen.

Dit is alleen beschikbaar als PyArrow is geïnstalleerd en beschikbaar is.

Deze API is een ontwikkelaars-API.

Examples

df = spark.createDataFrame([(2, "Alice"), (5, "Bob")], schema=["age", "name"])
df.coalesce(1).toArrow()
# pyarrow.Table
# age: int64
# name: string
# ----
# age: [[2,5]]
# name: [["Alice","Bob"]]