toArrow

Retourne le contenu de ce DataFrame en tant que PyArrow pyarrow.Table.

Ajouté dans Databricks Runtime 15.3

Syntaxe

toArrow()

Retours

pyarrow.Table

Remarques

Cette méthode ne doit être utilisée que si pyArrow pyarrow.Table résultant est censé être petit, car toutes les données sont chargées dans la mémoire du pilote.

Cette option est disponible uniquement si PyArrow est installé et disponible.

Cette API est une API de développeur.

Exemples

df = spark.createDataFrame([(2, "Alice"), (5, "Bob")], schema=["age", "name"])
df.coalesce(1).toArrow()
# pyarrow.Table
# age: int64
# name: string
# ----
# age: [[2,5]]
# name: [["Alice","Bob"]]