toArrow

Retorna o conteúdo deste DataFrame como PyArrow pyarrow.Table.

Adicionado no Databricks Runtime 15.3

Sintaxe

toArrow()

Devoluções

pyarrow.Table

Observações

Esse método só deverá ser usado se espera-se que o PyArrow pyarrow.Table resultante seja pequeno, pois todos os dados são carregados na memória do driver.

Isso só estará disponível se o PyArrow estiver instalado e disponível.

Essa API é uma API de desenvolvedor.

Exemplos

df = spark.createDataFrame([(2, "Alice"), (5, "Bob")], schema=["age", "name"])
df.coalesce(1).toArrow()
# pyarrow.Table
# age: int64
# name: string
# ----
# age: [[2,5]]
# name: [["Alice","Bob"]]