pandas_api

Converteert het bestaande DataFrame naar een Pandas-on-Spark DataFrame.

Syntaxis

pandas_api(index_col: Optional[Union[str, List[str]]] = None)

Parameterwaarden

Kenmerk Typ Beschrijving
index_col str of list of str, optioneel Indexkolom van tabel in Spark.

Retouren

PandasOnSparkDataFrame

Aantekeningen

Als een Pandas-on-Spark DataFrame wordt geconverteerd naar een Spark DataFrame en vervolgens weer teruggaat naar pandas-on-Spark, gaan de indexgegevens verloren en wordt de oorspronkelijke index omgezet in een normale kolom.

Dit is alleen beschikbaar als Pandas is geïnstalleerd en beschikbaar is.

Examples

df = spark.createDataFrame(
    [(14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])

df.pandas_api()
#    age   name
# 0   14    Tom
# 1   23  Alice
# 2   16    Bob

df.pandas_api(index_col="age")
#       name
# age
# 14     Tom
# 23   Alice
# 16     Bob